Что происходит с рынком
Спрос на вычисления для ИИ растёт быстрее, чем производство и доступность оборудования; импортные ограничения добавляют сложности к закупкам топовых зарубежных ускорителей. Одновременно внутри страны развиваются собственные линейки ускорителей и сервисы аренды мощностей, а инженерная практика осваивает оптимизации: квантизация, дистилляция, эффективные раннеры. Итог: контур собрать можно, но планирование требует реализма — по срокам поставки, по классу достижимого качества и по бюджету.
Важно понимать: тренировка больших моделей и инференс — разные классы задач. Корпоративному рынку в основном нужен инференс (запуск готовых моделей), и здесь требования к железу мягче, что расширяет выбор.
Три пути инфраструктуры
| Путь | Кому подходит | Ограничения |
|---|---|---|
| Покупка ускорителей | Стабильная высокая нагрузка, требования изоляции | Сроки поставки, капитальные затраты, обслуживание |
| Аренда в отечественных облаках | Пилоты, пиковые нагрузки, малые команды | Зависимость от провайдера, доступность мощностей в пике |
| CPU-инференс и оптимизации | Малые модели, классификация, извлечение данных | Потолок по размеру модели и скорости |
Отечественные ускорители существуют и развиваются, но их доступность и характеристики меняются от партии к партии — оценивайте конкретные предложения на момент закупки, а не обзоры годичной давности. Российские облачные провайдеры предлагают готовые конфигурации для инференса — это самый быстрый старт.
Как подобрать конфигурацию
- Определите класс модели под задачи (см. выбор on-premise LLM): размер, требования к контексту, целевое качество.
- Посчитайте нагрузку: запросы в час, длина запросов и ответов, требования к скорости.
- Выберите раннер и оптимизации: современные фреймворки инференса позволяют ужать модель (квантизация), не теряя критичную долю качества.
- Сверьте с предложениями рынка: что реально доступно — железо в наличии, сроки поставки, конфигурации облаков.
- Заложите резерв 30–50% мощности под пики и рост — дёшево на этапе планирования, невозможно задним числом.
Квантизация и другие оптимизации
Квантизация снижает точность чисел, которыми оперирует модель, уменьшая память и ускоряя счёт. Дистилляция переносит «знания» большой модели в маленькую. Специализированные раннеры выжимают из железа максимум. Для корпоративных ассистентов квантизация почти всегда оправдана; проверяйте качество на своих задачах до и после оптимизации — методика теста одинакова для любых весов.
Национальный режим и закупки
Госорганы и многие госкомпании закупают ИТ-оборудование в рамках национального режима постановления № 1875: для ряда позиций действуют запреты и ограничения на иностранную технику. Это означает: в закупочной документации требования формулируются через функциональные характеристики, а состав доступных предложений проверяется на момент закупки. Бюджетные организации малого масштаба используют малые закупки до 600 тысяч рублей за контракт через электронные магазины — для пилотных узлов этого достаточно.
Риски планирования
- Оптимистичные сроки поставки. Закладывайте в план альтернативы: если железо не пришло к дате X — облако, если облако занято — CPU-вариант со сниженным качеством.
- Модель на вырост. Купленное под самую большую модель железо простаивает на маленьких задачах. Стартуйте с оптимизаций, расширяйтесь по факту нагрузки.
- Энергия и охлаждение. Стойка ускорителей — это тепло и ватты: проверьте мощности дата-центра до контракта, а не после.
- Зависимость от одного пула. Один провайдер аренды или одна партия железа — единая точка отказа; держите запасной вариант.
Что в итоге делать организации
Начните с аудита задач: чаще всего выясняется, что 80% сценариев закрываются малыми и средними моделями на скромном железе, а дорогие большие модели нужны одному-двум процессам. Такое распределение радикально снижает требования к инфраструктуре. Дальше — пилот на арендованных мощностях с метриками, и только затем — инвестиции в собственное железо с расчётом TCO.
Подберём конфигурацию под ваши задачи и поможем с закупкой: заявка. НЬЮ-ССТ проектирует инференс-контуры и сопровождает от пилота до промышленной эксплуатации.