Я устроил вебинар и пригласил Марата Рахимова — директора по ИИ и цифровой трансформации в MR Group (до этого Сбер, МТС, Data Monsters). Мы обсудили, как компаниям подходить к выбору «железа» под ИИ: покупать своё или брать в аренду, какие карты нужны и что с этим всем делать.
О чём говорили
Прошлись по простому плану:
-
Какие нужны пререквизиты внутри компании, чтобы вообще думать про on-prem.
-
Аренда vs покупка «железа» и где экономика складывается.
-
Как выбирать GPU под реальные задачи.
-
Платформы и поставщики.
Пререквизиты: без этого никак
— Опыт владения своей ИТ-инфраструктурой.
— ЦОД или стойка, куда всё поставить.
— Команда с MLOps/DevOps-скиллами.
— Реальная потребность в прод-сервисах.
Аренда или покупка
Аренда одной A100 80GB ≈ 225 тыс ₽/мес.
За год — 2,7 млн ₽.
За 5 лет — 13,5 млн ₽.
Покупка такой карты ≈ 1,2 млн ₽.
Окупается за 5 месяцев, если нагрузка есть.
Как выбирать GPU
— Инференс или обучение.
— Сколько памяти нужно под контекст.
— Нужно ли NVLink между картами.
— Потянет ли сеть и NVMe.
Оптимальный вариант для MR Group: NVIDIA H100 PCIe 80 GB. Подходит и для прод-инференса (ассистенты, RAG), и для дообучений. Даёт запас по памяти и скорости, NVLink решает вопрос связности.
Платформы и поставщики
— Глобальные: Dell, Lenovo, Supermicro.
— Российские: Yadro.
— Китайские: Kaytus, Gooxie.
Критично учитывать: питание (3 кВт+), охлаждение, реальные PCIe Gen5 линии, поддержка NVLink. Вендор должен подтвердить, что сервер тянет H100.
Итоги
— On-prem выгоден, если есть продовые сервисы и нагрузка.
— GPU отбиваются за полгода.
— H100 сейчас «новый стандарт», A100 всё ещё в строю.
— Китайские и российские платформы уже можно рассматривать наравне с глобальными.
Ссылки
https://t.me/r77_ai/265 — тут ссылка на презентацию и наш канал
А вот сам вебинар:
Автор: yaroslav-r77-ai
