Развертывание ИИ внутри контура-On-premise — выбор оборудования, расчет и закупка | Марат Рахимов из MrGroup

Я устроил вебинар и пригласил Марата Рахимова — директора по ИИ и цифровой трансформации в MR Group (до этого Сбер, МТС, Data Monsters). Мы обсудили, как компаниям подходить к выбору «железа» под ИИ: покупать своё или брать в аренду, какие карты нужны и что с этим всем делать.

О чём говорили

Прошлись по простому плану:

1. Какие нужны пререквизиты внутри компании, чтобы вообще думать про on-prem.

2. Аренда vs покупка «железа» и где экономика складывается.

3. Как выбирать GPU под реальные задачи.

4. Платформы и поставщики.

Пререквизиты: без этого никак

— Опыт ^[1] владения своей ИТ-инфраструктурой.
— ЦОД или стойка, куда всё поставить.
— Команда с MLOps/DevOps-скиллами.
— Реальная потребность ^[2] в прод-сервисах.

Аренда или покупка

Аренда одной A100 80GB ≈ 225 тыс ₽/мес.
За год — 2,7 млн ₽.
За 5 лет — 13,5 млн ₽.
Покупка такой карты ≈ 1,2 млн ₽.

Окупается за 5 месяцев, если нагрузка есть.

Как выбирать GPU

— Инференс или обучение ^[3].
— Сколько памяти ^[4] нужно под контекст.
— Нужно ли NVLink между картами.
— Потянет ли сеть и NVMe.

Оптимальный вариант для MR Group: NVIDIA H100 PCIe 80 GB. Подходит и для прод-инференса (ассистенты, RAG), и для дообучений. Даёт запас по памяти и скорости, NVLink решает вопрос связности.

Платформы и поставщики

— Глобальные: Dell, Lenovo, Supermicro.
— Российские: Yadro.
— Китайские: Kaytus, Gooxie.

Критично учитывать: питание (3 кВт+), охлаждение, реальные PCIe Gen5 линии, поддержка NVLink. Вендор должен подтвердить, что сервер тянет H100.

Итоги

— On-prem выгоден, если есть продовые сервисы и нагрузка.
— GPU отбиваются за полгода.
— H100 сейчас «новый стандарт», A100 всё ещё в строю.
— Китайские и российские платформы уже можно рассматривать наравне с глобальными.

Ссылки

https://t.me/r77_ai/265 ^[5] — тут ссылка на презентацию и наш канал

А вот сам вебинар:

https://www.youtube.com/watch?v=PTM9C0qZXss ^[6]

https://vkvideo.ru/video-228941334_456239056 ^[7]