gpu.
Закупил GPU ≠ проиграл: как спроектировать ИИ-инфраструктуру и не переделывать ее после пилота
С чего начинается внедрение искусственного интеллекта в компании? ИТ-команда начинает подбирать GPU-серверы, бизнес рассматривает облачные модели, а разработчики собирают первый прототип. Через полгода выясняется, что выбранная модель не помещается в доступную видеопамять, облачная инфраструктура выходит за рамки бюджета, а закупленные ускорители не обеспечивают необходимую производительность под реальной нагрузкой.
Бенчмарк для робототехнических симуляторов на GPU
Привет, Хабр! Меня зовут Дмитрий Юдин, я являюсь ведущим научным сотрудником лаборатории когнитивных систем искусственного интеллекта AIRI и заведую лабораторией интеллектуального транспорта в Центре когнитивного моделирования Института искусственного интеллекта МФТИ. В последние годы мы с коллегами системно занимаемся трехмерными симуляторами, которые, в том числе, позволяют промоделировать физические взаимодействия между мобильными роботами, манипуляторами или мобильными манипуляторами с объектами 3D‑сцены.
Свои GPU плюс облако: как LLM-шлюз живёт в продакшене — ноды, отказы, ключи, обновления
В прошлой статье
В Китае видеокарты Nvidia RTX 5090 используют в качестве доноров для AI‑серверов
Гонконгское издание HKEPC опубликовало видео из мастерской, в которой игровые видеокарты GeForce RTX 5090 целыми партиями переделывают под использование в качестве AI‑серверов. Сотрудники таких мастерских снимают заводскую систему охлаждения, выпаивают графические процессоры и память, а после устанавливают их на другие печатные платы.
125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом
По статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB, такие карты занимают 27,21% рынка. У меня как раз видеокарта NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти GDDR6X, которая на текущий момент стоит 900$. До сего момента главной проблемой было то, что на видеокарте такого класса невозможно было запустить LLM-агента, который будет достаточно умным и достаточно быстрым. Если запускаешь умную модель типа Qwen 3.8 27B (Dense архитектура), то на выходе получаешь 10-20 токенов в секунду. А для комфортной работы кодинг-агента надо 100-150 токенов в секунду.
Сеть для ИИ-нагрузок: не как обычно. RoCEv2, RDMA и почему InfiniBand — не единственный правильный ответ (часть 1)
Привет, Хабр! Продолжаем цикл про инфраструктуру для ИИ-задач. В первой статье
Ваш запрос очень важен для нас: Gateway API Inference Extension в модуле alb Deckhouse Platform
В августе мы писали о модуле alb — реализации Gateway API на Envoy в Deckhouse Platform. Теперь модуль поддерживает объект InferencePool из Gateway API Inference Extension. Через тот же шлюз, что публикует обычные приложения, можно отдавать и модели, а выбор реплики передать компоненту, который получает метрики её загрузки.Всем привет! Я Пётр Антонов — руководитель продуктовых направлений «Сети и провайдеры для частной инфраструктуры» в команде Deckhouse. Рассказываю, почему round-robin не подходит для запросов к модели, как устроены InferencePool
