gpu.
Укрощение GPU в Kubernetes: динамический шеринг мощностей
Управление GPU в Kubernetes переросло стадию, когда было достаточно простого проброса устройства в контейнер. Сегодня инфраструктура для ИИ-нагрузок требует такой же гибкости, как и для стандартных микросервисов: мы должны уметь делить ресурсы, масштабировать их и эффективно утилизировать каждый терафлопс, не переплачивая за простаивающее «железо».
Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
В первой части я рассказал, как запустил Qwen на списанной FPGA-плате за $50 с открытым TPU (openTPU). Комментаторы справедливо заметили: это больше анонс, чем статья. Где сборка, где кристалл, где замеры, почему 133 МГц, где КЕДР?
Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду.Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия?Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного.Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.
Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В конце июля мы с коллегами съездили в Иокогаму на KubeCon + CloudNativeCon Japan 2026. Ко второму дню я заметил, что слайды выступающих повторяются: спектр изоляции тенантов, квоты, bin packing, «GPU дорогие — давайте делить». Мы решаем в Авито ту же задачу, поэтому я разберу шесть докладов про GPU и LLM-инференс и расскажу, что из этого мы уже пробовали или собираемся попробовать. А в конце будет немного про саму Японию.СодержаниеИнференс обогнал обучение
Обновления сентября в mClouds: ИИ на практике
Привет! Первый месяц осени мы посвятили ИИ: расширили выбор GPU-конфигураций, обновили сервис резервного копирования и подготовили материалы для работы с ИИ — от выбора видеопамяти до запуска помощника по документам компании.Запустили новый тариф: две NVIDIA L4 в одной машинеЕсли одной L4 уже мало, а NVIDIA L40S — это «слишком сложно и дорого», у нас появилось то, что нужно. Конфигурация с двумя NVIDIA L4 в одной виртуальной машине дает 48 ГБ видеопамяти для ваших проектов по доступной стоимости. В составе: 2 × NVIDIA L4 по 24 ГБ16 vCPU на высокочастотных процессорах AMD EPYC 955564 ГБ DDR5300 ГБ NVMe
Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов-с
Репозиторий проекта: https://github.com/ExVRAM/exvram‑labExVRAM Lab — открытый исследовательский проект, посвящённый запуску больших локальных LLM на потребительских видеокартах с небольшим объёмом VRAM. Мы исследуем, насколько далеко можно зайти, если не писать собственный inference engine с нуля, а системно использовать существующие open‑source технологии: ultra‑low‑bit quantization, полное размещение весов на GPU, оптимизацию KV cache и современные CUDA‑backends.
PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLM
Привет, я Дмитрий, MLOps-инженер в Selectel.
Что и как меняется в ИТ-инфраструктуре при внедрении ИИ?
Отвечая на вопрос, заявленный в заголовке, напрашивается короткий ответ — «всё». Но попробуем немного его детализировать.Привет, Хабр!
