Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В конце июля мы с коллегами съездили в Иокогаму на KubeCon + CloudNativeCon Japan 2026. Ко второму дню я заметил, что слайды выступающих повторяются: спектр изоляции тенантов, квоты, bin packing, «GPU дорогие — давайте делить». Мы решаем в Авито ту же задачу, поэтому я разберу шесть докладов про GPU и LLM-инференс и расскажу, что из этого мы уже пробовали или собираемся попробовать. А в конце будет немного про саму Японию.СодержаниеИнференс обогнал обучение
Зачем Авито нужна своя Inference-платформа для ML-LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
ML для больших компаний: от DevBox до платформы на тысячу пользователей
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В статье расскажу, как мы строим ML-платформу на базе Kubeflow. От первых DevBox-решений мы пришли к набору небольших юнит-платформ, которые разные команды развивали под свои бизнес-задачи и связывали между собой. Со временем возникла задача объединить эти решения в единую платформу. Поделюсь, как мы это делали, с какими проблемами столкнулись и как их решили. И немного о том, как должны выглядеть агентские платформы, когда за управление инфраструктурой отвечают агенты.
AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D
Дрейк тоже шарит за AI inference
