ML для больших компаний: от DevBox до платформы на тысячу пользователей
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В статье расскажу, как мы строим ML-платформу на базе Kubeflow. От первых DevBox-решений мы пришли к набору небольших юнит-платформ, которые разные команды развивали под свои бизнес-задачи и связывали между собой. Со временем возникла задача объединить эти решения в единую платформу. Поделюсь, как мы это делали, с какими проблемами столкнулись и как их решили. И немного о том, как должны выглядеть агентские платформы, когда за управление инфраструктурой отвечают агенты.
AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D
Дрейк тоже шарит за AI inference
