Зачем Авито нужна своя Inference-платформа для ML-LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
