Зачем Авито нужна своя Inference-платформа для ML-LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
Платформа — не самоцель: когда ML-разработку стоит унифицировать, а когда лучше остановиться, обсудили на «ИТ-Пикнике»
Машинное обучение часто воспринимают как работу над моделью: есть данные, алгоритм, обучение и результат. В крупных компаниях основная сложность постепенно перемещается в другое место. Одни и те же данные приходится готовить для разных проектов, модели — регулярно переобучать, эксперименты — проверять, а найденные решения — переносить между командами.На «ИТ-Пикнике» Сергей Кузнецов, руководитель разработки платформы рекомендаций и поиска MWS, показал на трех кейсах, почему в одних случаях лучше работать с полноценной ML-платформа, а в других — выгоднее остановиться на уровне библиотеки.
Как устроена ML-платформа Michelangelo и какие базовые принципы из неё важно усвоить
Привет! Меня зовут Катерина Цаплина, я программный эксперт курса «MLOps для разработки и мониторинга моделей», и это вторая статья цикла о том, как компании реализуют MLOps. В предыдущей части мы разбирали, какие архитектурные подходы скрываются за MLOps: от workflow-фреймворков до managed-сервисов и внутренних платформ.
Решаем задачи ML эффективнее: платформа, которая экономит ресурсы, время и нервы
Привет! Я Олег Бугримов, руковожу командой разработки ML-платформы в Авито. В статье расскажу, почему мы решили делать ML-платформу и какие инструменты у нас уже есть. Материал будет полезен ML-инженерам и техлидам, которые хотят сократить время на рутину, обеспечить команду единым набором инструментов, а также повысить качество и скорость разработки ML‑решений.
К2 НейроТех добавил Langflow в ML-платформу для быстрой разработки решений на LLM
К2 НейроТех интегрировал в свою ML-платформу в составе облачной инфраструктуры K2 Cloud low-code инструмент Langflow. Новая функция позволяет бизнесу быстро разрабатывать решения на основе больших языковых моделей (LLM) без глубоких знаний программирования.
