ML для больших компаний: от DevBox до платформы на тысячу пользователей
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В статье расскажу, как мы строим ML-платформу на базе Kubeflow. От первых DevBox-решений мы пришли к набору небольших юнит-платформ, которые разные команды развивали под свои бизнес-задачи и связывали между собой. Со временем возникла задача объединить эти решения в единую платформу. Поделюсь, как мы это делали, с какими проблемами столкнулись и как их решили. И немного о том, как должны выглядеть агентские платформы, когда за управление инфраструктурой отвечают агенты.
Ваш трансформер постоянно переобучается? Тогда мы идём к вам
Пожалуйста, будьте осторожны с кухонными приборами!1. Вступление
«Взрыв поверхности» или «вертикальный срез»: какой подход выбрать при построении MLOps-платформы?
Привет, Хабр! Меня зовут Кирилл Кулаков, я занимаюсь развитием MLOps-платформы в Uzum Fintech.Недавно у нас в команде разгорелся спор о том, как правильно разворачивать платформы. Причем разгорелся он уже после того, как мы совместно всё спроектировали, двигались какое-то время в одном инфополе, и я уже развернул довольно большую часть.И тут коллеги начали задавать вопросы «Почему мы не разворачиваем каждый компонент последовательно, настраивая все досконально?». Для меня это звучало как: «Ты сделал неправильно, сейчас будем разбирать твою работу и от половины откажемся».
Автоматизация рутины нейросетями: как поручить ИИ повторяющиеся задачи
Каждый владелец бизнеса делает десятки одинаковых действий в день. Отвечает на одни и те же вопросы клиентов. Переносит заявки в таблицу. Собирает отчёт из пяти источников. Пишет посты, которые откладываются, потому что «нет времени».По оценкам отраслевых исследований, около 84% компаний тратят минимум четверть рабочего времени на повторяющиеся задачи. Для малого бизнеса это особенно дорого: штат маленький, размазать рутину не на кого, и нанимать ещё одного человека ради механической работы невыгодно.
LLM Sandbox: пример реализации агента с песочницей [часть 2, практика]
ВведениеСтатья посвящена практической реализации агента с изолированной средой исполнения кода. Рассказываю как устроен агент, который пишет и исполняет код в Docker песочнице.
Классификация и анализ методов верификации нейросетей
Классификация и анализ методов верификации нейросетейПри эксплуатации нейросетей вида r=f(a,w) в ответственных системах необходимо соблюдение двух фундаментальных требований: повторяемость и проверяемость результата. Информация о требовании повторяемости на основе детерминированного ответа изложена в ранее опубликованной статье. Но с выполнением второго требования всё несколько сложнее.
Я спросил у нейронки, как верифицировать её ответы, и она сказала: «Хочешь честно? Это про доверие»
Не доверяйте нейросетям... проверяйте их!Классификация и анализ методов верификации нейросетейПри эксплуатации нейросетей вида r=f(a,w) в ответственных системах необходимо соблюдение двух фундаментальных требований: повторяемость и проверяемость результата. Информация о требовании повторяемости на основе детерминированного ответа изложена в ранее опубликованной статье. Но с выполнением второго требования всё несколько сложнее.
Как мы валидировали сервер YADRO для NVIDIA H100 Special
Недавно на рынке появились PCIe-карты NVIDIA H100: они позиционируются как решения на базе SXM-чипов, извлеченных из HGX-модулей. Но точно ли их производительность не уступает производительности оригинальных NVIDIA H100 NVL? Меня зовут Артём Маклаев, вместе с командой я занимаюсь оценкой производительности серверных платформ для задач искусственного интеллекта в YADRO. В целях эксперимента мы решили сравнить показатели PCIe-карты NVIDIA H100 (дальше по тексту буду называть их NVIDIA H100 Special
AI в разработке: серебряная пуля или русская рулетка?
TL;DRСовременные LLM и AI-агенты — это не «сильный интеллект», а инструмент, работающий по инструкциям, промптам, контексту и доступным ему инструментам. Они могут выглядеть разумными, но не обладают сознанием, ответственностью, намерением и настоящим пониманием последствий.Я выделяю несколько ключевых рисков:Отсутствие интеллектаЭффективностьБезопасностьОтветственность за результатКогнитивная трансформацияСмена парадигмы
