Признаки в обучении и проде расходятся: воспроизводим ошибку на тестовом наборе
Модель оценивает риск отмены заказа продавцом. На проверочном наборе она выглядит убедительно. После запуска часть заказов получает неожиданно низкий риск, хотя код модели и порог не менялись.Разработчик открывает карточку одного заказа и видит: в обучающей строке у продавца две отмены за последние семь дней, а в запросе к модели во время оформления заказа не было ни одной.
Как ML‑модели ломаются в продакшене и что с этим делать
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Существует фундаментальное заблуждение, которое преследует индустрию машинного обучения с самого её зарождения, заключающееся в том, что успех ML‑проекта определяется только качеством модели.Но на практике всё не так просто, потому что подавляющее большинство моделей, показавших блестящие результаты в Jupyter Notebook, либо никогда не доходят до пользователя, либо деградируют в течение нескольких недель после запуска.
В одном клике от Скайнета: что значит «самораспространение» нейросетей
12 октября Frontier Red Team Anthropic, внутренняя команда, которая проверяет модели на опасные возможности, опубликовала
Как Национальный центр ураганов США сделал ставку на ИИ-прогноз Isaias
Ураган Isaias вышел на сушу 9 октября в 21:30 по восточному времени вблизи Дестина
Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В конце июля мы с коллегами съездили в Иокогаму на KubeCon + CloudNativeCon Japan 2026. Ко второму дню я заметил, что слайды выступающих повторяются: спектр изоляции тенантов, квоты, bin packing, «GPU дорогие — давайте делить». Мы решаем в Авито ту же задачу, поэтому я разберу шесть докладов про GPU и LLM-инференс и расскажу, что из этого мы уже пробовали или собираемся попробовать. А в конце будет немного про саму Японию.СодержаниеИнференс обогнал обучение
Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать
Рядом с метрикой принято хранить версию модели и версию данных. Этого мало. Между двумя запусками может смениться правило, по которому объекты попадают в оценку, и тогда одно и то же имя метрики описывает два разных эксперимента.У меня это вылезло на прогнозе загруженности парковок. Часть датчиков молчит: вместо занятости они круглосуточно отдают одно и то же число. Такие парковки надо выкидывать и из обучения, и из замера, иначе модель учится предсказывать константу, а метрика выходит красивее заслуженного.
От промпта до продакшена: бесплатные уроки октября про LLM, агентов и MLOps
Привет, Хабр. В этом дайджесте собраны бесплатные уроки октября для тех, кто работает с искусственным интеллектом, машинным обучением и данными или внедряет ИИ в разработку и рабочие процессы. В подборке — LLM и генеративный ИИ, агентные системы, MCP и Tool Calling, MLOps и AgentOps, качество данных, Data Drift, безопасность и эксплуатация AI-систем.
