Признаки в обучении и проде расходятся: воспроизводим ошибку на тестовом наборе
Модель оценивает риск отмены заказа продавцом. На проверочном наборе она выглядит убедительно. После запуска часть заказов получает неожиданно низкий риск, хотя код модели и порог не менялись.Разработчик открывает карточку одного заказа и видит: в обучающей строке у продавца две отмены за последние семь дней, а в запросе к модели во время оформления заказа не было ни одной.
Как ML‑модели ломаются в продакшене и что с этим делать
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Существует фундаментальное заблуждение, которое преследует индустрию машинного обучения с самого её зарождения, заключающееся в том, что успех ML‑проекта определяется только качеством модели.Но на практике всё не так просто, потому что подавляющее большинство моделей, показавших блестящие результаты в Jupyter Notebook, либо никогда не доходят до пользователя, либо деградируют в течение нескольких недель после запуска.
7 ошибок в оценке качества LLM‑систем в продакшене
Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как команды теряют контроль над качеством своих LLM‑фич и что с этим делают инженеры, у которых это работает.Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.
Нашёл модель в 8 раз дешевле. Она начала писать иероглифы в русских новостях
Нашёл модель в 8 раз дешевле. Она начала писать иероглифы в русских новостяхTL;DR — пишу @futur_e_news_bot, двуязычную ленту новостей. Каждая новость проходит через LLM: категория, перевод, тон, разбор. Это ~936 вызовов в сутки, и мне захотелось платить меньше. Я перебрал все бесплатные модели OpenRouter, нашёл платную в 8 раз дешевле текущей, обрадовался и выкатил. Через час в ленте появился заголовок «Как не，让智能手机 перегревать: советы в жару».Бесплатных моделей 17, доступны 3Первая мысль была очевидной: раз есть модели с ценой $0, надо брать их. На OpenRouter таких нашлось 17.
Как создать AI‑агента на Java: связка Spring AI + MCP
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про то, как Java и Spring за последний год заметно подтянулись в теме, где долго и заслуженно лидировал Python, — продакшен AI‑агентов. Сразу обозначу позицию, чтобы не было разночтений. Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры.
AI‑ассистент пишет код: 8 антипаттернов, из‑за которых он падает в проде
Всем привет, меня зовут Сергей Прощаев, и в этой статье я расскажу про антипаттерны работы с AI‑ассистентом кода — те, из‑за которых сгенерированный код спокойно проходит ревью, мёржится с зелёными тестами, а потом превращается в ночной инцидент.
AI-агенты в продакшене: почему demo не равно реальность
Как я строил агента для код-ревью на LangGraph и где сломалась красивая теорияПару месяцев назад я смотрел демку: AI-агент получал пулл-реквест, пробегал по diff-у, находил потенциальный race condition и писал развёрнутый комментарий с предложением фикса. Всё это занимало около 40 секунд.В нашей команде ревью давно стало бутылочным горлышком. Двое сеньоров, около двенадцати PR в день, каждый висит в очереди по полдня. Идея автоматизировать первый проход — типовые замечания, проверки стайлгайда, очевидные ошибки — выглядела очень соблазнительно.
Вайбкодинг: Как “магия” ИИ превращает ваш проект в Франкенштейна
Модный тренд “Вайбкодинг” (VibeCoding) звучит заманчиво: “Я просто описываю идею на пальцах, а нейросеть пишет код!”. Это похоже на суперсилу, пока вы не пытаетесь запустить это в прод. Спойлер: Вайбкодинг калечит живые проекты. Вот почему.
ИИ-агенты никому не нужны. Часть 2. Укрощение лобстера
Как OpenClaw стал самым быстрорастущим проектом в истории GitHubВ ноябре 2025 австрийский разработчик Петер Штайнбергер собрал за выходные автономного агента, который мог выполнять задачи на компьютере. Назвал Clawdbot. Утилитарно и честно.
LLM под капотом. Модель выдумала телефон доверия — чиним архитектурой, не промптом
Девушка пересылает боту переписку с бойфрендом. Модель видит сигналы опасности (эмоциональное насилие, изоляция) и отвечает номером телефона доверия. Заботливо. Ответственно. Одна проблема: это детская горячая линия. Модель галлюцинировала контакт кризисной помощи.В промпте написано «НЕ придумывай контактные данные». Не помогает. Желание быть полезной в модели сильнее любой инструкции. Это не проблема промптинга. Это проблема архитектуры.Ловушка одного прохода
