Оценка агентных систем
Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.ОпределенияПрежде чем погружаться в тестирование, договоримся о терминах:LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста. Tool (инструмент)
Как ML‑модели ломаются в продакшене и что с этим делать
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Существует фундаментальное заблуждение, которое преследует индустрию машинного обучения с самого её зарождения, заключающееся в том, что успех ML‑проекта определяется только качеством модели.Но на практике всё не так просто, потому что подавляющее большинство моделей, показавших блестящие результаты в Jupyter Notebook, либо никогда не доходят до пользователя, либо деградируют в течение нескольких недель после запуска.
DS‑собеседование в 2026 году: 6 ошибок, из‑за которых отказывают даже сильным кандидатам
Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про шесть ошибок, из‑за которых кандидаты на DS/ML‑позиции получают отказ, хотя на все вопросы отвечают правильно.Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce, преподаю на курсах разработки и архитектуры в ОТУС.
Вокруг RecSys ML 1: универсальный план по MLSD и основные проблемы RecSys
Время идет и каждая из областей в МЛ развивается, часто сложно уловить особенности и прорывы в каждом домене. Я предлагаю начать разбирать вглубь RecSys и постепенно отвечать на вопросы: что общего со всеми, а что стало доменным.Вдохновением стал курс от ШАДа 2025 года, буду использовать оттуда множество чудесных картинок.Объявим главные вопросы, на который нужно дать ответ, для решения задачи ML-ем. А также, основные проблемы в рексисе о которых нужно думать заранее.
Оптимальный путь в NLP: как стать Middle за полгода
Стать Middle NLP Engineer за 6 месяцев — реально. Не за два года, не через бесконечные курсы — а за полгода нормальной учебы. Эта статья - про оптимальный путь. Без матана, без академизма, без «прочитай пять книг». Только то, что реально нужно для собеседований и работы.Почему это реально:Мой путь от нуля до стажёра занял два года, и сейчас я понимаю, как пройти его быстрееПосле нахождения первой работы я вырос до Senior за год;Я регулярно провожу собеседования и знаю реальные требования;Уже помог нескольким людям войти в профессию.
