Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается
Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса, долю успешных задач. Это полезно для общего контроля ситуации, но почти бесполезно для реальной диагностики системы.
Чем умнее модель, тем меньше ей нужно: четыре дисциплины production‑агента
Если твой агент обвешан пошаговыми инструкциями и десятком узких инструментов под каждый шаг — он, скорее всего, работает хуже, чем мог бы. Звучит контр‑интуитивно, но это прямой вывод из инженерных постов Anthropic за последний год: чем умнее становится модель, тем сильнее прежняя обвязка её сдерживает.
От диплома до продакшена: … Часть 7: Инфра, MLOps и уроки масштабирования
От диплома до продакшена: Как я создавал архитектуру ИИ-проекта для… Часть 7: Инфраструктура, MLOps и уроки масштабированияАвтор: Алексей Бобрешов, руководитель отдела искусственного интеллекта Категория: Искусственный интеллект, MLOps, управление проектами, масштабирование Время чтения: 13–16 минутЭто седьмая, заключительная часть серии. Для контекста по безопасности рекомендую Часть 6.Введение: почему модель — это ещё не продукт
Мы попробовали в реальном проекте Dynamic Workflows от Claude Code. Рассказываю, что сработало, а что нет
Прогнали Dynamic Workflows Claude Code на реальном проекте поверх NaCl: что сработало, а что нетПривет! Меня зовут Максим Никитин, я фаундер небольшой, но гордой студии разработки сложных и нетиповых проектов ITSalt. В начале 2025 года мы начали переходить на агентскую разработку и постепенно собрали вокруг этого собственный фреймворк - NaCl. Сейчас он закрывает бизнес-анализ, системное проектирование, TDD, код-ревью, QA и релиз - по сути, весь цикл от требования до продакшна.NaCl можно посмотреть в публичном репозитории
Критерии выживания и случайность — 5
Предыдущие статьи цикла.Случайность — другое имя БогаПовезло или сам добился? Как оценить?Критерии выживания и случайностьКритерии выживания и случайность - 2Критерии выживания и случайность - 3Критерии выживания и случайность - 4Сквозной тезис этой статьи держится на одном неудобном сочетании:
Вайбаналитика: как я учил LLM описывать бизнес-процессы, а не имитировать их
Опыт ERP-архитектора: почему ChatGPT сначала выдавал красивые, но непроверяемые процессы — и почему решение оказалось не в промптах, а в предметной модели, технологической последовательности и проверяемых артефактах.
ИИ в работе с данными: как аналитики используют нейросети и почему без человека пока никак
ИИ не заменит аналитика данных или специалиста по Data Science. Но он может сильно изменить их работу: ускорить и упростить процессы — или, при неправильном использовании, снизить качество результатов и отучить специалистов мыслить критически.В Яндекс Практикуме прошёл вебинар «ИИ для аналитиков: как меняется профессия» — эксперты курса «Аналитик данных» и направления Data Science
От плановых ремонтов к предиктивному обслуживанию: дорожная карта для главного инженера
Ограничения ППР и почему переход к прогнозной модели становится необходимымПланово-предупредительные ремонты (ППР) — стандарт для большинства промышленных предприятий. Логика проста: замена узлов или материалов через фиксированный интервал времени или наработки. Однако на практике этот подход всё чаще приводит к трём проблемам:Избыточное обслуживание — ресурс подшипника или ремня может составлять 10 тысяч часов, а регламент требует замены каждые 5 тысяч «для надёжности». Прямые потери на запчастях и трудозатратах.Внеплановые отказы
