AI-агент сказал «готово». Как проверить, что он действительно сделал работу
Привет 👋Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделывать и извиняться перед коллегами.Ассистенту, который предлагает формулировки, можно простить неудачный абзац. Агенту, который меняет рабочие данные, этого уже мало. Мне интереснее обсуждать его приёмку: что именно должно произойти, чтобы задачу можно было считать закрытой.
Как мы собрали ИИ-конвейер для разметки продуктового фидбэка
Привет! На связи Андрей Безруков из команды Авито Рекламы. Если вы работаете с обратной связью от пользователей, то наверняка понимаете, что для разбора нужно не только увидеть комментарий о проблеме, но и понять её точный смысл, сохранить все затронутые темы и применить консистентные правила разметки. Наша команда собрала для этого систему из специализированных ИИ-агентов, Python-помощника и обновляемой таксономии.
Оценка AI‑агентов: 7 ошибок, из‑за которых тесты врут
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про семь ошибок в оценке AI‑агентов — тех самых, из‑за которых прогон тестов светится зелёным, а о деградации команда узнаёт от поддержки.У команды есть
Бенчмарк качества англо-русского перевода для ведущих западных и китайских LLM
Бенчмарк качества англо-русского перевода для ведущих западных и китайских LLMTL;DR
Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Привет, Хабр! Меня зовут Илья Копаничук, я старший научный сотрудник лаборатории «Сильный ИИ в медицине» AIRI. Мы с коллегами создаём ИИ‑инструменты, задача которых сделать качественную медицину доступнее. Например, основанное на нашей технологии приложение «Помощник по здоровью» стало лучшим ИИ‑решением в клиентском сервисе по версии Generation AI Awards 2025. Но речь сегодня не об этом.
Completion gate для локальных моделей: как отделить завершённый ответ от оценки качества
В одном из сравнений локальных моделей я получил результат, который приятно показывать в таблице: три маршрута выполнили по десять сценариев из десяти. Медиана быстрого маршрута составила 28,9 секунды. Более тяжёлому потребовалось 99,1 секунды, смешанному — 71,0.Если смотреть только на колонку «принято», маршруты равны. Если добавить время, победителем выглядит быстрый. Если учесть ремонты результата, картина снова меняется: маршрутам потребовалось соответственно три, два и одно исправление.
LLM-wiki против RAG: Оцениваем и сравниваем
Про LLM-wiki здесь уже было несколько хороших статей (1, 2 и 3), поэтому подробно останавливаться на идее Andrej Karpathy не буду. В двух словах: вместо RAG-ретривера - wiki-агент, вместо чанков из сырых документов - связанные концепт-страницы, вместо обновления - перекомпиляция и поиск «битых» ссылок.
Как мы с Claude Code учились оценивать качество RAG системы
Уверен, на Хабре найдётся немало статей, посвященных оценке качества RAG систем. Тема по-прежнему остаётся актуальной, потому что даже готовые библиотеки вроде RAGAS не очень-то работают из коробки, требуют навыков программирования и некоторой квалификации. При этом сам процесс оценки - повторение достаточно простых операций и мне всегда хотелось переложить его на AI-ассистента.
SciGraph: как я учил ИИ читать научные статьи не только по словам, но и по связям
Привет, Хабр. Эта статья про систему, которая читает папку научных статей и помогает разбираться в них как в связанном корпусе, а не как в наборе отдельных PDF. Материал написан на базе выпускного проекта студента курса NLP Advanced. Исходный код проекта: Идея простая: если в статье есть авторы, методы, датасеты, цитирования и утверждения, то их можно превратить в граф. Тогда вопрос «какие работы привели к появлению DETR?» становится не просто поиском похожих фраз, а проходом по связям между работами.
