Мой агент получил высокий балл. Проверяю, что он сделал
Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти задачах. Потом заглушка без единого вызова инструмента набрала 34% на полном наборе.Я разрабатываю собственную экспериментальную систему и называю её ELM. В её диалоговом варианте код предлагает действия, нейросеть выбирает из них, а код исполняет вызов и собирает ответ. В проверяемом здесь режиме нейросеть не пишет текст ответа.
Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать
Рядом с метрикой принято хранить версию модели и версию данных. Этого мало. Между двумя запусками может смениться правило, по которому объекты попадают в оценку, и тогда одно и то же имя метрики описывает два разных эксперимента.У меня это вылезло на прогнозе загруженности парковок. Часть датчиков молчит: вместо занятости они круглосуточно отдают одно и то же число. Такие парковки надо выкидывать и из обучения, и из замера, иначе модель учится предсказывать константу, а метрика выходит красивее заслуженного.
Выручка +49 %, но это не заслуга ИИ: разбор ИИ-контура у селлера на Wildberries и Ozon
Производитель косметики, шесть кабинетов на Wildberries и Ozon, оборот около 45 млн ₽ в месяц. За шесть недель команда маркетплейсов из шести человек запустила 26 автоматизаций — по плану внедрения было три. Выручка за то же время выросла на 49 %, и ниже я объясню, почему мы не записываем этот рост на счёт ИИ.В разборе — как устроен корпоративный ИИ-контур, откуда взялись 26 автоматизаций, что ИИ нашёл в данных компании (включая ключ доступа к финансам всех кабинетов, лежавший по публичной ссылке), как мы мерили эффект и что не получилось. Это промежуточный замер: 11 августа — 22 сентября 2026 года. Повторный — через три месяца.
664 тысячи книг, десятки агентов — и ни одной метрике нельзя верить
Мне нужны собственные каноники книг. Каноник — это одна устойчивая запись «вот этот текст», к которой привязывается всё остальное: файлы в разных форматах, аудиокниги, издания, дубли.
Jev, Laya и Gemini Flash на трёх задачах классификации в поддержке
За неделю я прогнал три задачи из своего прода через модели, которые только выбирают из списка, ставят оценку по шкале или возвращают вероятность. Jev как закрытая, Laya как опенсорсный аналог, плюс gemini flash lite как третий кандидат. Две задачи из трёх они закрывают, третью не закроет ни одна, и понять это можно было до всякого замера.Меня интересовал не обзор моделей. Хотелось рамки: какие задачи вообще имеет смысл отдавать такому инструменту. Ниже три замера на живом трафике, шесть признаков подходящей задачи и раздел с оговорками, где я честно перечисляю, чего эти цифры не доказывают.
Метрика стала хуже на 20%, и вот почему так правильно
Мы прогнозируем загруженность московских парковок на сутки вперёд. В скрипте, который обучает модель, лежал такой список:# --- Список аномальных парковок (замороженные > 24ч, exclude from training) --- ANOMALOUS_PARKING_IDS = [7, 8, 11, 12, 14, 21, 24, 31, 32, 37, 47, 49, 50, 51, 52, 53, 54, 56, 58, 61, 66, 70, 72, 81, 82, 84, 95, 100, 106, 113, 121, 122, 128, 133, 134, 136, 146, 149, 162] Тридцать девять парковок, которые год назад отдавали одно и то же значение сутками. Логика понятная: на замороженном ряде модель учится предсказывать константу, поэтому такие парковки из обучения убрали.
Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность
Привет, Хабр!Новая логика распределения заказов по курьерам выиграла A/B с запасом: время доставки минус восемь процентов, интервал узкий, p‑value с тремя нулями.Раскатали на сто, подождали две недели — время доставки осталось ровно там, где было. Логирование в порядке, сплит честный, пользователи делились случайно.Так ломается обычный тест в системах, где варианты дерутся за один ресурс.Курьер, доставшийся тестовой группе, отобран у контрольной, и разница надувается с обеих сторон сразу.Лечится это рандомизацией не по пользователям, а по времени:
Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком
Одиннадцать недель я вёл дневник каждой рабочей сессии с Claude Code: сколько часов работал агент, сколько я был рядом, кто нашёл каждый дефект и что случилось с каждым кандидатом — подтверждён, снят или ушёл вопросом. Вместо впечатлений — таблица: 277 агентских часов, 213 моих, 94 подтверждённые находки. Первая версия этого счёта оказалась завышенной почти вдвое — куда делась половина, тоже расскажу.Это четвёртая статья про paranoid-qa — опенсорсный пак скиллов, который заставляет Claude Code тестировать с доказательной дисциплиной. В первых трёх я показывал методику: вердикты только с пруфами,
Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Привет, Хабр! Меня зовут Илья Копаничук, я старший научный сотрудник лаборатории «Сильный ИИ в медицине» AIRI. Мы с коллегами создаём ИИ‑инструменты, задача которых сделать качественную медицину доступнее. Например, основанное на нашей технологии приложение «Помощник по здоровью» стало лучшим ИИ‑решением в клиентском сервисе по версии Generation AI Awards 2025. Но речь сегодня не об этом.
Цена, которой не существовало: две недели поиска бага, который не видел мониторинг
Есть класс ошибок, которые невозможно найти простой сверкой. Не потому, что данные хорошо спрятаны, а потому, что искомого состояния нет ни в одной системе. Оно собирается на лету из двух правильных половинок, каждая из которых по отдельности абсолютно валидна.Хочу рассказать про случай, где искали причину две недели, но при этом мониторинг всё это время показывал, что всё в порядке, и формально он был прав.Оговорюсь сразу:
