Средняя метрика скрывает провал редкого сегмента: проверяем ML-модель на срезах
Представим сервис объявлений.До публикации карточки проходят через классификатор: подозрительные попадают к модератору, остальные идут дальше.Команда подключает новый партнёрский фид и готовит новую версию ML-модели к релизу.На контрольном наборе accuracy выросла с 93% до 95,5%, а число карточек, отправленных на ручную проверку, сократилось со 136 до 113.Для продукта это выглядит как два улучшения сразу.Однако на карточках нового фида модель стала находить только 8 из 20 нарушений вместо прежних 16. Ещё восемь нарушений на том же наборе прошли мимо маршрута ручной проверки.
Open‑weight LLM догнали закрытые? Проверка на продакшене
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу, почему фраза «open‑weight модели догнали закрытые» почти верна для бенчмарков и опасна для вашего продакшена. Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.Представьте: пятница, вечер, в рабочий чат кто‑то кидает скриншот бенчмарка. Открытая модель отстаёт от флагмана за 25 долларов за миллион выходных токенов на пару пунктов. Через десять минут в тред приходит финансовый директор с вопросом:«А зачем мы платим в десятки раз больше?»
Как я мерил точность ИИ в распознавании еды: бенчмарк, LLM-as-judge и баг с варёной гречкой
Строю приложение для подсчёта калорий по фото. Пользователь снимает тарелку, модель определяет блюдо, считает КБЖУ. Идея не новая, но мне важно, чтобы это работало именно на русской еде — борщи, гречки, котлеты по-домашнему.В какой-то момент стало некомфортно: я не знал, насколько модель вообще точна. «Кажется, работает нормально» — плохой ответ, если хочешь что-то улучшать. Решил померять нормально.Расскажу, что и как мерил, что получил — и про неожиданный вывод в конце, ради которого, честно говоря, и стоило это всё делать.Три вещи, которые хотелось знать
Почему Word Error Rate (WER) недостаточно: Семантическая декомпозиция ошибок ASR
ОглавлениеВступлениеБизнес-ценность и определение проблемыКак измеряется качество распознавания речи?Недостатки индустриального стандартаКак мы измеряем точность моделей у себяЗадача 1: Получить корректный датасет и сделать результаты сопоставимымиЗадача 2: Понять, где именно ошибка и к какой категории она относитсяЗадача 3: Объединить ошибки и семантику
