Средняя метрика скрывает провал редкого сегмента: проверяем ML-модель на срезах
Представим сервис объявлений.До публикации карточки проходят через классификатор: подозрительные попадают к модератору, остальные идут дальше.Команда подключает новый партнёрский фид и готовит новую версию ML-модели к релизу.На контрольном наборе accuracy выросла с 93% до 95,5%, а число карточек, отправленных на ручную проверку, сократилось со 136 до 113.Для продукта это выглядит как два улучшения сразу.Однако на карточках нового фида модель стала находить только 8 из 20 нарушений вместо прежних 16. Ещё восемь нарушений на том же наборе прошли мимо маршрута ручной проверки.
