0.9 от вашего классификатора — это не 90%: почему модели врут о своей уверенности и как это чинить
Материал подготовлен в рамках курса «Машинное обучение. Экспертный уровень».Привет, Хабр! Обучили классификатор, он выдаёт predict_proba, вы берёте эти числа как вероятности и строите на них логику: если модель уверена больше чем на 0.8 — принимаем автоматически, меньше — отправляем человеку. Порог 0.8 выбран как «модель права в 80% случаев».Вот только модель, скорее всего, права совсем не в 80% случаев на этом пороге. Число 0.8
predict_proba выдаёт 0.9 — но это не вероятность 90%
Привет, Хабр!Самая распространённая ошибка при работе с вероятностями в ML — читать число из predict_proba как вероятность. Модель вернула 0.9, и кажется очевидным: «событие произойдёт примерно в 90 случаях из 100». На этом строят решения — ранжируют лиды по этому числу, ставят порог отсечения, считают ожидаемую выручку как 0.9 * сумма_сделки, показывают пользователю «уверенность 90%».
