Brier score.

predict_proba выдаёт 0.9 — но это не вероятность 90%

Привет, Хабр!Самая распространённая ошибка при работе с вероятностями в ML — читать число из predict_proba как вероятность. Модель вернула 0.9, и кажется очевидным: «событие произойдёт примерно в 90 случаях из 100». На этом строят решения — ранжируют лиды по этому числу, ставят порог отсечения, считают ожидаемую выручку как 0.9 * сумма_сделки, показывают пользователю «уверенность 90%».

продолжить чтение