- BrainTools - https://www.braintools.ru -

predict_proba похож на вероятность, пока его не проверить

Модель оттока готова, и бизнес просит не метки, а вероятности. Логика [1] в целом понятная: звонить клиентам, у которых вероятность ухода выше 0,3, а ожидаемые потери считать как вероятность, умноженную на выручку клиента. В коде это одна строка model.predict_proba(X)[:, 1], и дальше эти числа уезжают в CRM, в отчёт и в расчёт бюджета на удержание.

Метод называется predict_proba, возвращает числа от 0 до 1, и в сумме по классам они дают единицу. Выглядит как вероятность, поэтому так её и используют. Проверяют обычно только ROC AUC, а он про вероятности не говорит ничего: он оценивает, правильно ли модель упорядочила объекты, и совершенно не смотрит, насколько её числа похожи на реальную частоту событий.

Для проверки хватит синтетического датасета на 60 000 строк с долей положительного класса около 11%, примерно как в задачах оттока или фрода, и пяти обычных моделей из scikit-learn 1.9. Ранжировали они все прилично. А вот числа, которые они выдавали, расходились с реальностью очень по-разному, и у одной из моделей «вероятность 0,43» означала событие в 6% случаев.

Проверка, которая занимает одну строку

Самый простой тест калибровки доступен без графиков. Среднее предсказанных вероятностей на тесте должно совпадать с долей положительного класса:

p = model.predict_proba(X_test)[:, 1]
print(round(p.mean(), 3), round(y_test.mean(), 3))

Если модель говорит, что в среднем уйдёт 35% клиентов, а уходит 11%, сумма ожидаемых потерь в отчёте будет завышена втрое, даже если каждый отдельный клиент упорядочен правильно. В моём прогоне обычная логистическая регрессия выдала среднее 0,109 при реальной доле 0,109. Логистическая регрессия с class_weight="balanced" выдала 0,347.

Веса классов раздувают вероятности

class_weight="balanced" советуют почти в каждом туториале по несбалансированным данным, и для метрик вроде recall это работает. AUC у взвешенной регрессии даже чуть выше, 0,858 против 0,845. Но веса меняют саму задачу, которую решает модель. Каждый положительный объект весит примерно в 8 раз больше отрицательного, и модель учится так, будто положительных примеров в 8 раз больше. Её вероятности описывают этот воображаемый датасет, а не ваших клиентов.

Кривая калибровки по восьми квантильным корзинам показывает это наглядно:

предсказано 0.12   факт 0.02
предсказано 0.25   факт 0.03
предсказано 0.43   факт 0.06
предсказано 0.57   факт 0.10
предсказано 0.84   факт 0.56

Посчитаем, что это значит для порога «звоним при вероятности выше 0,3» и для прогноза потерь:

selected = p > 0.3
print(selected.mean(), y_test[selected].mean())   # доля базы и реальный отток в ней
print(p.sum(), y_test.sum())                      # ожидаемое и реальное число уходов

На взвешенной модели порог отобрал 47% тестовой выборки, 9306 клиентов, и реальный отток среди них был 20%. Ожидаемое число уходов по сумме вероятностей вышло 6867 при реальных 2150. Колл-центру выдали бы список вчетверо длиннее нужного, а финансисты заложили бы потери в три с лишним раза выше настоящих. Тот же эффект дают андерсэмплинг большинства и SMOTE. Любое изменение баланса классов в обучении [2] сдвигает вероятности, и об этом редко пишут рядом с советом этот баланс изменить.

Если веса или сэмплинг нужны, сдвиг можно убрать обратно аналитически. Шансы модели умножаются на отношение реальных шансов к тем, под которые её обучали:

prior = y_train.mean()
k = prior / (1 - prior)          # для class_weight="balanced"
odds = p / (1 - p) * k
p_fixed = odds / (1 + odds)

После такой поправки среднее стало 0,103, а оценка Бриера упала с 0,136 до 0,060. Тот же порог 0,3 отобрал 1638 клиентов, 8% выборки, с реальным оттоком 71%, а сумма вероятностей дала 2032 ухода при реальных 2150. По кривой после поправки предсказание 0,06 соответствует факту 0,04, а предсказание 0,45 соответствует факту 0,56. Остаток расхождения сравним с шумом корзин. Если баланс меняли сэмплингом в другой пропорции, k считается из доли класса до и после сэмплинга.

Лес и наивный Байес ошибаются в разные стороны

Без всяких весов модели тоже калиброваны по-разному. Я посмотрел на объекты, которым модель дала вероятность от 0,85 до 0,95, и посчитал, какая доля из них положительная по факту. У логистической регрессии таких объектов 271, и положительных среди них 99%. У случайного леса 746 объектов и тоже 99%, у градиентного бустинга 361 и 98%. У наивного Байеса 425 объектов, и положительных среди них только 72%.

Случайный лес занижает уверенность. Его вероятность — это доля деревьев, проголосовавших за класс, а деревья с бэггингом и случайными признаками редко соглашаются все сразу. Поэтому лес почти не выдаёт значения около 1, даже когда прав практически всегда. Наивный Байес, наоборот, завышает: он считает признаки независимыми и перемножает их вклады, а коррелированные признаки учитывает по нескольку раз. На моих данных его «0,9» оказалась правдой в 72% случаев.

Градиентный бустинг с логистической функцией потерь вышел калиброванным неплохо, и это ожидаемо: он прямо оптимизирует логарифмическую функцию потерь. На небольших данных или при сильной регуляризации он тоже может сдвинуться, так что проверять всё равно нужно.

Кривая калибровки и оценка Бриера

Для любой модели проверка выглядит одинаково. calibration_curve раскладывает предсказания по корзинам и сравнивает среднюю предсказанную вероятность с реальной долей в каждой:

from sklearn.calibration import calibration_curve, CalibrationDisplay
from sklearn.metrics import brier_score_loss

prob_true, prob_pred = calibration_curve(y_test, p, n_bins=10, strategy="quantile")
print(brier_score_loss(y_test, p))
CalibrationDisplay.from_predictions(y_test, p, n_bins=10, strategy="quantile")

strategy="quantile" при несбалансированных данных лучше равномерных корзин. С равномерными в верхние корзины попадает по несколько объектов, и кривая там прыгает от шума. Оценка Бриера — это средний квадрат разности между вероятностью и исходом. В отличие от AUC, она наказывает и за плохое ранжирование, и за плохую калибровку, так что её удобно держать рядом с AUC в отчёте о модели.

Калибровка на отдельной выборке

Для уже обученной модели, которую не хочется переучивать, поверх неё обучают калибратор. Ему нужна выборка, которую модель не видела. На обучающих данных лес почти уверен во всём и калибратор выучит неправильное отображение.

from sklearn.calibration import CalibratedClassifierCV
from sklearn.frozen import FrozenEstimator

calibrated = CalibratedClassifierCV(FrozenEstimator(model), method="isotonic")
calibrated.fit(X_calib, y_calib)
p_cal = calibrated.predict_proba(X_test)[:, 1]

FrozenEstimator появился в scikit-learn 1.6 и заменил параметр cv="prefit", который теперь объявлен устаревшим. Многие примеры в интернете до сих пор используют cv="prefit" и выдают предупреждение.

Результат на моих данных:

                                 Brier до   Brier после   факт в [0.85, 0.95)
LogReg class_weight=balanced     0.1362     0.0582        0.74 -> 0.88
GaussianNB                       0.0693     0.0632        0.72 -> 0.89
RandomForest                     0.0220     0.0197        0.99 -> 0.84

Калибровка фиксит и завышение, и занижение. AUC после неё почти не меняется, 0,950 и 0,949 у леса, потому что изотоническая регрессия монотонна и порядок объектов сохраняет. Для калибровочной выборки у меня было около 10 000 строк. Документация scikit-learn не советует изотоническую калибровку, когда данных для неё сильно меньше тысячи, потому что она переобучается. На малых данных надёжнее method="sigmoid".

Когда калибровка не нужна

Для модели, которая используется только для ранжирования, калибровка ничего не даст. «Позвонить 500 клиентам с самым высоким риском» зависит только от порядка, а порядок у калиброванной и некалиброванной модели один и тот же. Калибровка нужна там, где число используется как число. Самый частый пример — ожидаемые потери по сегментам:

df["churn_p"] = calibrated.predict_proba(df[features])[:, 1]
loss = (df["churn_p"] * df["monthly_revenue"]).groupby(df["segment"]).sum()

Если вместо calibrated здесь стоит взвешенная модель, каждая строка этого отчёта будет завышена, и завышена неравномерно. По кривой выше сильнее всего модель врёт на клиентах с низким риском: 0,12 вместо 0,02, в шесть раз, против полутора раз в верхней корзине. Список таких мест длинный. Это фиксированный порог по вероятности, умножение на деньги, сравнение вероятностей двух разных моделей, объяснение заказчику, что «0,7 значит семь из десяти». Ещё калибровка нужна при смене модели, когда порог 0,3, подобранный под старую регрессию, переезжает на новый бустинг без проверки.

Название метода обещает больше, чем он гарантирует. predict_proba возвращает оценку, которая обязана быть монотонной, но не обязана совпадать с частотой, и у каждого семейства моделей своя форма расхождения. Веса классов и сэмплинг добавляют поверх этого систематический сдвиг, о котором редко вспоминают, потому что AUC его не видит.

Какие модели у вас отдают вероятности в продукт, и проверял ли кто-нибудь, что их «0,3» значит тридцать процентов?

predict_proba похож на вероятность, пока его не проверить - 1

На примере случайного леса мы увидели, что даже хорошее качество предсказаний не гарантирует корректных вероятностей. Чтобы лучше понимать, откуда берутся такие особенности моделей и как использовать их на практике, стоит разобраться в принципах ансамблирования.

2 декабря в 18:00 на открытом уроке «Ансамбли моделей — мощная техника решения ML задач» будет разбираться бэггинг, случайный лес и стекинг, а также их применение в ML-задачах. Присоединиться [3]

Больше бесплатных вебинаров недели от преподавателей Otus смотрите в посте. [4]

Автор: badcasedaily1

Источник [5]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38635

URLs in this post:

[1] Логика: http://www.braintools.ru/article/7640

[2] обучении: http://www.braintools.ru/article/5125

[3] Присоединиться: https://otus.pw/d7GZ/

[4] в посте.: https://otus.pw/ObbM/

[5] Источник: https://habr.com/ru/companies/otus/articles/1105236/?utm_campaign=1105236&utm_source=habrahabr&utm_medium=rss

www.BrainTools.ru

Rambler's Top100