psi.
Data Drift в ML Страхового Дома ВСК: от PSI-анализа до пересборки фичей и сравнения моделей
Автор: Мацера Максим, главный исследователь данных в Страховом Доме ВСК
Автоматизированная оценка стабильности скоринговых моделей на основе временных рядов метрик
Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением.Проблема? Проблема. Давайте разберемся, почему так происходит и как можно этого избежать.Проблематика: понять, когда модель «устала»
