Автоматизированная оценка стабильности скоринговых моделей на основе временных рядов метрик
Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением.Проблема? Проблема. Давайте разберемся, почему так происходит и как можно этого избежать.Проблематика: понять, когда модель «устала»
