Мы думали, что в скоринге важен размер выборки. Оказалось, что дело в числе дефолтов
Сравниваем TabPFN-2.5 и CatBoost на банковских данных и считаем, сколько стоит выигрыш в качествеКогда я начинал эксперимент, гипотеза была простой: чем больше заявок в обучении, тем лучше модель. Это звучит очевидно, однако данные показали другое.Возьмём три набора для обучения, в каждом из которых ровно 500 дефолтных заявок. В первом всего 2 000 заявок (25% дефолтных), во втором 5 000 (10%), в третьем 50 000 (1%). CatBoost на них показывает почти одинаковое качество: ROC AUC 0,683, 0,681 и 0,686. Размер выборки отличается в 25 раз, а результат тот же. Совпало только число дефолтов.
