Зачем ансамблю отрицательные веса: от портфельной теории до кредитного скоринга. ансамблевые модели.. ансамблевые модели. ансамбли.. ансамблевые модели. ансамбли. Машинное обучение.. ансамблевые модели. ансамбли. Машинное обучение. скоринг.. ансамблевые модели. ансамбли. Машинное обучение. скоринг. хэджирование.

Представим, что мы обучили две модели кредитного скоринга и хотим объединить их прогнозы. Казалось бы, всё просто: каждой модели назначаем положительный вес и получаем итоговую оценку вероятности дефолта.

Но что, если оптимизация предложит веса 1,34 и −0,34? Получается, что прогноз второй модели нужно не прибавлять, а вычитать. Зачем тогда вообще включать её в ансамбль?

Оказывается, такое решение может иметь вполне рациональное объяснение. В определённых условиях отрицательные коэффициенты позволяют компенсировать взаимосвязанные ошибки базовых моделей. Похожая идея встречается в портфельной теории, где короткие позиции используются для хеджирования рисков.

Меня зовут Иван, я не ML-инженер, а аналитик в сфере финансов и кредитных рисков, но интересуюсь машинным обучением, временными рядами и анализом данных, и занимаюсь собственными исследовательскими и прикладными проектами, и в этой статье я попробую разобраться, когда отрицательные веса действительно полезны. Для этого рассмотрим математическую постановку задачи и проведём эксперимент на 18 моделях кредитного скоринга, сравнив качество и устойчивость различных способов оптимизации.

Три  подхода к оптимизации параметров

Один из наиболее простых способов объединения моделей – взвешенное усреднение их прогнозов. Каждой модели присваивается коэффициент, определяющий её вклад в итоговую оценку. Если коэффициенты подбираются на основе out-of-fold прогнозов, такой подход можно рассматривать как линейный стекинг:

hat{p}=sum_{i=1}^{m} omega_i hat{p_i}.

Обычно веса ограничивают неотрицательными значениями, однако это не обязательное условие.

Данный способ ансамблирования обычно демонстрирует большую устойчивость во времени. При этом эффективность объединения определяется лишь подбором весов для прогнозов отдельных моделей без поиска оптимальной комбинации гиперпараметров.

Именно процедуру взвешивания мы попробуем отразить в статье, сравнив различные подходы к определению весов ансамбля на примере моделей кредитного скоринга. Далее будут последовательно описываться 3 подхода к оптимизации параметров:

  1. Безусловная оптимизация.

  2. Оптимизация при условии неотрицательных коэффициентов (long-only).

  3. Оптимизация при допущении отрицательных коэффициентов (long-short).

При этом центральным вопросом будет именно возможность улучшения качества ансамбля за счёт допущения отрицательных весов (сравнение второго и третьего подходов).

Безусловная оптимизация

Начнём с наиболее простого подхода — оптимизации весов ансамбля без ограничений. Пусть у нас имеется m моделей, для каждой из которых целевой переменной является факт наступления определённого события на фиксированном горизонте. Тогда постановка задачи выглядит следующим образом:

hat p_i=sum_{j=1}^{m}hat{omega_j}hat{p_{ij}} min_{ w } frac{1}{n}sum_{i=1}^{n}left(y_i-hat{p_{i}}right)^2.

То есть в нашем случае ключевым является минимизация оценки Брайера. Фактически решением данной задачи является оценка коэффициентов линейной регрессии методом МНК, которая имеет известное аналитическое решение:

hat{omega}=(X^top X)^{-1}X^top y.

Конечно, основным преимуществом данного метода является отсутствие каких-либо ограничений на коэффициенты ансамбля. Данная постановка позволяет нам оценивать коэффициенты отдельных моделей, корректировать систематическое смещение в случае добавление свободного коэффициента и получать минимальное значение среднеквадратической ошибки оценки вероятности. 

Однако самым интересным является возможность получения отрицательных весов. В частности, отрицательные коэффициенты могут возникать, когда определённая составляющая прогноза модели, не объясняемая прогнозами остальных алгоритмов, отрицательно связана с целевой переменной. Таким образом, отдельная модель может получать отрицательный вес даже при достаточно высоком индивидуальном качестве прогнозирования.

Однако отсутствие ограничений на коэффициенты ансамбля создаёт дополнительные риски переобучения. В частности, высокая корреляция прогнозов базовых моделей может приводить к неустойчивым оценкам весов, особенно если модели обучаются на одинаковых признаках и наблюдениях. Кроме того, на применении легко можно получить итоговую оценку, которая выходит за рамки интервала от 0 до 1.

Но несмотря на явные недостатки, безусловная оптимизация является отправной точкой для построения ансамбля.

Оптимизация при условии неотрицательных коэффициентов (long-only)

Одним из способов преодоления недостатков безусловной оптимизации является введение ограничений на коэффициенты ансамбля. В предыдущей постановке веса могли принимать произвольные значения, а их сумма не имела фиксированного значения. Это позволяло корректировать масштаб и смещение прогнозов, однако одновременно создавало дополнительные возможности для переобучения.

Логичным шагом является нормировка суммы весов к единице:

min_{ w } frac{1}{n}sum_{i=1}^{n}left(y_i-hat{p_{i}}right)^2sum_{j=1}^{m}w_j=1.

Ограничение суммы весов единицей позволяет сохранить общий масштаб прогнозов, однако само по себе не гарантирует их принадлежности интервалу от 0 до 1. Для этого необходимо дополнительно потребовать неотрицательности всех коэффициентов.

Перед переходом к непосредственной оптимизации хочется отметить схожую постановку задачи в финансовой математике для оптимизации доходности портфеля активов. В случае работы на финансовых рынках без возможности кредитования очевидным решением является введение дополнительного ограничения на неотрицательность весов (long-only стратегия):

min_{ w } frac{1}{n}sum_{i=1}^{n}left(y_i-hat{p_{i}}right)^2 sum_{j=1}^{m}w_j=1w_jgeq0.

Предположим, мы в роли инвестора хотим распределить капитал между несколькими финансовыми инструментами без возможности распоряжения сторонними средствами, то есть сумма вложений не может превышать имеющийся капитал. Отсюда изначально и возникла задача с неотрицательностью весов и их единичной нормировкой, которая стала отправной точкой портфельной теории. 

Важным результатом данной теории является то, что для построения торговой стратегии необходимо учитывать не только доходность активов, но и зависимость между ними. На практике даже рисковый актив может снижать общий риск портфеля, если его доходность слабо коррелирует с доходностью остальных инструментов. Аналогичная идея применима и к ансамблям, когда модели с относительно высокой индивидуальной ошибкой могут улучшать итоговый результат, если её ошибки отличаются от ошибок других алгоритмов. 

При этом, согласно результатам портфельной теории, нахождение аналитического решения является нетривиальной задачей. На самом деле, оптимальные веса могут быть подобраны аналитически только в случае заранее известного множества моделей с положительными весами (S):

w_S=frac{Q_{SS}^{-1}mathbf{1}} {mathbf{1}^{top}Q_{SS}^{-1}mathbf{1}}, qquad w_j=0,qquad jnotin S.

Таким образом, long-only задача фактически сводится к определению набора моделей, которым следует присвоить ненулевые веса.

Однако данная трудность возникает как раз из-за введения дополнительного ограничения на «невозможность кредитования». В действительности же инвестор может открывать короткие позиции, предполагающие продажу заёмных ценных бумаг с их последующим выкупом и возвратом кредитору, откуда и появляются отрицательные коэффициенты. Причём подобный механизм зачастую используется не столько для извлечения дополнительной выгоды, сколько для хеджирования рисков портфеля.

Оптимизация при допущении отрицательных коэффициентов (long-short)

Предположим, инвестор располагает капиталом в 1 миллион рублей, однако желает приобрести акции компании А на 1,2 миллиона. В таком случае он может взять в долг у брокера акции компании B и продать их на 200 тысяч с обязательством последующего возвращения. В результате веса активов составят:

w_A=1{,}2,qquad w_B=-0{,}2.

Несмотря на наличие отрицательного коэффициента, сумма весов по-прежнему равна единице. Однако теперь инвестор получает возможность частично компенсировать потери от снижения стоимости акций компании A прибылью по короткой позиции в акциях компании B, если обе бумаги реагируют на общий неблагоприятный фактор (то есть если их доходности сильно коррелируют), поскольку в случае одновременного удешевления акций инвестор несёт потери по бумаге А, но и выигрывает по бумаге B, поскольку может выкупить её по меньшей цене для последующего возврата брокеру. При этом если акции B сильнее реагируют на общий фактор риска, такая комбинация может оказаться менее чувствительной к нему, чем простое владение акциями A.

Возможность снижения риска по одной позиции за счёт открытия другой называется хеджированием. Важно, что инвестор необязательно ожидает низкой доходности акций компании B, поскольку короткая позиция может использоваться исключительно для уменьшения совокупного риска портфеля.

Аналогичный механизм можно использовать и при построении ансамблей. Если ошибки нескольких моделей содержат общую составляющую, отрицательный вес естественным образом появляется для компенсации её влияния на итоговый прогноз. Предположим, две модели кредитного скоринга склонны ошибаться на одних и тех же заёмщиках, причём ошибки второй модели сильнее реагируют на некоторую общую составляющую. В таком случае вычитание определённой доли её прогноза потенциально позволяет уменьшить влияние этой составляющей на итоговую ошибку ансамбля.

При этом модель с отрицательным коэффициентом необязательно должна иметь низкое качество. Определяющим фактором является структура зависимости между ошибками отдельных алгоритмов. Таким образом, вместо хеджирования рыночных рисков возникает идея о хеджировании ошибок прогноза.

В отличие от long-only подхода, существует незамысловатый способ оптимального взвешивания активов в портфеле (или прогнозов в ансамбле), определённый с помощью метода Лагранжа:

w^*=frac{Q^{-1}mathbf{1}} {mathbf{1}^{top}Q^{-1}mathbf{1}}.

Данный результат должен быть хорошо знаком тем, кто сталкивался с портфельной теорией. Полученное выражение полностью аналогично формуле весов глобального минимально-дисперсионного портфеля Марковица без ограничений на короткие позиции. Различие заключается только в матрице Q. Вместо ковариаций доходностей активов необходимо использовать вторые моменты ошибок прогнозирования.

В отличие от классической портфельной постановки, мы минимизируем не дисперсию, а среднеквадратическую ошибку. Поэтому матрица Q учитывает как ковариации ошибок моделей, так и их систематические смещения. При несмещённых ошибках эти постановки становятся эквивалентными по структуре. В общем случае элемент матрицы Q рассчитывается следующим образом:

Q_{ij}=mathbb{E}[e_ie_j]=operatorname{Cov}(e_i, e_j) + mathbb{E}[e_i]mathbb{E}[e_j].

Механизм появления отрицательного веса можно описать на примере построения ансамбля из двух моделей. В таком случае, оптимальный коэффициент второй модели можно представить следующим образом:

w_2^*=frac{Q_{11}-Q_{12}} {Q_{11}+Q_{22}-2Q_{12}}.

При отсутствии полного совпадения ошибок отрицательный коэффициент только в случае, отрицательного числителя. При этом в случае несмещённости ошибок обеих моделей данное условие можно переписать в ином виде:

operatorname{Cov}(e_1,e_2)> operatorname{Var}(e_1).

Таким образом, модель, которая обладает более высокой индивидуальной ошибкой, может улучшить качество ансамбля благодаря отрицательному весу. Следовательно, отрицательные веса не являются исключительно следствием переобучения или недостатком процедуры оптимизации. При определённой структуре ошибок они представляют собой математически оптимальное решение задачи минимизации оценки Брайера.

В то же время, данная гибкость также связана с определёнными рисками:

  1. Оптимальное решение также не гарантирует попадание прогноза в интервал от 0 до 1.

  2. Матрица Q может оказаться близкой к вырожденной, что ведёт к неустойчивости весов.

  3. Хоть снятие ограничения на знак весов гарантирует неухудшение оптимального значения оценки Брайера, данное преимущество не обязано сохраняться на новых данных.

В результате возникает интересный компромисс, когда отрицательные коэффициенты расширяют возможности компенсации взаимосвязанных ошибок, но одновременно повышают требования к устойчивости полученного решения. Именно поэтому дальнейший интерес представляет не только сравнение long-only и long-short подходов, но и исследование методов, позволяющих контролировать величину коэффициентов без полного запрета отрицательных весов.

Описание данных

Перейдём от описания к конкретному практическому примеру. Основными задачами для нас будут являться демонстрация улучшение качества ансамбля за счёт отрицательных весов, а также проверка устойчивости отрицательных коэффициентов.

Для примера я выбрал открытый датасет L&T Vehicle Loan Default Prediction, в котором содержится информация о дефолтных и недефолтных наблюдениях в портфеле автокредитов. Целевая переменная представляет собой факт нарушения заёмщиком обязательств при первом ежемесячном платеже.

Датасет содержит 186 523 наблюдений, из которых 21.7 % представляют дефолтные события. Ключевыми метриками были выбраны оценка Брайера и ROC AUC.

Для формирования ансамбля было выделено 6 архитектур:

  1. Логистическая регрессия.

  2. Случайный лес.

  3. LightGBM.

  4. CatBoost.

  5. MLP.

  6. FT-Transformer.

Данный набор включает модели с разными предпосылками о зависимости целевой переменной от признаков. Основным для успешности эксперимента является совместная структура ошибок, поэтому в рамках эксперимента попробуем увеличить разнообразие прогнозов не только за счёт архитектур, но и за счёт используемой информации.

Для каждой архитектуры построим три версии модели, которые различаются набором входных признаков. Идея заключается в том, чтобы намеренно сделать индивидуально слабые модели, которые имеют различную структуру ошибок.

Набор

Признаки

Full

Все рассматриваемые признаки: параметры кредита, характеристики заёмщика, кредитная история, задолженность и информация о выдаче

Borrower

Характеристики заёмщика, кредитная история и долговая нагрузка

Origination

Параметры кредита, характеристики заёмщика и информация, связанная с выдачей кредита

Модель, которая использует кредитную историю, может сильнее реагировать на финансовое положение заёмщика, а модель с признаками выдачи может больше реагировать на характеристики конкретного кредита и канала его оформления. Если эти различия отражаются в ошибках прогнозирования, они потенциально могут оказаться полезными при оптимизации весов. В результате получаем 18 базовых моделей. 

Исходные данные разделим на обучающую и тестовую выборки в пропорции 80/20 с сохранением доли дефолтов. Для обучения используем стратифицированную кросс-валидацию. Для каждой модели гиперпараметры подбираются с помощью библиотеки Optuna по максимальному ROC AUC на полном наборе признаков для максимизации ранжирующей способности. Далее для каждой архитектуры подобранный набор гиперпараметров распространяется и на borrower и origination композиции.

По результатам кросс-валидации сформируем OOF прогнозы. Каждое наблюдение получает прогноз модели, обученной без использования этого наблюдения. По итогу эти прогнозы будут применяться для оценки весов ансамбля по long-only (только положительные веса) и long-short (любые веса) стратегиям, а также дополнительно будет рассматриваться модель без ограничений вообще (без ограничения о единичной сумме весов). Во всех трёх постановках минимизируется оценка Брайера для максимизации точности ансамбля. После переобучения на всей тренировочной выборке также строятся прогнозы на тестовой выборке для независимой оценки качества подобранных весов.

Результаты эксперимента

Сначала рассмотрим сценарий, описанный выше для двух моделей. Возьмём LGBM Full и LGBM Origination (первая обучалась на полном наборе признаков, а вторая обучалась на информации о выдаче). В результате оптимизации ансамбля из двух моделей получаем:

hat p=1{,}3393hat p_{Full} -0{,}3393hat p_{{Origination}}.

вставленный-фильм.png

У LGBM Origination получился отрицательный вес. Можно сказать, что данная модель содержит компоненты прогноза, которые присутствуют в полной модели, однако выражаются с другой интенсивностью. Оценка Брайера для long‑short составила 0.1606, ROC AUC — 0.6613. Для long‑only стратегии оценка Брайера составила 0.1607, ROC AUC — 0.6619. Несмотря на улучшение оценки Брайера, ROC AUC при допущении отрицательных весов оказался чуть ниже, чем при положительном ограничении.

Здесь возникает следующий вопрос, насколько данный подход эффективен при увеличении количества участников ансамбля? Для этого предлагается рассмотреть ансамбли Full-6 (ансамбль из моделей на полных данных) и All-18 (ансамбль из моделей на всех наборах данных). Веса каждого ансамбля оптимизируются в соответствии с long-only и long-short стратегиями.

Ансамбль

Оптимизация

Brier Score 

ROC-AUC 

Full-6

Long-only

0,1586

0,6757

Full-6

Long-short

0,1586

0,6757

All-18

Long-only

0,1586

0,6757

All-18

Long-short

0,1584

0,6768

Полученные результаты демонстрируют отсутствие изменений при разрешении отрицательных весов для ансамбля Full-6, при этом улучшения появляются для случая All-18, что также согласуется с предположением о разной интенсивности реакции прогнозов на схожие факторы.

вставленный-фильм.png

В полученном ансамбле All-18 для long-short стратегии отрицательные коэффициенты присвоены шести моделям: логистическая регрессия (borrower и origination), случайный лес (origination), LGBM (borrower) и FT-transformer (borrower и origination). При этом ни одна модель, обученная на полном наборе факторов, не получила отрицательный вес.

Также заметим, что в случае long-only стратегии происходит обнуление коэффициентов, которые оказались отрицательными в случае long-short стратегии. То есть ансамбль выбрасывает потенциально важную и значимую информацию.

Таким образом, получается определённый портфель с короткими позициями, когда вместо исключения отдельных моделей из ансамбля мы используем их прогнозы с отрицательными коэффициентами для модельного хеджирования.

Для проверки устойчивости результата мы провели две проверки:

  1. Парный бустреп разницы оценок Брайера и разницы ROC-AUC.

  2. Оптимизация коэффициентов ансамбля на 300 бустрепных подвыборках OOF прогнозов.

Зачем ансамблю отрицательные веса: от портфельной теории до кредитного скоринга - 19
Зачем ансамблю отрицательные веса: от портфельной теории до кредитного скоринга - 20
Зачем ансамблю отрицательные веса: от портфельной теории до кредитного скоринга - 21

Результаты парного бутстрепа показывают, что для ансамбля из 18 моделей доверительные интервалы выигрыша long-short стратегии для обеих метрик не пересекают 0. Для Full-6 подобный результат не наблюдается. В то же время, бутстреп коэффициентов показывает, что практически все отрицательные веса сохраняют знак при изменении состава оптимизационной выборки. Таким образом, была продемонстрирована устойчивость отрицательных коэффициентов ансамбля и выигрыша при их включении.

Заключение

Эксперимент позволил получить несколько результатов.

  • Во-первых, отрицательные коэффициенты действительно возникают при оптимизации ансамблей на реальных данных. Причём для их появления необязательно объединять модели принципиально разных архитектур. Достаточно различий в используемых признаках и, соответственно, в структуре прогнозов.

  • Во-вторых, возможность использования отрицательных весов иногда позволяет улучшить качество на независимых наблюдениях. В нашем эксперименте выигрыш оказался особенно заметным после расширения пула за счёт моделей, обученных на альтернативных признаковых пространствах.

  • В-третьих, обнаруженный эффект не ограничивается исключительно оптимизационной выборкой. Для All-18 доверительные интервалы улучшения обеих метрик оказались положительными, а большинство отрицательных коэффициентов продемонстрировали устойчивость при бутстрепе.

Однако у этого подхода остаются ограничения.

Даже при единичной сумме коэффициентов long-short ансамбль не гарантирует, что итоговый прогноз будет лежать в интервале от 0 до 1. В нашем эксперименте такие значения действительно встретились, хотя и менее чем для 0,02% тестовых наблюдений. На практике это требует дополнительного ограничения на величину прогноза.

Кроме того, высокая зависимость между прогнозами способна приводить к большим и нестабильным коэффициентам. Наш бутстреп проверяет устойчивость при фиксированных базовых моделях, но не воспроизводит полностью неопределённость, возникающую при их повторном обучении.

Наконец, относительное снижение Brier Score на 0,113%, хотя и получило статистическую поддержку, само по себе ещё не свидетельствует о существенном экономическом эффекте в кредитном скоринге.

Поэтому основной вывод заключается не в том, что отрицательные веса всегда лучше неотрицательных. Отрицательные коэффициенты могут быть содержательно оправданным инструментом оптимизации ансамбля, когда совместная структура ошибок моделей позволяет использовать вычитание одних прогнозов для улучшения других. Однако возможное улучшение от снятия ограничений на положительную величину может быть как незначительным, так и довольно большим.

В то же время сама возможность такого улучшения не гарантирует его воспроизводимость на любых данных. Именно компромисс между дополнительной гибкостью и устойчивостью коэффициентов определяет практическую ценность long-short ансамблей.

Автор: IvanAstakhov

Источник