Как я торговлю автоматизировал

Речь пойдёт о разработке системы алгоритмической торговли с использованием обучения ^[1] с подкреплением ^[2] (reinforcement learning ^[3], далее RL). Пройдём путь от идеи до работающей системы с разумной детализацией. Расскажу про свои ошибки ^[4]: радовался single-seed успехам, верил Claude Code на слово, считал лучшую модель годной для production, в то время как на самом деле это был верхний квартиль сид-шума. Внутри Mixture-of-Experts по рыночным режимам, shadow-routing на rolling Sharpe, hybrid expert-swap, методология валидации, а также небольшой список всего того, что не сработало. Подойдёт в качестве инструкция для ai-агента, чтобы повторить опыт ^[5] и понять почему оно работает.

Это исследовательский проект, целью которого была проверка гипотезы, что на основе RL можно построить что-то работающее с возможностью дальнейшего совершенствования, т.к. в открытом доступе ничего работающего найти не удалось. Не являюсь профессионалом квант-трейдером, поэтому для экспертов рассуждения могут казаться дилетантскими. Буду рад разумной критике и рекомендациям. Какие-то детали оказались за пределами содержания для экономии, т.к. получили статус “очевидно”. Это не статья про то как обыграть рынок и заработать, а попытка реализовать и объяснить почему сработало.

Ещё одна торговая система

RL для трейдинга обычно звучит как обещание финансовой сингулярности, когда алгоритм сам торгует, сам себя совершенствует, а вы изымаете прибыль. На практике это красивые картинки внутри обучающей выборки и провал в период кризиса или существенного изменения консенсуса/сентимента. Во всяком случае мой опыт таков:

• код из репозиториев нерабочий;

• результат из статей не воспроизводятся;

• выбираем другой seed и получаем доходность с противоположным знаком;

• SOTA с конференции хуже градиентного бустинга;

• ноутбуки с золотыми медалями с kaggle требуют массу данных, которые даже с подпиской не достать.

Может мне не повезло. Каждая новая попытка откладывалась на будущее. Будущее наступило с подпиской 5xMAX. Далее на примере гипотез, допущений и экспериментов получилась архитектура ещё одной торговой системы.

Глава 1. Базовые допущения торговой системы

Могучий AI мог бы всё сделать сам?! Возьми DDPG ^[14], сырые OHLCV ^[15], несколько миллионов timesteps и получим работающую систему! Не сработало, поэтому далее я упрощал задачу для RL-агента, чтобы тот из шума рыночных данных смог выделить сигнал и на нём научиься торговать.

Первое допущение, исходя из которого будем действовать дальше:

По своей природе обучение с подкреплением подходит для задачи автоматизации торговли финансовыми активами. Воспользуемся RL не в качестве “оптимального решения”, а как наименее фатальный тип ошибки. Из пространства допущений, которые все одинаково ложны при торговле на реальном рынке, MDP-допущение – наиболее устойчиво к частичным нарушениям.

Что из этого следует — и что НЕ следует

Можно:

1. Применять множество RL-алгоритмов.

2. Напрямую оптимизировать зависимые от последовательности действий метрики (sharpe, drawdown penalty, turnover cost).

3. Выучить реактивное поведение ^[19] – быть осторожнее после просадки, агрессивнее после восстановления, и всё это без явного программирования чётких правил.

НЕ следует:

1. В рынке есть истинная функция цены от фичей, а могучий RL нам её найдёт. Это мышление ^[20] из классического обучения с учителем. В RL нет аналога истинных значений целевой функции – только награда, зависящая от различных последовательностей шагов.

2. Увеличение сети или операций – путь к лучшему результату. На самом деле если мы при плохо сконструируем состояние рынка для агента, то наш алгоритм переобучится ещё быстрее за счёт глубокой сети или большого бюджета вычислений.

3. Функция награды (далее reward) – это просто метрика. На самом деле reward – это полная и формальная спецификация того, чего мы хотим, со всеми известными RL-патологиями (агенту проще сидеть в деньгах, терпеть катастрофические просадки ради потенциальной выгоды или действовать вовсе неразумно, потому что вы ошиблись с постановкой).

На текущем этапе добавляем:

• python как основной язык разработки;

• gymnasium как базовая библиотека моделирования торговой среды;

• stable-baselines3 в качестве библиотеки с готовыми реализациями различных RL-алгоритмов;

• ta-lib для импорта функций рассчёта традиционных индикаторов (например, bb_position ^[21]);

• tensorboard для глубокого анализа метрик и траекторий обучения;

• сырые данные можно взять на yahoo finance ^[22] (дневные котировки без ограничений).

Портфель и дневные данные

Очередное допущение:

Торговать будем не отдельным активом, а портфелем ценных бумаг

Поможем нашему агенту и заранее дадим возможность диверсифицировать риски. У него должна быть возможность приобретать защитные активы в период кризиса и делать ставку на рост в спокойные времена.

Пусть наша торговая стратегия – это функция, которая принимает историю цен и отдаёт веса активов для ребалансировки портфеля. Классический ML-подход: предсказывать будущие доходности, оптимизировать портфель по прогнозу (mean-variance, Black-Litterman ^[23]).

Торговать будем на дневных данных

На рынке каждое мгновение что-то происходит и это отражается в цене активов. Чем выше дискретность событий, тем больше там шума. Дабы скомпенсировать пространство возможных решений, время и доступные ресурсы – используем дневные данные ^[24].

Для создания эффективной торговой стратегии (выучивания оптимальной политики) следует взять активы из различных секторов и с минимальной корреляцией между собой.

Изначально там был природный газ (NG) вместо облигаций (TLT), но агент так и не научился его торговать из-за высокой волатильности. К тому же для портфеля нужен был явный safe-haven. Торговля медью (HG как промышленный металл) также показала себя хуже в сравнении с серебром (XAG).

Корреляция log-returns, полный период (2017–2026)

Глава 2. SAC и наблюдаемое состояние рынка

В RL-арсенале есть on-policy методы (PPO, A2C, TRPO) и off-policy (DQN для дискретных действий, DDPG/TD3/SAC для непрерывных). Для торговли целевыми весами портфеля нам нужны непрерывные действия, поэтому on-policy-методы не применимы напрямую, а из off-policy выбор сужается до DDPG/TD3/SAC.

SAC ^[25] (Soft Actor-Critic) – это off-policy, actor-critic метод с тремя важными особенностями:

• Maximum entropy objective: политика максимизирует не только ожидаемую награду, но и свою энтропию. Это поддерживает мотивацию ^[26] агента исследовать на протяжении всего обучения – критично, потому что в нашей среде эпизоды обучения короткие, и агент склонен схлопываться в локальный максимум слишком быстро. Обращаю внимание, что для дневных данных не так уж и много истории в масштабе обучения RL-агентов. Особенно если учесть предварительную обработку, то у меня в обучающей выборке оказалось около 2300 дней на каждый тикер.

• Replay buffer (off-policy): позволяет переиспользовать исторические переходы из состояния в состояние для обучения. В нашем случае это критично из-за редкости некоторых режимов – без буфера агент бы их вовсе мог не встретить. Режимам далее уделим особое внимание.

• Непрерывное действие через stochastic policy – actor-сеть выдаёт параметры нормального распределения, из которого выбирается действие. Это создаёт градиент для обучения.

На практике я сравнивал SAC с PPO, TQC, TD3, DroQ и PopArt-SAC. Результаты: PPO (через Gaussian policy) оказалася наименее эффективен для малого количества примеров и никак не сходился, TQC сильно переобучался, DroQ был слишком консервативным, PopArt давал примерно то же, что и классический SAC. Наверняка можно обучить рабочий алгоритм (попасть в локальный максимум) с любым из перечисленных методов, и встанет вопрос устойчивости политики. В далёком прошлом как-то мне удалось обучить RL-алгоритм, который давал замечательные результаты и это был не SAC, но модель оказалась невоспроизводима.

numpy.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
random.seed(seed)
env.reset(seed=seed)
gym.utils.seeding.np_random(seed)

Что ещё нужно добавить в торговую систему (все параметры ниже нормализованы, либо жёстко обрезаются левая и правая границы):

Глава 3. Доверие к метрикам и бенчмарки

Хорошей практикой является подход к чтению информации в Интернете с запиской на полях “как именно ты меня обманываешь?”. Если приложить достаточно усилий, то конфигурацию торговой системы (гиперпараметры алгоритма для распределения тестовой выборки) можно подобрать под будущее поведение ^[29] рынка.

Модель, которая работает только в идеальных условиях – это переобучение

Для того, чтобы получить достоверный результаты, были предприняты следующие шаги:

• никаких bfill ^[30], даже самых незначительных (запрещено на уровне CLAUDE.md);

• gap между выборками минимум 30 торговых дней;

• фичи нормализуются с rolling Z-score по обучающей выборке;

• детектор режимов рынка обучается только на train выборке, сохраняется как артефакт и впоследствии применяется в режиме read-only при работе с валидационной и тестовой выборками;

• walk-forward валидация на 5 окнах;

• не менее 3 seed для каждого окна;

• in-sample валидация на обучающей выборке;

• у каждой метрики должна быть вторичная её подтверждающая;

• тестовую выборку алгоритм и его производные (например, детектор режимов) на этапе обучения не видит никогда.

Далее приведу таблицу с окнами. Тренировочкая выборка и окно валидации располагаются с gap в 30 дней до тестового периода.

Baseline

В обязательном порядке нужно с чем-то сравниваться. Если посмотреть внимательно на избранные активы в портфеле, то все они идут вверх и вправо. Залог успеха любой торговой стратегии! Поэтому нам нужен сильный бенчмарк. Регулярно прогоняем полный список для лучшей модели:

• buy-and-hold;

• equal-weight с ежемесячной ребалансировкой;

• inverse-volatility D/W/M;

• momentum × inverse-volatility (D/W);

• long-short варианты momentum × inv_vol.

Правило: если агент не обгоняет лучший из этих бенчмарков на том же периоде, с теми же комиссиями, с тем же risk-free rate – модель не становится новым baseline.

Весьма уверенные результаты бенчмарков на WF5 (2024-09 → 2026-04), 0.04% комиссия, risk-free rate 8% (), проскальзывание ±50% вокруг базы:

Ключевые метрики

На примере устойчивой модели торговой системы (метрики на WF5 + mean WF Sharpe):

Глава 4. Управление размером позиции

Несколько тезисов, исходя из которых следует менять веса в портфеле:

• размером позиции нужно управлять таким образом, чтобы никакой кризис не обнулил ваш портфель;

• консервативный размер позиции напрямую лишает доходности;

• завышая риск мы превращаем торговлю в лудоманию.

Неоднозначно. В итоге в системе по умолчанию отключены возможности торговли с плечом, а также короткие позиции.

[SAC actor outputs]
    ↓  raw action w_raw ∈ R^6
Action mapping:
    w_target = 0.25 · tanh(w_raw / 0.25)
    → target weight ∈ [-0.25, +0.25]  (доля NAV на тикер)
    ↓
Long-only clip:
    w_target = clip(w_target, 0, 0.25)
    ↓
Turnover soft-cap (если |Δw| > 0.3 суммарно):
    w_target = smooth_cap(w_target)
    ↓
[Конвертация доли → доллары]:
    position_dollars = w_target × current_nav
    ↓
Position sizing guard:
    nav_for_cap = max(current_nav, 0.8 × peak_nav)
    hard_cap = max_position_value_pct × nav_for_cap  (= 2.0 × nav_for_cap)
    position_dollars = min(position_dollars, hard_cap)
    ↓
Execution (market orders)

Любые искусственные ограничения со стороны среды (например, stop loss или post clipping весов, которые выдал агент) советую вводить на этапе инференса. Так вам удастся избежать расхождения политики RL-агента, когда предпринято одно действие, а среда получает другое и реагирует на действие иначе. Правила для action space:

• turnover soft-cap: если L1-delta между текущими и новыми весами > 0.3, применяется softmax-smoothing;

• rebalance_epsilon=0.01: если целевой вес портфеля отличается от текущего меньше чем на 1%, то ребалансировка не происходит;

• weight_smoothing_alpha=0.2: EMA-сглаживание целевых весов между шагами.

Глава 5.  Feature engineering vs reward-shaping

Универсальный состав фич мне подобрать не удалось. Вероятно я застрял в неком локальном оптимуме. Ниже два набора и пример существенной разницы в результатах.

custom_test_b = [
    'price_vs_ema50', 'bb_width', 'atr_14_norm', 'up_days_10',
    'vol_5d'
]

optimal_9_1d = [
    'close', 'price_vs_ema50', 'atr_14', 'rsi_14',
    'macd_signal', 'bb_position', 'day_sin', 'price_change_1h',
]

Есть различные техники оценки, но в итоге я остановился на optimal_9_1d. Интуитивный подбор, ablation feature importance ^[32] и прочие техники не принесли результатов на том бюджете времени, что я этому этапу отвёл. В тоже время ни один reward-tuning, ни один алгоритмический (TQC/DroQ/PopArt-SAC) эксперимент, ни extended training (500k vs 100k шагов) не дали и десятой доли такого роста. Пространства для дальнейших оптимизаций достаточно.

Гиперпараметры – это важно, но в основном для того, чтобы не испортить модель

Ниже итоговая формула награды эксперта. В последующих главах будет много подробностей о её компонентах.

r_t = portfolio_reward(ret_t, loss_mul)
    + rcaa_reward(alpha_over_basket, regime, scale=5.0, signs={1:+1, 2:-1, 3:+1})
    + dsr_reward(sharpe_gradient, scale=1.0, halflife=20)
    + drawdown_penalty(current_dd, cap=0.15, scale=2.0)
    - turnover_cost(delta_weights, soft_cap=0.3, scale=0.05)
    - transaction_fees(trades, fee_bps=4.0 + slippage_bps)

Компоненты:

Глава 6.  Mixture-of-Experts по рыночным режимам

В паре с единственным агентом успеха достичь не удалось. Я объяснил для себя это запредельным шумом в данных, который я сам и породил через обилие фич и тяжёлого описания состояния среды. В тоже время без этого RL-агент либо переобучался, либо недообучался. В лучшем случае получалась equal weight стратегия, но финансовые рынки ведут себя радикально по-разному в разных режимах:

• защитное поведение на падающем рынке;

• агрессивное накопление во время роста;

• удержание позиций в боковике;

• осторожный набор во время хаоса.

Отсюда возникла идея Mixture-of-Experts с режим-детектором.

Классификация режимов

Забегая вперёд я попробовал HMM ^[33], MLP ^[34] и даже отдельного RL-агента, но все они оказались хуже строгого классификатора на основе правил. Четыре макрорежима:

Почему именно 4 режима, а не 2, 6 или 8. Это не эстетический выбор, а результаты экспериментов:

1. 2 режима (bull/bear) – проигрывает, потому что boring-sideways и chaotic-bear требуют разного поведения; объединение этих периодов в одного Эксперта даёт среднее и немотивированное поведение.

2. 5–6 режимов (high-vol uptrend, high-vol downtrend, high-vol chaotic) – провалились в следствии недостатка данных. После разметки исторического окна 2017–2024 для чистого  high_vol_uptrend осталось 6 дней. Можно конечно двигать ползунки, но радикально это сути не меняло и результаты были невыдающиеся. На 5 режимах (+downtrend_volatile) новый период в 99 дней эффекта не возымел.

Признаки F1–F6

Итоговый классификатор работает на 6 признаках. По тому как оно работает можно ещё одну статью написать, поэтому буду краток:

log_ret[t, i]  = log(close[t, i] / close[t-1, i]) # per-ticker log-returns
roc10[t, i]    = Σ log_ret[t-9:t+1, i]            # 10-day rolling sum
F1[t]          = mean_i(roc10[t, i])              # cross-ticker average

log_ret[t, i]  = log(close[t, i] / close[t-1, i])
vol_20[t, i]   = std(log_ret[t-19:t+1, i]) × √252     # annualized
vol_60[t, i]   = std(log_ret[t-59:t+1, i]) × √252
mean_vol_20[t] = mean_i(vol_20[t, i])                 # cross-ticker mean
mean_vol_60[t] = mean_i(vol_60[t, i])
F2[t]          = log(mean_vol_20[t] / mean_vol_60[t])

per_vol[t, i]  = std(log_ret[t-20:t+1, i]) × √252        # 21-day annualized vol per ticker
mean_vol[t]    = mean_i(per_vol[t, i])                   # cross-ticker mean vol
F3_batch[t]    = std(mean_vol[t-19:t+1])                 # 20-day rolling std of vol itself

r²_t = mean_i(r_t,i²)   # cross-ticker mean squared return

fast_var_t = λ_fast · fast_var_{t-1} + (1-λ_fast) · r²_t     # fast EMA variance, halflife=10
slow_var_t = λ_slow · slow_var_{t-1} + (1-λ_slow) · r²_t     # slow EMA variance, halflife=40
vov_raw_t  = |fast_var_t − slow_var_t|
F3_t       = λ_smooth · F3_{t-1} + (1-λ_smooth) · vov_raw_t  # smoothing, halflife=20

μ[t]  = mean(VIX[t-251:t+1])
σ[t]  = std(VIX[t-251:t+1])        # clip: lower bound 1e-4
F4[t] = (VIX[t] − μ[t]) / σ[t]

log_ret[t, i] = log(close[t, i] / close[t-1, i])
# Исключаем signal_tickers (TLT) из набора
risk_cols     = [c for c in log_ret.columns if c not in exclude_cols]
pairs         = all (i, j) pairs from risk_cols
for each pair (i, j):
    corr_ij[t] = rolling_corr(log_ret[i], log_ret[j], window=60)
F5[t]         = mean over all pairs of corr_ij[t]

risk_indices  = [indices of tickers NOT in signal_tickers]
sub_corr      = corr_matrix[risk_indices, risk_indices]
triu_values   = sub_corr[upper triangle, k=1]  # off-diagonal
F5            = mean(triu_values)

log_ret[t, i] = log(close[t, i] / close[t-1, i])  # только для signal_tickers
roc[t, i]     = Σ log_ret[t-9:t+1, i]  # 10-day sum per signal ticker
F6[t]         = mean over signal_tickers of roc[t]

Новый режим фиксируется только после подтверждения (преодоление порога):

• chaotic: 1 день (если начался хаос – откликаться мгновенно);

• downtrend: 2 дня;

• sideways: 2 дня;

• uptrend: 5 дней (ложные uptrend-сигналы дороги – консервативно).

Для каждого режима обучается отдельный SAC-агент, видящий только шаги своего режима во время обучения. Эксперты независимы и нет никаких общих soft-сетей. Пороги (калиброваны для периода 2017-2023):

RCAA или режимо-зависимая награда

Идея RCAA (Regime-Conditional Alpha Adjustment) – в разных режимах агент должен вознаграждаться за разное поведение. Ниже пример конфигурации:

rcaa_lossm = {
    'regime_alignment_scale': 5.0,
    'regime_alignment_signs': {
        1: +1.0,   # uptrend: бонус за перформанс выше корзины
        2: -1.0,   # downtrend: штраф за перформанс выше корзины (сигнал защищаться)
        3: +1.0,
    },
    'loss_multiplier': 1.3,  # асимметричный риск: убытки весят больше прибылей
    ...
}

Знак -1 для downtrend звучит контринтуитивно: зачем штрафовать за то, что агент обгоняет бенчмарк на падающем рынке? Потому что мы хотим, чтобы cross-sectional сигнал переключал в консервативные тикеры. Т.е. случайный эксперт не должен быть умнее назначенного и обязан держать специализированные для него активы. Если агент обгоняет equal-weight корзину в downtrend, то это обычно значит, что он сидит в тех же растущих активах, но с большим плечом, а нам нужна ротация!

Shadow-mode routing

Пришло время особой уличной магии. Детектор выдаёт текущий режим, но мы не используем его напрямую для выбора эксперта на инференсе. Вместо этого каждый эксперт постоянно торгует на скользящем окне, мы считаем его rolling 60-day Sharpe, и если эксперт-претендент значимо обгоняет дежурного по своему тренду, то роутинг переключается даже если детектор говорит держаться за назначенного.

Параметры shadow routing:

_shadow_sharpe_window         = 60  # days
_shadow_override_threshold    = 1.0
_shadow_min_challenger_sharpe = 0.5

Почему это работает: детектор классифицирует рынок, а нам нужно выбрать эксперта, чья политика лучше работает на данном рынке прямо сейчас. Эти две задачи не совпадают. Эксперт, обученный на uptrend, может внезапно оказаться лучшим и в начале sideways, если его политика совпала с микро-структурой момента.

Прибавка в Sharpe по итогу реализации оказалась скромная (примерно +0.06 относительно одиночного SAC), зато уменьшилась дисперсия и модель стала предсказуемо себя вести в кризисные периоды

Глава 7. Онлайн-оценка градиента Sharpe

Идея простая: штрафовать/поощрять агента за изменение Sharpe на каждом шаге, а не за мгновенную доходность. По замыслу такой подход должен был дать более стабильную политику. Главный кандидат – Differential Sharpe Ratio (DSR), онлайн-оценка градиента Sharpe, добавляемая к reward:

# Упрощённо, halflife=20, scale=1.0
ewma_ret  = α * r_t + (1-α) * ewma_ret_prev
ewma_ret2 = α * r_t² + (1-α) * ewma_ret2_prev
sharpe_t  = ewma_ret / sqrt(ewma_ret2 - ewma_ret²)
dsr       = dsr_scale * (sharpe_t - sharpe_t_prev)
reward   += dsr

DSR добавил менее 1% от изначальной награды и при этом поменял всё. Суть в механизме распространения сигнала:

• RCAA и drawdown_penalty добавляются к reward и их вклад в градиент пропорционален их величине. Чтобы они повлияли на policy, их нужно “докрутить” до значимого размера;

• DSR – это задающий форму градиента элемент награды. Пользу даёт не величина, а согласованность и DSR заставляет градиент указывать в сторону политики с более стабильным Sharpe, даже если добавочный вклад мал.

Коэффициент при DSR = 1.0 и это оптимальное значение, поднимать его не следует. Не всё, что влияет на policy через reward, можно тюнить через масштаб.

Глава 8. Пример тюнинга награды отдельного эксперта

Если DSR для одного seed показывает защитную ротацию естественным образом, а другие seed эксперименты такое же поведение не демонстрируют, то давайте заставим всех делать одно и то же: добавим явный штраф за высокий gross для downtrend-эксперта:

if regime == gpen_regime:  # regime == 2 == downtrend
    gross = sum(abs(positions[t]) * price) / NAV
    gross_penalty = -gpen_scale * max(0, gross - gpen_cap) ** 2
    reward += gross_penalty

Настройки: scale=0.1, cap=0.7 – soft-градиент, ≤1% вклада в reward, активируется только для downtrend-эксперта (у которого regime_filter=2 во время обучения). Гипотеза такова, что хирургическое вмешательство сделает защитное поведение консистентным (не ломая других экспертов). Результат для 3 seeds:

Провал:

• Sharpe упал на −0.34 на всех трёх сидах;

• защитное поведение, которое мы пытались воспроизвести, исчезло – естественные 88% в активах и 12% в cash превратились в исходные 98.6%.

Вмешалась особая уличная магия (shadow-routing):

• DSR seed123 распределение режимов: sideways 59.5% / uptrend 35.0% / downtrend 2.1% / chaotic 3.3%;

• DSR+dngross seed123 распределение режимов: sideways 62.5% / uptrend 9.0% / downtrend 8.5% / chaotic 20.0%.

Shadow-routing радикально всё перестроил несмотря на то, что штраф касался ТОЛЬКО downtrend-эксперта во время обучения. Даже слабая (scale=0.1) модификация reward-функции изменила траекторию сходимости SAC-градиента для downtrend-эксперта достаточно, чтобы rolling Sharpe на инференсе стал другим. Shadow-mode на основе этой новой статистики начал выбирать других экспертов на другие дни.

per-regime reward должен был стать безопасным локальным изменением. На деле это изменило всё, потому что любая политика одного эксперта взаимодействует с остальными через shadow-routing. Сам Shadow-routing – это не механизм инференса, а отдельное inference-time пространство оптимизации, на которое можно воздействовать без переобучения

Формально эксперимент был провален. Но как я писал выше стоило едва разобраться, что у Claude пошло не так и анализ показал любопытную деталь: сам downtrend-эксперт из dngross-модели имел хорошую политику! Он знал, как вести себя в нисходящем рынке и проблема была в роутинге, т.к. shadow-mode внутри dngross-экосистемы активировал его на неправильных днях. Что будет, если взять этого downtrend-эксперта и вставить в DSR-экосистему (с её стабильным роутингом с тремя другими экспертами)? Это был бы zero-cost эксперимент – чистое копирование файлов и без обучения. Результаты:

Дальше можно ещё много чего комбинировать для получения Best-of-each как в таблице ниже, но seed variance будет очень большой и модель перестаёт быть стабильной.

Глава 9. Референсы и результаты

Комбинации, которые в найденной литературе не встречались:

1. Rule-based regime detector + per-regime SAC эксперты вместо soft-mixture или end-to-end attention. Концептуально проще, позволяет независимо обучать экспертов, а затем их комбинировать. Требует ручной калибровки порогов детектора режимов.

2. Shadow-mode routing на rolling Sharpe – не классический gating (который параметризуется и обучается). Независимая inference-time ось, параметризуется 3 гиперпараметрами (окно, threshold, min challenger). В литературе такой подход обычно называется “online algorithm selection”, но для RL-трейдинга прямого применения не встречал.

3. Hybrid expert-swap (cross-run assembly) – пересобрать ансамбль из экспертов, обученных в разных запусках. Как оптимизационная техника известна (Policy Distillation, PopulationBased Training), но специфическая практика “взять эксперта из одного seed + 3-х других экспертов из другого” – не встречал.

4. Differential Sharpe Ratio – конкретно применение DSR в композиции с MoE встречается редко, потому что большинство современных RL-трейдинг статей используют cumulative return или log-utility. DSR в нашем эксперименте оказался сильнее всех новомодных альтернатив.

Индустриальные стандарты

По публично известным Sharpe систематических стратегий (с учётом, что серьёзные фонды не раскрывают детали):

В общем это не прорыв, но вполне добросовестный результат на понятной и воспроизводимой архитектуре с оговорками:

1. Портфель мал (6 тикеров). Академические статьи обычно работают с 30–100 активами (больше диверсификация, ниже комиссионные издержки, сложнее обучение). Изложенный подход при 50 тикерах погибнет в шуме.

2. Дневная частота. Часовые или внутредневные стратегии требуют кратно больших вычислительных ресурсов и данных.

3. Упрощённая модель комиссий. Fee 4 bps + stochastic slippage не заменяет полноценного влияния на рынок при сделках с большими объёмами.

4. Настоящий Sharpe неизвестен, live-доходность 5% за 2 недели на момент написания статьи.

Sharpe 1.5 реалистично и укладывается в ожидаемый диапазон от применённых техник.

Итоги и выводы

Ниже справочно привожу таблицу с перечнем того, что не сработало. Следует, однако, отметить, что при должных усилиях, наверняка, сработает.

Уроки:

1. RL – наименее фатальный тип ошибки при проектировании торговой системы.

2. Методология и структура мышления об экспериментах > Архитектура. MoE, DSR, hybrid expert-swap, regime detector – частные технические находки, которые в другом контексте могут не сработать. Дисциплина multi-seed validation, distribution comparison, shuffle-test, walk-forward по разным режимам, документирование провалов наравне с успехами и тщательные разборы – переносится на любой ML-проект.

3. Feature engineering > всё остальное. То, что всегда работает: аккуратная работа с данными, очистка и рукотворные фичи. Если в RL-трейдинге нет очевидного прорыва то шансы, что он сидит в правильной функции награды – низкие.

4. Single-seed сравнения – генератор случайных выводов. Любое усложнение архитектуры при нестабильной базе не подтверждает и не опровергает никакие результаты ваших экспериментов. Разница в 0.1–0.3 Sharpe между любыми двумя точками – статистически неразличимый шум.

5. Data leakage – самая дорогая ошибка. Одна строчка bfill даёт высокий валидационный Sharpe и катастрофически низкий результат на тестах, даже если утечка произошла для вспомогательного параметра (при расчёте награды) в архитектуре.

6. Hybrid expert-swap – мощный приём, доступный за счёт MoE. Архитектура модульна, где Эксперт – это отдельный .zip с весами, его можно копировать, комбинировать и тестировать в разных сценариях.

7. 95% экспериментов провёл Claude, но положительный результат достигался только тогда, когда принимал участие человек.

Что модель НЕ умеет:

1. Короткие позиции. Т.е. в лучшем случае агент сможет частично сидеть в деньгах, TLT и XAU.

2. Ребалансировка чаще, чем раз в день. Агент смотрит на цены закрытия предыдущего дня и совершает максимум 6 сделок.

3. Изменить состав или количество тикеров в портфеле. Добавить/убрать тикер = переобучить всё с нуля и с неизвестным результатом.

4. Торговля с плечом. Фактически используется весь NAV.

5. Оборот за 1 торговый день более 0.3 . Защита от осцилляций и ограничение реакции ^[35] на резкие события.

6. Существенно отличающийся от 1 000 000 портфель. Влияние крупных ордеров на рынок не учитывается, поэтому в портфеле только ликвидные активы.

7. Активы, для которых VIX не является репрезентативной мерой системного риска.

Обязательный короткий блок:

1. Историческая доходность ≠ доходность в будущем.

2. Результаты backtest ≠ реальная эксплуатация.

3. Работа выполнена в академических целях.

4. Чтобы RL-стратегия сработала наперёд недостаточно её обучить. Нужно построить инфраструктуру, которая вас остановит прежде, чем вы потеряете деньги. Большая часть проекта это не модель, а инфраструктура вокруг модели, направленная на подтверждение, что всё работает в соответствии с ожиданиями.

SAC (per expert):
  learning_rate = 2.4e-4
  tau = 1e-4
  gamma = 0.995
  batch_size = 256
  buffer_size = 1_000_000
  target_entropy = auto (-1.0 for chaotic)
  use_sde = False
  net_arch: pi=[256,256], qf=[256,256]
  
Action mapping:
  max_per_ticker = 0.25
  pipeline order: tanh → long-only clip → 
                  turnover smoothing (α=0.2) → 
                  rebalance epsilon (0.01) → 
                  nav-cap (max(nav, 0.8×peak_nav))

Reward (p103_rcaa_ch_dsr1):
  portfolio_reward.loss_mul = 1.3
  rcaa.scale = 5.0
  rcaa.signs = {1: +1.0, 2: -1.0, 3: +1.0}
  dsr.scale = 1.0
  dsr.halflife = 20
  drawdown_penalty.cap = 0.15
  drawdown_penalty.scale = 2.0
  
Carry (in obs):
  carry_decay = 0.9
  carry_horizon = 5 days
  trade_bonus_turnover_threshold = 0.02

Training schedule:
  timesteps_per_expert = 100_000
  early_stopping: patience=3, eval_freq=2000, n_eval_episodes=5
  episode max_steps = 100