Гипотеза «новости двигают рынок» — самая интуитивная в трейдинге. Настолько интуитивная, что я потратил на её проверку недели GPU-часов, полный архив финансовых телеграм-каналов с 2021 года и пять принципиально разных постановок задачи — от простых счётчиков упоминаний до NLP-разметки и пер-минутного event study.
Результат: ноль из пяти. Ни одна постановка не улучшила боевую модель (с одной унизительной для NLP оговоркой — она в конце).
Но интересен не сам ноль — интересно, как именно проваливалась каждая попытка. Две из пяти сначала показали «улучшение» в бэктесте, и если бы я остановился на агрегатной цифре, сейчас бы искренне рассказывал вам, что нейронка с новостями торгует лучше. Эта статья — подробный разбор всех пяти механизмов: что строил, какие признаки считал, какие цифры получил и где именно каждая версия обманывала.
Это обещанное продолжение статьи про сидовый шум ±10 п.п. — протокол проверки оттуда, здесь он работает на живом сквозном примере.
Стенд, кратко
Для тех, кто не читал первую часть, минимальная рамка:
-
База: часовые свечи 20 ликвидных акций Мосбиржи, 2021–2026; рекуррентная сеть, бинарная метка «вырастет ли цена больше порога за несколько часов»; walk-forward с зазором на длину горизонта; комиссии в каждой цифре. Все Sharpe в статье — парные сравнения кандидата с бейзлайном в единой методике, а не обещания абсолютной доходности: сравнение переживает любые уточнения модели издержек, абсолютная цифра — нет.
-
Протокол против самообмана: (1) любая идея проверяется ансамблем из 5 сидов против ансамбля из 5 сидов — одиночный прогон нейронки на этих данных врёт на ±10 п.п.; (2) первый гейт — средний AUC пяти сидов: не сдвинулся — идея дальше не идёт; (3) пороги и параметры выбираются на первой половине out-of-sample периода, оценка — на второй, которую выбор «не видел»; (4) обязательная атрибуция: из каких бумаг пришла прибавка.
-
Бейзлайн: модель на цене + положении бумаги относительно корзины + микроструктуре часа. Важная деталь: бейзлайн — боевая модель на момент попытки, а она улучшалась по ходу кампании (счётчики проверялись против Sharpe 1.53, поздние попытки — против 2.16), поэтому у каждой попытки своя пара цифр.
Данные: как достать полмиллиона финансовых новостей
Сначала инженерная часть — она может пригодиться независимо от выводов.
Проблема: RSS финансовых СМИ не отдаёт историю. Подключив ленты сегодня, первую пригодную для обучения выборку вы соберёте через год.
Решение: Telegram. У крупных финансовых каналов история сообщений хранится с момента создания — и Telethon (MTProto-клиент) отдаёт её целиком, легально, через обычный аккаунт:
# суть; полный скрипт тривиален
from telethon import TelegramClient
client = TelegramClient("session", API_ID, API_HASH)
async for msg in client.iter_messages(channel, reverse=True,
offset_date=START_DATE):
save(channel, msg.date, msg.text)
Три канала (агрегатор рыночных новостей + два деловых СМИ) дали 476 тысяч постов с 2021 года — полное покрытие обучающего периода. Тикер-привязка — словарём ключевых слов (названия компаний, тикеры, продукты) с ручной чисткой ложных срабатываний. Поверх — живой RSS-коллектор, чтобы лента пополнялась в реальном времени.
Один нюанс, который сэкономит вам вечер: авторизацию Telethon делайте двухшаговой и неинтерактивной (отправка кода и ввод кода — отдельные вызовы), иначе она не переживёт запуск из демона.
Пять попыток: план кампании
Постановки шли от грубых к тонким — каждая следующая отвечала на возражение к предыдущей:
Спойлер траектории: 1 — честная ничья, 2 — честный лёгкий минус, 3 — громкий провал, 4 и 5 — ложные победы, разоблачённые атрибуцией. Чем изощрённее постановка, тем коварнее провал.
Попытка 1. Счётчики внимания: ничья
Самая простая гипотеза: всплеск внимания к бумаге предвещает движение. Признаки на каждый бар:
-
число постов о бумаге за последние 24 часа и за неделю;
-
давность последнего поста (часов назад);
-
общерыночный поток постов за 4 часа и за сутки (прокси «на рынке что-то происходит»).
Итог: AUC пяти сидов не сдвинулся (0.542 против 0.543), честная вторая половина — Sharpe 1.49 против 1.53 у бейзлайна. Статистическая ничья.
Механизм: всплеск внимания не существует в вакууме — он приходит вместе со всплеском объёма и волатильности, которые модель уже видит в свече напрямую. Счётчик постов — это запаздывающий пересказ колонки volume. Информация не добавилась, добавился шум измерения той же информации.
Попытка 2. Сентимент: лёгкий минус
Возражение принято: считаем не «сколько», а «с каким знаком». Все 476 тысяч постов размечены компактной русскоязычной sentiment-моделью (rubert-tiny2-based) за одну ночь на GPU: sent = P(positive) − P(negative) для каждого поста.
Занятная деталь разметки: позитивными модель посчитала лишь 11% финансовых постов, негативными — 33%. Общедоменная sentiment-модель осторожна с финансовым позитивом — «компания увеличила выручку на 40%» для неё нейтральна, а любое упоминание санкций — негатив. Для наших целей это не фатально: признаку нужна не абсолютная точность, а стабильный сигнал в относительных изменениях.
Признаки: средний тон постов о бумаге за 24 часа и за неделю, тон последнего поста, среднерыночный тон за 4 и 24 часа.
Итог: AUC ниже бейзлайна у всех пяти сидов (0.540 против 0.544), честная половина 1.78 против 2.16. Не ничья — устойчивый лёгкий минус: признаки заняли ёмкость модели и ничего не заплатили за постой.
Механизм: тот же, что у счётчиков, плюс запаздывание. К моменту закрытия часового бара направление, о котором пишет пост, уже отыграно в цене этого же бара — модель видит его в доходности напрямую, без посредника-текста.
Попытка 3. Типы событий: громкий провал
Возражение принято: тон — примитив, важна семантика события. Дивиденды двигают цену не так, как санкции; отчётность — не так, как ставка ЦБ. Размечаем регэкспами пять событийных типов (на полмиллионе постов регэкспы честнее и в тысячу раз дешевле LLM):
-
дивиденды — 8.5 тыс. постов;
-
отчётность — 30 тыс.;
-
санкции — 20 тыс.;
-
ставка ЦБ — 6 тыс.;
-
M&A — 7 тыс.
Признаки: события каждого типа по бумаге в скользящих окнах, санкционный и ставочный фон по рынку, направление последней дивидендной новости (через сентимент из попытки 2).
Итог — худший в серии, с большим отрывом: AUC 0.519 против 0.544 у всех пяти сидов, честная половина Sharpe 0.38 против 2.16. Модель с событийными признаками разучилась торговать вообще.
Механизм — самый поучительный из пяти: медленные фоновые признаки. Признак «на рынке санкционная неделя» константен часами и сутками и одинаков для всех 20 бумаг. Для сети это идеальный идентификатор эпохи: вместо «санкции → продавай» она выучивает «в кварталах с таким фоном рынок вёл себя так-то» — то есть запоминает конкретные исторические отрезки train-выборки. На out-of-sample эта память не просто бесполезна — она активно вредна, потому что уверенно применяет чужой контекст. Я называю это ловушкой slow features; она у меня срабатывала на шести разных семействах признаков, событийные типы — самый чистый случай.
Практическое следствие: если ваш признак почти не меняется внутри дня и одинаков для всех инструментов — он кандидат не в фичи, а в идентификаторы эпохи. Обращайтесь осторожно.
Попытка 4. Дивидендный календарь: первая ложная победа
Возражение принято: фон — зло, возьмём точечные календарные события с датами и величинами. Биржевой API отдаёт историю дивидендных отсечек (280 выплат по нашим бумагам): близость отсечки (≤14 дней), дивидендная доходность выплаты, пост-гэповое окно (≤10 дней после отсечки — там, по фольклору, «закрывают гэп»).
Итог скрининга: Sharpe 2.49 против 2.16. Улучшение! Первое за четыре попытки. Признаюсь: рука уже тянулась записать победу и обновить прод.
Протокол потребовал атрибуцию, и она перевернула картину:
-
дивидендные плательщики суммарно: −22 тыс. ₽ к PnL против бейзлайна;
-
весь прирост — +21.7 тыс. ₽ на одной бумаге, у которой в тот период дивидендного признака не было вовсе (нули в этих колонках).
Улучшение пришло ровно оттуда, куда механизм признака указывать не может. Это не сигнал — это перетасовка сидового шума: дивидендный признак ненулевой лишь на ~3% баров, но само его добавление меняет размерность входа сети, а значит — всю раскладку случайной инициализации. Пять новых сидов — новый билет в лотерею из первой статьи, и в этот раз билет оказался выигрышным. На следующем еженедельном переобучении «прибавка» испарилась бы вместе с удачей.
Правило, которое я после этого сформулировал: если улучшение пришло не оттуда, куда указывает механизм признака — это не улучшение, а шум. Агрегатный Sharpe не является доказательством в принципе.
Попытка 5. Пер-минутная реакция: ложная победа, версия «про»
Последнее и самое сильное возражение: сама новость не важна — важно, как рынок на неё отреагировал. Это уже почти классический event study: если за 15 минут после поста цена пошла вверх на повышенном объёме — рынок «проголосовал», и это знание свежее любого текста.
Постановка самая трудоёмкая из пяти: минутные свечи, для каждого поста — окно 15 минут после публикации, доходность и всплеск объёма в окне (объём нормирован на собственную историю бумаги в это время суток). Получилось 34 тысячи размеченных реакций. Признаки на бар: подписанная реакция на последний пост, её давность, величина всплеска объёма, сумма реакций за сутки.
Итог скрининга: Sharpe 2.39 против 2.16, и просадка лучше. Опять победа? Атрибуция:
-
суммарный PnL против бейзлайна: −49 тыс. ₽ (Sharpe вырос, денег стало меньше — за счёт упавшего оборота);
-
бумаги, богатые новостями — те, где механизм обязан работать лучше всего — стали хуже: первый по капитализации банк −12.3 тыс., сама биржа −8 тыс.;
-
«выигрыш» пришёл на бумагу с 214 реакциями за пять лет — там, где признак практически пуст.
Паттерн, обратный механизму, в квадрате. Плюс новый симптом в коллекцию: рост Sharpe при падении PnL и оборота — артефакт, а не улучшение (отфильтровались и убыточные, и прибыльные сделки; знаменатель сжался быстрее числителя).
Почему текст всегда опаздывает
Пять постановок, пять разных провалов, один корень.
На часовом горизонте новостной текст — это запаздывающий пересказ ценового ряда. Цепочка событий на реальном рынке: инсайдеры и связанные стороны действуют до публикации; алгоритмы и профессиональные ленты — в первые секунды-минуты; текст в телеграм-канале появляется, когда движение уже идёт; к закрытию часового бара оно уже в свече — в доходности, объёме, волатильности, положении бумаги относительно рынка. Всё, что «знает» новость, модель уже прочитала из цены, причём без ошибок парсинга и тикер-привязки.
Отсюда честная карта того, что я не проверял и почему:
-
Субсекундная реакция на новость — там текст ещё может опережать часть участников, но это HFT-ниша: колокация, комиссии маркетмейкера, война за микросекунды. На retail-инфраструктуре с комиссией 0.05% за сторону экономика мертва до всякого ML.
-
LLM-понимание текста вместо регэкспов и лёгкого сентимента. Дорого, но проверяемо; мой скептицизм структурный: LLM извлечёт смысл точнее, но не раньше — а хоронит новостные признаки именно запаздывание, не качество извлечения. Улучшать точность пересказа того, что уже в цене, можно бесконечно.
-
Длинные горизонты (недели), где фундаментальные новости могли бы работать, — у моей системы другой горизонт, а смена горизонта — отдельная большая история (спойлер: часовые признаки на горизонте недели не предсказывают ничего).
Если видите постановку, которую я упустил, — напишите в комментариях: стенд и протокол под рукой, осмысленную гипотезу могу прогнать и вернуться с цифрами. После прошлой статьи один такой расчёт по мотивам комментария уже случился.
Чек-лист: если проверяете новостные признаки сами
-
Бейзлайн обязан видеть цену и объём полностью — иначе новости «сработают», просто пересказав их.
-
AUC-гейт до денег: средний AUC нескольких сидов не сдвинулся — дальше не считать.
-
Атрибуция по бумагам: прибавка обязана жить там, где признак есть. Прибавка на бумагах с нулями признака = перетасовка шума.
-
Атрибуция по богатству признака: у бумаг с самыми частыми новостями эффект должен быть самым сильным. Обратный градиент — приговор.
-
Sharpe при падающем PnL и обороте — артефакт фильтрации, а не улучшение.
-
Осторожно с фоновыми признаками (константными внутри дней и общими для всех бумаг) — это идентификаторы эпохи, модель запомнит по ним историю.
-
Редкий признак (единицы процентов баров) меняет размерность входа и перезапускает сидовую лотерею — сравнивайте только ансамбль против ансамбля.
Что в итоге
Ноль из пяти — это результат, купленный неделями GPU-часов, и я считаю покупку выгодной. Дешевле было бы поверить в любую из двух «побед» — но тогда бы я сейчас торговал шумом и рассказывал вам, как нейронка читает новости. Отрицательный результат с протоколом стоит больше положительного без него.
Полная честность требует сноски: самые тупые счётчики внимания в комбинации с микроструктурными признаками позже дали микроскопическую, но подтверждённую по полному протоколу прибавку — и в этом виде сидят в боевой модели. А весь NLP — сентимент, семантика, типы событий — проиграл счётчику постов. Это, пожалуй, самый унизительный для нейросетей вывод всей серии.
Система тем временем торгует виртуально в реальном времени, на очереди — реальные деньги с публичным трек-рекордом. Следующей статьёй планирую разбор главного страха любой обученной на истории системы — смены рыночного режима: что из измеренных страховок работает (еженедельное переобучение, автоматический выключатель), а что проваливается (почти всё остальное). Но очередь гибкая: если интереснее экономика издержек и исполнения, устройство live-инфраструктуры на дешёвом VPS или пошаговый разбор протокола проверки — скажите в комментариях, следующую тему могу выбрать из предложенных, либо пойду по уже намеченному плану.
Не является индивидуальной инвестиционной рекомендацией.
Автор: svtoroi
