Обучение с подкреплением в рекомендациях: оптимизируем удовлетворённость пользователя за всю сессию — статья на KDD 2026

Привет! На связи Артём Матвеев из команды AI VK Research. Мы занимаемся фундаментальными и прикладными исследованиями в области рекомендательных систем, поиска и генеративного искусственного интеллекта. 

Сегодня я расскажу про нашу работу, которая была принята на воркшоп End-to-End Customer Journey Optimization конференции KDD 2026. KDD — A*-конференция и одна из ведущих мировых площадок в области машинного обучения и искусственного интеллекта, где обсуждают развитие рекомендательных систем, поиска, рекламы и других AI-технологий.

Наша статья называется Session-Level Optimization for Large-Scale Retrieval using REINFORCE with Multi-Step Off-Policy Correction. Рассказываем, как мы научили модель рекомендаций сразу оптимизировать долгосрочную удовлетворённость пользователя (long-term user satisfaction).

Рекомендательные системы

Рекомендательная система решает, что показать пользователю. То, что мы рекомендуем, принято называть айтемом: трек, видео, товар. Айтемов в каталоге миллионы, и пользователь может не найти определённый айтем без помощи — нужны рекомендации, чтобы справиться с информационной перегрузкой.

Устроено это почти всегда каскадом. Сначала работает кандидатогенерация. Она отбирает из миллионов айтемов несколько сотен. Потом работает ранжирование. Оно сортирует выбранное и решает, что показать первым. Так делают, потому что ранжирующая модель тяжёлая, прогнать её по всему каталогу на каждый запрос не получится. Мы остановимся на кандидатогенерации.

Учатся все эти модели на логах — что мы показали пользователю, с чем он провзаимодействовал, что лайкнул, что дослушал.

Рекомендательные системы не живут отдельно от продуктов. Примеры продуктов: VK Видео, VK Музыка, VK Клипы и ещё многие другие. У каждого продукта есть свои ключевые метрики, которые команда продукта растит. И всегда эти метрики формулируются как что-то долгосрочное: вырастить монетизацию, удержать как можно больше пользователей или увеличить время, которое пользователь проводит в приложении.

Рекомендательная система влияет на рост этих метрик. Влияние может варьироваться в зависимости от продукта, но зачастую оно большое.

Однако если посмотреть, как обучается большинство современных рекомендательных систем, то мы увидим нестыковку. Модели кандидатогенерации учатся вытаскивать следующий айтем, с которым провзаимодействует пользователь, а модели ранжирования — сравнивать айтемы друг с другом на небольшом временном отрезке.

Причина, по которой это происходит, — большая стохастичность будущих траекторий пользователя. Вместо того чтобы предсказать, будет ли лайк на этот конкретный трек, нужно предсказать, поставит ли пользователь много лайков в течение года. Первое оптимизируют современные рекомендательные системы, а второе нужно продукту.

Вопрос к читателю: почему модель, которая предсказывает самый вероятный лайк прямо сейчас, не максимизирует число лайков за год?

Обучение с подкреплением

На вопрос, как искать лучший долгосрочный алгоритм, отвечает обучение с подкреплением (Reinforcement Learning, RL).

В RL есть две ключевые сущности — агент (agent) и среда (environment). Среда в каждый момент времени находится в каком-то состоянии из фиксированного пространства всевозможных состояний . Агент может делать в этой среде фиксированный набор действий . За каждое действие в конкретном состоянии он получает награду — произвольное вещественное число. Награду мы выбираем сами в зависимости от задачи.

Правило, по которому агент принимает решение, какое действие ему выбрать в текущем состоянии, называется политикой и обозначается . Это распределение над действиями при условии состояния.

Осталось описать, как среда реагирует на действия агента. Если агент в состоянии сделал действие , среда переходит в новое состояние по распределению . Оно называется вероятностью перехода. Начальное состояние приходит из распределения . Награда в общем случае тоже случайна, её распределение обозначим .

Всё вместе это называется марковским процессом принятия решений (Markov Decision Process, MDP) и задаётся кортежем . Слово «марковский» означает, что следующее состояние зависит только от текущего состояния и действия. От всей предыстории оно не зависит. Это не ограничение, а требование к состоянию: всю нужную историю надо в него положить. Про чуть ниже.

Запустим агента в среду. Он окажется в начальном состоянии, сделает действие, получит награду, перейдёт в новое состояние и так далее. То, что получится, называется траекторией:

,

где , , , , а — длина траектории. Распределение траекторий, которое порождает политика , обозначим .

Траектория конечна: рано или поздно среда приходит в терминальное состояние. В рекомендациях такого состояния нет, пользователь ходит в сервис годами. Поэтому границу мы проводим сами — траекторией у нас будет сессия.

Награды по траектории надо сложить в одно число. Складываем с дисконтированием:

.

Здесь — фактор дисконтирования. Он говорит, насколько нам важна награда через шаг по сравнению с наградой прямо сейчас. При , близкой к нулю, агент смотрит только на ближайшие шаги. При , близкой к единице, — далеко вперёд. Суммарная дисконтированная награда за всю траекторию — это .

Нам понадобятся две функции ценности. Функция ценности состояния — это ожидаемая суммарная награда, если стартовать из состояния $x$ и дальше действовать по политике :

.

Функция ценности состояния и действия — то же самое, но первое действие мы фиксируем:

$

Отсюда виден ответ на вопрос из прошлой секции. Жадная модель выбирает действие с максимальной . А нужно выбирать с максимальной . Разница между ними — это то, что произойдёт после действия. И знание ничего не говорит про .

Задача RL формулируется как найти политику, которая максимизирует ожидаемую суммарную награду за траекторию:

.

Качество политики измеряется как .

На рекомендательные системы это переносится напрямую:

• Агент — рекомендательная система

• Среда — пользователь

• Состояние — история пользователя: что мы ему показали, с чем он провзаимодействовал, какой оставил фидбэк. Фидбэком дальше называю любую реакцию пользователя, которую мы записали в логи: лайк, дослушивание, скип

• Действие — айтем, который мы рекомендуем

• Награда — реакция пользователя на этот айтем

• Переход — к истории дописывается рекомендованный айтем и реакция на него

Состояние — вся история целиком, поэтому марковость выполняется по построению.

В рекомендациях мы хотим не просто получить много награды когда-нибудь. Мы хотим получить её как можно раньше. Пользователь, которому понравилась рекомендация на первых же треках, останется. А тот, кому надо прослушать сотню, чтобы дойти до хорошего, скорее всего, уйдёт раньше. Дисконтирование закладывает это свойство прямо в задачу. Награда через десять шагов стоит для нас меньше, чем такая же награда сейчас.

Policy gradient

Как искать оптимальную политику? Параметризуем её нейросетью и будем оптимизировать градиентным подъёмом. Проблема в том, что входит не в саму награду. Она входит в распределение, по которому берётся матожидание. Продифференцировать напрямую не получается.

Обойти это позволяют policy gradient методы. Градиент по алгоритму REINFORCE выглядит так:

.

Мы берём траекторию. Для каждого шага увеличиваем логарифм вероятности выбранного действия. Вес при этом равен награде, набранной после этого шага. Действие, за которым последовало много хорошего, становится вероятнее. Действие, за которым не последовало ничего, — нет.

В матожидании стоит . Формула требует траекторий, порождённых той самой политикой, которую мы оптимизируем. Как раз этого у нас и нет. Есть только логи, собранные моделью, которая уже работает на пользователях.

Off-policy обучение и оценка

Чтобы получить траектории текущей политики , надо выкатить модель на пользователей, собрать данные, обновить политику и повторить. Такой режим называется on-policy. В рекомендациях он почти нереализуем. Инфраструктура должна обновлять модель на лету, а каждый шаг обучения стоит живого трафика.

Вместо этого у нас есть логи. Их собрала та политика, которая работала на пользователях. Её называют behavior policy и обозначают . Но оптимизируем мы другую политику, , её называют target policy. Обучение в таком режиме называется off-policy.

Мы учимся на данных, которые породила одна политика, а применять будем в мире, где действует другая. Матожидание в формуле градиента берётся по другому распределению. Теория перестаёт работать, и формулу нужно исправить.

Importance sampling

Помогает приём из статистики. Пусть мы хотим посчитать матожидание по распределению , а семплы у нас есть только из . Тогда:

.

Проверяется подстановкой: домножили и поделили на под интегралом. Приём называется importance sampling, а отношение — importance weight.

Подставим сюда траектории. Вероятность траектории раскладывается в произведение по шагам. Множители, которые от политики не зависят, сокращаются. Это переходы среды и начальное состояние . Остаётся произведение отношений вероятностей действий:

.

Отсюда получаем off-policy REINFORCE:

.

Траектории берутся из логов. Разница между политиками компенсируется весами.

Настоящую мы при этом не знаем. В логах записано, что показали и что произошло. Но не записано, с какой вероятностью система выбрала именно этот айтем. Behavior policy приходится оценивать отдельной моделью . Это источник смещения.

Вторая проблема серьёзнее. Вес — это произведение отношений по всем шагам. Политики разошлись хотя бы немного — произведение уходит либо в очень большое число, либо в ноль. В обоих случаях дисперсия градиента становится огромной.

Chen et al. в Top-K Off-Policy Correction for a REINFORCE Recommender System предложили оставить в весе только один множитель, за текущий шаг. Все остальные выбрасываются. Дисперсия падает, зато появляется смещение.

Off-policy оценка

Обучить политику — это половина задачи. Дальше надо понять, стала ли она лучше. Желательно до выкатки на пользователей.

Есть логи, собранные . Есть новая политика . Надо оценить — её среднюю суммарную награду. Прогнать по логам не получится. Она порекомендует не то, что было показано на самом деле, а награду мы знаем только для показанного. Это называется off-policy evaluation, или OPE.

Direct method (DM). Награду для новых действий мы не знаем — научим модель её предсказывать. Обучаем модель среды, гоняем по ней целевую политику и смотрим, сколько она набирает:

.

Дисперсия у такой оценки низкая. Но модель среды обучалась на данных behavior policy. Целевая политика может увести её туда, где она ничего не видела. Смещение получается неконтролируемым.

Inverse propensity scoring (IPS). Тот же importance sampling, что и в обучении. Только перевзвешиваем мы не градиент, а саму награду. Мы используем пошаговый вариант:

.

Если behavior policy известна точно, оценка несмещённая. Проблемы те же, что и в обучении. Веса не ограничены, дисперсия огромная. К тому же мы заменяем оценкой и получаем смещение.

Doubly robust (DR). DM даёт низкую дисперсию, IPS — несмещённость. Оценка, которая их объединяет, называется doubly robust:

.

Название идёт от главного свойства: оценка несмещённая, если не смещён хотя бы один из компонентов. Либо мы точно знаем behavior policy, либо у нас точная модель среды. Достаточно одного. Формально смещение DR выписали Farajtabar et al. В нём стоит произведение двух множителей: ошибки в оценке behavior policy и ошибки модели среды. Если хотя бы один из них равен нулю, всё выражение обнуляется.

IPS, DM и DR в такой постановке — это работы из общего RL, не из рекомендаций. В рекомендациях DR применяли, но только для контекстных бандитов, то есть на горизонте в один шаг. Для полноценных траекторий, насколько мы знаем, этого не делали. Мы адаптировали DR к этому случаю.

Подход: авторегрессивный REINFORCE с многошаговой off-policy коррекцией

Дальше покажем всё на примере музыкальных рекомендаций: пользователь слушает ленту рекомендаций, получает трек, оставляет фидбэк, получает следующий. Та же постановка, которую мы формализовали выше.

Постановка

Состояние — история пользователя до текущего шага. Действие — это трек, который выбрала модель. Фидбэк состоит из бинарного лайка и доли прослушивания . Награду мы определяем так:

.

Лайк — сильный сигнал, но редкий. Доля прослушивания — слабый, зато есть всегда. Лайк задаёт основную часть награды, а доля прослушивания не даёт ей быть нулевой почти везде. Следующее состояние получается дописыванием трека и фидбэка в историю.

Политика управляет не всем, что делает пользователь. Он может найти и включить конкретный трек, например, через поиск. Это называется органическим событием. Такие события мы относим к состоянию, но действиями агента не считаем: мы их не выбирали. Траекторией мы называем последовательность подряд идущих неорганических взаимодействий, то есть сессию рекомендаций. Как только пользователь уходит в органику, сессия заканчивается.

Максимизируем ожидаемую дисконтированную награду за сессию, .

Behavior policy

Чтобы считать importance weights, нужна .

Это двухбашенная модель . Пользовательская башня — это каузальный трансформер-декодер. На вход идёт хронологическая последовательность событий. Каждое событие — это контекст (органическое или рекомендательное), информация о треке (ID и длительность) и фидбэк (лайк и квантованная доля прослушивания). Вторая башня — обычный MLP над признаками трека. Близость считается скалярным произведением эмбеддингов пользователя и кандидата: .

Учим на next-item prediction с logQ-коррекцией и семплированными негативами. Лосс считаем только на неорганических таргетах. Каузальная маска позволяет закодировать все состояния пользователя за один форвард.

Вероятность действия получается софтмаксом по каталогу:

.

Target policy

Целевая политика — та же архитектура, инициализированная весами обученной behavior policy. Дальше замораживается и используется только для расчёта весов. А учится через off-policy REINFORCE.

Первое отличие от прошлых работ — в устройстве обучения. Chen et al. строили отдельный обучающий пример на каждую пару «состояние — действие». Мы обрабатываем всю последовательность пользователя за один форвард авторегрессивно, как языковую модель.

Отсюда следствие: можно посчитать произведение весов по будущим шагам целиком, а не оставлять один множитель. 

Отсюда же отличие — многошаговая коррекция. Вместо всех множителей берём не больше :

.

Дальше веса обрезаются сверху: , где — порог клиппинга.

Параметр — компромисс между двумя крайностями. При мы получаем то, что делали Chen et al.: низкая дисперсия, но заметное смещение. При получаем полный importance sampling по всей траектории со всеми его проблемами. В экспериментах видно, что оптимум посередине.

Градиент по мини-батчу , где — множество сессий пользователя :

.

Нормируем на суммарный вес всех слагаемых в батче.

Модель пользователя

Для DM и DR нам нужна модель среды. В рекомендациях среда — это пользователь. Нам надо предсказывать его реакцию.

Модель принимает состояние и кандидата . Предсказывает она не награду напрямую, а лайк и долю прослушивания по отдельности:

.

Политика принимает на вход фидбэк по каждому прошлому взаимодействию — лайк и долю. Чтобы прогнать её по сгенерированной траектории, нужен фидбэк в том же формате, а не одно число награды.

Это тоже каузальный трансформер. Он должен предсказывать фидбэк для каждого действия и при этом «видеть» фидбэк по всем прошлым рекомендациям. Поэтому вход организован парами «действие — фидбэк»: каждое событие даёт два токена. Скрытые состояния на позициях действий проецируются в логи лайка и доли прослушивания, лоссы — BCE (Binary Cross-Entropy). Предсказанная награда собирается обратно: .

С чем сравниваем

Два бейзлайна на обычном обучении с учителем, оба с той же архитектурой и той же инициализацией от :

• NIP-CE — продолжает next-item prediction на неорганических таргетах;

• Positive-CE — учится только на положительных взаимодействиях, где . Это типовой рецепт обучения кандидатогенератора.

Обоим даём столько же данных, времени и компьюта, сколько и REINFORCE. Иначе сравнение некорректное.

Эксперименты

Исследовательский вопрос такой: можно ли улучшить долгосрочную удовлетворённость пользователя за счёт policy gradient, не просев по стандартным recall-метрикам и не потратив дополнительных данных, времени и компьюта?

Данные

Считали на Yambda-5B — публичном датасете с пятью миллиардами взаимодействий. Взяли самую большую версию специально.

В рекомендациях есть давняя проблема воспроизводимости. Значительная часть результатов получена на маленьких академических датасетах, и выводы из них далеко не всегда переносятся на большие сервисы. Модель, которая обыгрывает всех на ста тысячах взаимодействий, может ничего не дать на пяти миллиардах.

Чтобы не получить утечку, разбиваем по времени: последняя неделя — тест, всё остальное — трейн. Историю каждого пользователя режем на куски по 512 подряд идущих событий.

Метрики

Метрики делятся на два класса.

Recall-метрики нужны, чтобы убедиться, что RL-оптимизация не сломала качество кандидатогенерации. Оценивать долгосрочный эффект они не могут в принципе. Они смотрят на политику в конечном наборе точек, порождённых другой политикой.

Recall@100 считаем по индексу из 500 тысяч самых популярных треков за период обучения. Если таргет в индекс не попал, оцениваем так, как будто он туда добавлен. Иначе такие таргеты перестают быть валидными кандидатами. Наборов таргетов четыре:

• — все неорганические пары. Показывает, насколько хорошо модель клонирует behavior policy

• — положительные пары, . Это стандартная оценка кандидатогенератора

• и — срезы по будущей награде, 5 и 95 перцентили распределения . Действия, после которых сессия принесла мало и много соответственно

Хорошая RL-модель не должна просесть на и должна просесть на : реже воспроизводить действия, за которыми ничего хорошего не следует.

OPE-метрики — это Step-IS, DM и DR. Step-IS считаем с клиппингом весов на 10. DM работает через обученную модель пользователя. и оцениваем Монте-Карло роллаутами с жадным декодированием.

Recall-метрики

На выигрывает NIP-CE, на — Positive-CE. Каждый обучался под свой набор таргетов. REINFORCE отстаёт от них совсем немного, то есть качество кандидатогенерации мы не сломали.

На NIP-CE заметно выше остальных двух. Positive-CE и REINFORCE реже воспроизводят действия, за которыми следует плохая сессия. Для RL-модели это прямое следствие целевой функции. Чем меньше награды набрано после действия, тем меньше вес у соответствующего слагаемого в градиенте. На все три модели примерно равны.

Off-policy оценка

Сначала проверим модель пользователя — на ней держатся DM и DR.

Ошибка на доле прослушивания — 0.1771. Это плотная часть награды, её надо предсказывать точно. С лайком тяжелее из-за разреженности. Лайкнутых треков в данных 1,13%, то есть PR-AUC случайного угадывания около 0.0113. На этом фоне 0.2432 — сильно выше случайного. MAE по награде 0.0340, и модель можно использовать для DM и DR.

REINFORCE лучше всех по всем трём оценкам. Явная оптимизация дисконтированной награды за сессию улучшает долгосрочную полезность по сравнению с обучением с учителем.

Positive-CE обходит NIP-CE везде. Оптимизация немедленного положительного фидбэка частично улучшает и сессионные метрики. Но выигрыш меньше, чем у REINFORCE. Это разница между локальной оптимизацией положительных действий и явной оптимизацией суммарной награды за сессию.

Behavior Return — средняя награда настоящей behavior policy на тестовых данных. Она равна 0,5855, и с этим числом мы сравниваем масштаб оценок. Step-IS даёт 1,3–1,5, то есть промахивается сильно. Сказываются клиппинг весов и то, что настоящую behavior policy мы подменяем оценкой. DM попадает в масштаб гораздо лучше, то есть у него эмпирически меньше смещение. Ближе всех оказывается DR. Это согласуется с его устройством: он комбинирует исторические семплы и модельные оценки и частично гасит смещения обоих.

Что влияет на результат

Off-policy коррекция

Без importance weights модель игнорирует сдвиг между behavior и target политиками. Все три OPE-оценки падают.

При этом вариант без коррекции выше по recall на срезе высокой награды. Лучше воспроизводить прибыльные действия behavior policy не значит быть лучшей политикой. Такие срезы полезны как диагностика, но не как основная метрика.

Число множителей в весе

Одного множителя мало — это постановка Chen et al., и она проигрывает. Лучший результат на десяти. Дальше прироста нет, а дисперсия растёт. В основных экспериментах берём .

Клиппинг весов

Чем выше порог, тем больше сохраняется крупных весов. Но тем больше дисперсия градиента и тем хуже качество кандидатогенерации. Порог 0.5 даёт лучший баланс, его и используем.

Итог и дальнейшая работа

Мы сформулировали рекомендации как RL-задачу на уровне сессии и обучили двухбашенный кандидатогенератор авторегрессивно, через off-policy REINFORCE, на заранее собранных логах. 

Обучение выявило особенность: Importance weight приближается не одним множителем, а несколькими. Оптимум оказывается посередине между одним множителем и полным произведением по всей траектории. 

Модель пользователя позволила перенести doubly robust оценку в рекомендации, где раньше её применяли только для контекстных бандитов.

На Yambda-5B RL-агент выигрывает у next-item prediction и next-positive prediction по всем off-policy оценкам сессионной награды. По recall-метрикам заметно не проседает.

Главное ограничение работы — всё посчитано офлайн. OPE-оценки полезны, но онлайн-эксперимент не заменяют. Поэтому следующий шаг — посмотреть, как эти офлайн-метрики коррелируют с результатами A/B-теста в кандидатогенерации на платформе коротких видео.

Статью подготовили: Артём Матвеев, Сергей Макеев, Алексей Красильников, Владимир Байкалов, Сергей Лямаев, Кирилл Хрыльченко.