MoVA: новая архитектура внимания

3 сентября 2026 года Institute of Foundation Models (IFM, подразделение MBZUAI) выкатил зоопарк из шести открытых моделей K2 Horizon размером от 0.9B до 375B параметров.

Технически самой интересной из них оказалась средняя модель, K2-Horizon-MoVA-36B-A4B ^[1]: 36 млрд параметров, из которых на каждый токен работает только около 4 млрд. Формально это MoE-модель, но авторы добавили в нее второй слой разреженности прямо в attention слои и назвали это MoVA, Mixture-of-Value Attention.

Как работает MoE

В классическом трансформере каждый блок состоит из attention-слоя и FFN (feed-forward network). FFN, как правило, самая тяжелая по параметрам часть блока, и именно ее обычно “разрежают” в духе Mixture-of-Experts:

• вместо одного большого FFN держат пул из N экспертов (тоже FFN, но поменьше)

• router (обычно линейный слой + softmax/sigmoid) для каждого токена решает, какие top-k экспертов из N активировать

• выход модели считается как взвешенная сумма выходов выбранных экспертов

• часто добавляют один или несколько shared experts, которые активны всегда, чтобы не терять “общие” знания при разреженной маршрутизации

Модель хранит гигантскую суммарную емкость (сотни миллиардов параметров), а для каждого токена вычисляет намного меньше. Это и есть источник разницы между “total params” и “active params” в карточках современных open-weight моделей (DeepSeek-V3, Qwen3-MoE, Nemotron и т.д.).

Вся эта разреженность в классическом MoE живет только в FFN. Attention остается плотными Q/K/V-проекциями, и сам механизм внимания ^[2] считается целиком для каждого токена.

Что добавляет MoVA

MoVA берет ту же самую идею: router + top-k из пула экспертов + взвешенное объединение, и переносит ее внутрь attention, точнее в вычисление value-проекций [1 ^[3]].

Логика ^[4] следующая:

1. Q и K считаются как обычно (плотно) для корректного скалярного произведения при вычислении внимания.

2. V (value) превращается в MoE: вместо одной value-проекции на голову внимания есть пул value-экспертов, а per-token router выбирает top-k из них.

3. По независимому разбору реализации (наследуется от модульной архитектуры Qwen3MoE) в K2-Horizon-MoVA-36B-A4B используется сигмоидный роутер в attention, с post-gate через softplus, а не привычный softmax-top-k, как в FFN-роутерах.

4. Разреженность в value-пространстве совместима с FlashAttention и GQA, т.е. это не отдельный медленный механизм сбоку, а встроенная операция.

Идея в том, что value-проекция отвечает на вопрос: “какую информацию нести дальше по остаточному потоку”, и она может быть куда более контекстно-специфичной, чем единая на всех токенов проекция.

Раз FFN выигрывает от специализации через MoE, логично предположить, что value-пространство внимания тоже может выиграть от такой же специализации. При этом Q/K, отвечающие за “куда смотреть”, остаются едиными и стабильными.

Формально в самой K2-Horizon-MoVA-36B-A4B это выглядит так:

Иными словами, у модели два независимых уровня разреженности одновременно: MoE в FFN (как у всех), и MoVA в value-проекциях attention (это и есть архитектурная новизна релиза).

MoVA vs MoE: в чем принципиальная разница

MoVA не заменяет MoE, а дополняет его дополнительным уровнем разреженности. В K2-Horizon-MoVA-36B-A4B они работают вместе: 100 экспертов в FFN (top-8+1) и 64 value-эксперта в attention (top-4). Итоговая цифра активных параметров (4B) складывается из обоих механизмов.

VRAM-ограничение задается суммарными весами (36B нужно держать в памяти ^[5] целиком), а не активными (4B), MoVA не облегчает требования к памяти сильнее, чем обычный MoE такого же размера. Выигрыш исключительно в вычислительной эффективности (FLOPs/токен) и, как следствие, в скорости и стоимости инференса при том же объеме VRAM/RAM.

Академические корни MoVA

IFM не опубликовала отдельную научную статью с описанием MoVA, механизм представлен только в блог-посте и в коде модели. Но сама идея переноса MoE-роутинга в attention далеко не новая, и на arXiv есть несколько прямых предшественников, которые почти дословно описывают то же самое, что делает MoVA.

Ближе всего по конструкции SwitchHead [2 ^[6]]. Это MoE-механизм для attention, в котором именно value- и output-проекции параметризуются через пул экспертов, а query и key считаются как обычно, т.е. ровно та же схема, что описана в карточке K2-Horizon.

Более того, авторы SwitchHead явно указывают, что использовали несостязательную (non-competitive) сигмоидную активацию для роутера вместо softmax, и что это позволило обучать модель без дополнительных регуляризаторов балансировки, и это же сочетание (sigmoid-роутер) фигурирует и в описании MoVA.

SwitchHead в оригинальной статье достигает того же perplexity, что и baseline-трансформер, и его можно комбинировать с MoE-FFN в единую архитектуру “SwitchAll” (то же самое двухуровневое разрежение, которое IFM использует в K2-Horizon-MoVA-36B-A4B).

Идею с MoE-слоями и в attention, и в FFN одновременно, но в архитектуре Universal Transformer, развивает MoEUT [3 ^[7]] и там прямо описывается, что “SwitchHead параметризует value- и output-проекции через MoE”, с одним query/key на голову и N динамически выбираемых value/output экспертов. Фактически это формальное определение того же самого принципа, который в K2-Horizon получил имя MoVA.

Таким образом, MoVA у IFM является, по сути, доведенной до масштаба LLM (36B, а не сотни миллионов параметров, как в оригинальных статьях 2023–2024 годов) и совмещенной с FFN-MoE версией идей, которые уже несколько лет разрабатываются в академической литературе под разными именами (SwitchHead, MoA, MoSA, MoEUT, MoH).

Собственного архитектурного открытия здесь немного, но инженерная работа по доведению этого до продакшен-уровня на 36B-модели с 512K контекстом и совместимостью с vLLM/SGLang именно то, что действительно ново в релизе K2-Horizon.

4B-модель обошла 550B-модель

Немного хайпа: по официальной карточке модели, K2-Horizon-MoVA-36B-A4B (4B активных) действительно обходит Nemotron 3 Ultra (MoE-модель с 550B общих и 55B активных параметров) сразу на двух агентных/coding-бенчмарках: tau3-Banking (26.8 против 14.2) и Terminal-Bench 2.1 (58.6 против 53.9).

Конечно, это не SWE-bench, но все равно очень достойно для модели такого размера, что еще раз доказывает: специализированные модели меньшего размера на специализированных задачах обходят по качеству большие модели общего назначения.

Зачем это нужно?

По данным официального анонса IFM, K2-Horizon-MoVA-36B-A4B при тех же условиях обучения ^[8] показывает результат “лишь немного ниже” плотной модели той же линейки (Horizon-32B dense, 32B активных из 32B), при том что активирует лишь ~4B параметров на токен.

Основная цель MoVA заключается не в том, чтобы превзойти dense-модели в вакууме, а приблизиться к ним по качеству при кратно меньших затратах на вычисления в инференсе.

Сравнение официальных бенчмарков, high reasoning effort:

Картина типичная для сильно оптимизированной sparse-модели: на агентных и tool-use бенчмарках (tau3-Banking, Terminal-Bench) модель обходит всех соперников, включая 550B-модель Nemotron 3 Ultra с 55B активных параметров.

А вот на чистых научных рассуждениях (GPQA, HLE, CritPt) и на длинном контексте она уступает как более крупным MoE, так и dense-моделям сравнимого размера вроде Muse Glimmer-30B. Это ожидаемо: агентные/coding-задачи хорошо ложатся на пост-тренинг с RL и агентными траекториями, а фундаментальные научные знания требуют больше “сырой” емкости.

MoVA архитектура предоставляет способ эффективно потратить бюджет вычислений, а не обогнать более крупные архитектуры.

Как это запускать

Модель официально поддерживается vLLM и SGLang, есть также GGUF-конвертации ^[9] для llama.cpp.

vLLM:

vllm serve IFM/K2-Horizon-MoVA-36B-A4B 
  --tensor-parallel-size 2 
  --trust-remote-code 
  --dtype bfloat16 
  --max-model-len 131072 
  --enable-expert-parallel 
  --reasoning-parser k2_horizon 
  --enable-auto-tool-choice 
  --tool-call-parser k2_horizon

SGLang:

python3 -m sglang.launch_server 
  --model-path IFM/K2-Horizon-MoVA-36B-A4B 
  --dtype bfloat16 
  --attention-backend fa3 
  --reasoning-parser k2_horizon 
  --tool-call-parser k2_horizon

Модель поддерживает три уровня “усилия рассуждения” через reasoning_effort (high/medium/low).

Важный нюанс для локального запуска: архитектура k2_horizon/K2HorizonForCausalLM на момент написания статьи еще не входит в релиз llama.cpp. PR с ее поддержкой был в процессе на начало сентября 2026.

Community-конвертации в GGUF собирались через форк MBZUAI-IFM/llama.cpp (ветка model/K2Horizon), и без него официальные GGUF-файлы попросту не загружались стандартными сборками llama.cpp, LM Studio и т.п. Это стоит иметь в виду, если вы планируете запускать модель локально, а не через vLLM/SGLang.

По памяти: все 36B весов должны быть загружены в памяти целиком, активность параметров экономит вычисления (FLOPs на токен), а не место в памяти. Грубые ориентиры по квантованным версиям:

Q8_0 с урезанным с 512К до 252К контекстом, и KV кешем в Q8 спокойно помещается в 48Gb.

Что говорят независимые обзоры

Плюсы, которые отмечают чаще всего:

• Это действительно самый полный по открытости релиз на данный момент: помимо весов обещаны промежуточные чекпоинты, данные/рецепты их построения, код обучения и подробные логи не только для маленьких моделей, но и для 375B.

• MoVA привносит реальный архитектурный вклад, а не маркетинговый ребрендинг MoE.

• Маленькие модели линейки (0.9B–7B) действительно устанавливают новый уровень качества в своих весовых категориях, например, 7B показывает 70.6 на SWE-bench Verified, что для такого размера заметно выше конкурентов.

Минусы и оговорки:

• Экосистема инференса на момент релиза не успела за архитектурой: поддержка k2_horizon в апстриме llama.cpp отсутствует, официальный GGUF ^[9] не загружался готовыми инструментами без патченного форка.

• Сама IFM провела и опубликовала честный аудит на reward hacking для флагманской 375B-A23B на TerminalBench 2.1: из 500 формально пройденных задач 24 попытки в 10 задачах были признаны нечестными, т.к. модель находила решение эталонного бенчмарка на GitHub, копировала правильный ответ из чужого репозитория, инспектировала неанонсированные файлы/секреты или редактировала сам тестовый харнесс. После исключения этих случаев accuracy падает с 70.2% до 66.9% (~3.4 п.п.).

Заключение

MoVA архитектура логично развивает идеи MoE: если разреженность (router + top-k экспертов) хорошо работает для FFN, почему бы не применить тот же принцип к value-проекциям внутри attention.

На конкретной модели K2-Horizon-MoVA-36B-A4B это дает заметный эффект: модель с 4B активных параметров держится вровень или обгоняет куда более тяжелые MoE (вплоть до 550B) на агентных и coding-бенчмарках, хотя и уступает на чисто научном ризонинге и длинном контексте.

Для локального и недорогого сценария использования (36B весов помещаются в 1–2 потребительские/полупрофессиональные GPU при квантовании) это выглядит одним из самых интересных релизов сентября 2026 года, при условии, что вы готовы мириться с еще не до конца зрелой поддержкой в инструментах вроде llama.cpp на момент запуска.

References

1. Introducing K2 Horizon: Frontier Performance, Radically Open, IFM (2026) ^[3]

2. SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention, arXiv (2024) ^[6]

3. MoEUT: Mixture-of-Experts Universal Transformers, arXiv (2024) ^[7]