MoVA: новая архитектура внимания
3 сентября 2026 года Institute of Foundation Models (IFM, подразделение MBZUAI) выкатил зоопарк из шести открытых моделей K2 Horizon размером от 0.9B до 375B параметров. Технически самой интересной из них оказалась средняя модель, K2-Horizon-MoVA-36B-A4B: 36 млрд параметров, из которых на каждый токен работает только около 4 млрд. Формально это MoE-модель, но авторы добавили в нее второй слой разреженности прямо в attention слои и назвали это MoVA, Mixture-of-Value Attention.Как работает MoE
