️ Zyphra выкатила ZAYA1-8B — маленькую MoE-модель, которая выглядит слишком бодро для своего размера

У модели меньше 1 млрд активных параметров, но Zyphra заявляет, что она конкурирует с куда более крупными open-weight и proprietary-моделями на математике ^[1], кодинге и reasoning-бенчмарках.

ZAYA1-8B – это ставка на весь стек сразу:

• MoE-архитектура с Compressed Convolutional Attention;

• новый MLP-router для более стабильного выбора экспертов;

• learned residual scaling для контроля роста residual-норм;

• pretraining на AMD Instinct MI300x, без NVIDIA-стека;

• большой post-training pipeline с SFT, reasoning warmup, RLVE-Gym, math/code RL и RLHF/RLAIF;

• test-time compute метод Markovian RSA.

Markovian RSA – самая любопытная часть. Модель генерирует несколько reasoning-трасс параллельно, затем рекурсивно агрегирует их и продолжает рассуждение кусками, не раздувая контекст бесконечно. По заявлению Zyphra, именно это резко бустит сложные математические задачи.

На HMMT’25 они показывают 89.6 против 88.3 у Claude 4.5 Sonnet и GPT-5-High. А при extra-high test-time compute говорят, что ZAYA1-8B обходит DeepSeek-V3.2 и GPT-OSS-120B High на APEX-shortlist.

Модель полностью обучали на AMD-инфраструктуре. Для рынка это почти политическое заявление – serious AI training больше не обязан выглядеть как “NVIDIA or nothing”.

ZAYA1-8B доступна в Zyphra Cloud, веса выложены на Hugging Face, лицензия Apache-2.0. Тесты опубликую у себя в тг, заходите: rust_code ^[2]

https://www.zyphra.com/post/zaya1-8b ^[3]