Впихнуть невпихуемое
Главный секрет эффективности Mixture of Experts (MoE) по сравнению с Dense-моделями кроется в их разреженности: экспертов в пуле гигантское количество, но на генерацию каждого конкретного токена активируется лишь крошечная их часть.Например, Qwen3.8-Flash-Next насчитывает 125 миллиардов параметров и 24 576 экспертов, но на один токен задействуется всего около десятка. Обычная же Dense-модель аналогичного размера обязана вычитывать из памяти абсолютно все веса на каждом шаге. Именно эта архитектурная особенность MoE моделей и позволила в конечном счете запускать большие модели на потребительском железе.
