maya.
Впихнуть невпихуемое
Главный секрет эффективности Mixture of Experts (MoE) по сравнению с Dense-моделями кроется в их разреженности: экспертов в пуле гигантское количество, но на генерацию каждого конкретного токена активируется лишь крошечная их часть.Например, Qwen3.8-Flash-Next насчитывает 125 миллиардов параметров и 24 576 экспертов, но на один токен задействуется всего около десятка. Обычная же Dense-модель аналогичного размера обязана вычитывать из памяти абсолютно все веса на каждом шаге. Именно эта архитектурная особенность MoE моделей и позволила в конечном счете запускать большие модели на потребительском железе.
Sesame, стартап, создавший вирусного виртуального помощника Maya, выпускает свою базовую модель AI
Компания Sesame, занимающаяся разработкой искусственного интеллекта, выпустила базовую модель, на которой основан Maya — впечатляюще реалистичный голосовой помощник. Модель, размер которой составляет 1 миллиард параметров, находится под лицензией Apache 2.0, что означает, что ее можно использовать в коммерческих целях с небольшими ограничениями. Названная CSM-1B, модель генерирует «аудиокоды RVQ» из текстовых и аудиовходов, согласно описанию Sesame на платформе разработки AI Hugging Face.

