Kimi представили новую модель — Kimi-Linear-48B-A3B-Base

Команда Moonshot AI показала очередной серьёзный шаг в сторону эффективных больших моделей. Новая архитектура ^[1]объединяет два подхода (Gated DeltaNet и MLA-компрессию), создавая гибрид под названием KDA (Kimi Delta Attention). Это решение помогает модели лучше работать с длинным контекстом, сохраняя высокое качество рассуждений и при этом не раздувая вычислительные затраты.

Главная идея KDA — не пересчитывать всё внимание ^[2] на каждом токене, а фокусироваться только на изменениях. Это даёт значительный прирост скорости и экономию памяти ^[3]. Внутри архитектуры внимание распределено в пропорции примерно 3:1. Три части KDA и одна часть MLA. Такой баланс позволяет модели поддерживать стабильность и точность на уровне крупных LLM, но с гораздо меньшими требованиями к ресурсам.

В результате Kimi-Linear-48B требует до 75% меньше памяти на KV-кэш и обеспечивает ускорение декодирования до 6,3 раз на длинных контекстах. При этом она не теряет в качестве, наоборот, на задачах рассуждения и генерации длинных цепочек показывает лучшие результаты, чем MLA и GDN-H.

Модель ^[4]демонстрирует устойчивость к распаду длинных зависимостей, умеет решать, что стоит забыть, а что запомнить, и сохраняет целостность рассуждений даже при экстремально больших контекстах. Это делает её особенно подходящей для долгих диалогов, сложных цепочек reasoning и RL-задач.

Хотите быть в курсе важных новостей из мира ИИ? Подписывайтесь на наш Telegram‑канал BotHub AI News ^[5].