- BrainTools - https://www.braintools.ru -

Kimi K2.7 Code стала в 6 раз быстрее — до 260 токенов в секунду

Kimi K2.7 Code стала в 6 раз быстрее — до 260 токенов в секунду - 1

Китайская Moonshot AI представила [1] Kimi K2.7 Code HighSpeed — скоростной режим своей открытой модели для программирования Kimi K2.7 Code. Это та же модель, но с ускоренным выводом: до 6 раз быстрее, около 180 токенов в секунду на типичных задачах кодинга и до 260 токенов в секунду на коротком контексте. Доступ раскатывают постепенно — компания объясняет это нехваткой мощностей.

Анонс закрывает обещание из релиза K2.7 Code от 12 июня, где скоростной режим значился как готовящийся к запуску. Сама модель открытая — веса лежат на Hugging Face под лицензией Modified MIT, в основе K2.6, контекст 256K токенов, упор на длинные агентные задачи. Важная деталь: режим рассуждений у нее включен всегда, модель сначала “думает”, потом отвечает. Поэтому скорость вывода тут критична — на агентных прогонах из десятков шагов задержка копится на каждом вызове. Сама по себе K2.7 Code при этом тратит примерно на 30% меньше токенов на рассуждения, чем K2.6.

Скоростной режим раскатывают на участников бета-программы Kimi Code, разработчиков на Kimi API и бизнес-пользователей. Приглашение не требуется: попасть может любой, кто вступит в бету, — но из-за ограниченных мощностей доступ пока узкий, и скорость может плавать. Свою позицию Moonshot формулирует так: открытый интеллект [2] должен быть “мгновенным, доступным и без границ”.

Ставка на скорость для Kimi не нова: ранее Cerebras запускала предыдущую K2.6 на своих чипах под ~1000 токенов в секунду. Но там разгон давал сторонний провайдер на специализированном железе, а здесь это собственный режим Moonshot — попытка сделать тяжелую модель на триллион параметров отзывчивой для агентного кодинга, где задержка ощущается сильнее всего. Стоит держать в уме и оговорку: заявленные приросты K2.7 Code компания мерила в основном на своих бенчмарках, независимых сторонних результатов (SWE-bench и подобных) пока нет.

P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть” [3], где я рассказываю про ИИ с творческой стороны.

Автор: runaway_llm

Источник [4]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/31771

URLs in this post:

[1] представила: https://x.com/Kimi_Moonshot/status/2066467110960959833

[2] интеллект: http://www.braintools.ru/article/7605

[3] “сбежавшая нейросеть”: https://escaped-ai.ru/tg/

[4] Источник: https://habr.com/ru/news/1047782/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1047782

www.BrainTools.ru

Rambler's Top100