Ещё один конкурент Jev: SubQ Snap обрабатывает 100K токенов примерно за секунду

Компания Subquadratic представила SubQ Snap ^[1], мультимодальную модель для принятия решений внутри AI-агентов. Контекстное окно составляет 384K токенов, в 12 раз больше, чем у Jev. По заявлению разработчиков, обработка запроса на 100K токенов и получение решения занимают примерно секунду.

Это первый новый продукт компании после июньского анонса SubQ 1.1 Small ^[2]. Тогда Subquadratic показала результаты поиска информации в контексте до 12 млн токенов. Эти результаты относятся к прежней языковой модели; у доступного сейчас Snap окно меньше, зато он предназначен для частых вызовов внутри агентного цикла.

Модели этого класса уже выпускают несколько компаний: помимо Jev от TypeSafe, появились OpenAI Decisions API ^[3] и Microsoft Decision-1 ^[4]. Они решают задачи классификации, выбора инструментов, оценки результатов и управления дальнейшими действиями агента.

В API Snap ^[5] передаются общее состояние задачи, вопросы и допустимые ответы. Модель возвращает вероятность ответа «да», выбор из заданных вариантов или оценку по шкале. Можно, например, определить нужные для исправления ошибки ^[6] файлы, выбрать следующий инструмент или проверить, завершена ли задача. Генерация кода и развёрнутых объяснений остаётся за языковой моделью. Помимо текста, Snap принимает до четырёх изображений.

Большой контекст нужен даже для короткого ответа: выбор следующего действия может зависеть от кода в другом модуле, старого ограничения пользователя или пункта в отдельном документе. Subquadratic пытается снизить стоимость чтения таких входных данных с помощью собственной архитектуры Subquadratic Sparse Attention, SSA ^[7].

Обычное плотное attention вычисляет попарные взаимодействия токенов, поэтому его вычислительная сложность растёт как O(n²). SSA выбирает позиции по содержимому и рассчитывает attention только для выбранных связей. По описанию компании, вычисления этого механизма растут линейно с длиной контекста. Отдельная голова решений преобразует внутренние представления в вероятности допустимых ответов, позволяя обойтись без последовательной генерации выходных токенов.

В демонстрационном видео ^[8] Snap получает репозиторий на 226K токенов. Два запроса к модели занимают суммарно 2,42 секунды: сначала она выбирает файлы, затем нужные диапазоны строк. В итоге кодинг-агенту передаётся пакет на 7 КБ с четырьмя файлами и 20 диапазонами строк, а также сведениями о стиле кода и тестах. Это пример того, как модель с большим окном может подготовить контекст для следующего шага агента.

Компания также опубликовала сравнение с Jev ^[1]:

В Decision LCR использовались документы общим объёмом 72K–115K токенов. Snap получал весь контекст в одном запросе, а для Jev его разбивали на чанки. Тест адаптирован под выбор из вариантов, поэтому эти оценки нельзя напрямую сравнивать с результатами исходного AA-LCR, где проверяются письменные ответы. Это результаты Subquadratic; независимой проверки Snap в анонсе не приведено.

Snap доступен в публичной предварительной версии через консоль SubQ ^[9]. Цена ^[10] составляет $0,05 за миллион входных токенов, выход бесплатный: запрос на 100K токенов обойдётся в $0,005. Первым 10 тысячам пользователей компания обещает по 100 млн бесплатных токенов. Доступ ограничен вычислительными мощностями, после заполнения доступных мест новых пользователей могут направлять в очередь ожидания.

Если новость понравилась, приглашаю в канал AI for Devs ^[11]. Каждый день публикую похожие материалы: новые модели, агенты, практические кейсы и новости из мира AI.