Thinking Machines создаёт слушающий и говорящий ИИ

ИИ-стартап Thinking Machines Lab, основанный бывшим техническим директором OpenAI Мирой Мурати, анонсировал ^[1] выпуск моделей взаимодействия. Они будут способны как слушать, так и говорить.

Все современные модели работают по одинаковому принципу: они выслушивают запрос, а потом отвечают. Thinking Machines пытается изменить это, создав модель, которая обрабатывает пользовательский ввод и одновременно генерирует ответ, так что это больше напоминает диалог.

Включение интерактивности в модель открывает множество возможностей, как обещает компания, в том числе:

• бесперебойного управления диалогом. Модель неявно отслеживает, думает ли говорящий, уступает ли он, корректирует ли свою речь или приглашает к ответу;

• вербальных и визуальных вставок. Модель вмешивается по мере необходимости в зависимости от контекста, а не только когда пользователь заканчивает говорить;

• одновременной речи. Пользователь и модель могут говорить одновременно (например, перевод в реальном времени);

• осведомлённости о времени. Модель напрямую ощущает прошедшее время;

• одновременного вызова инструментов, поиска и генерации пользовательского интерфейса. Во время разговора и прослушивания пользователя модель может одновременно искать информацию, просматривать веб-страницы или генерировать пользовательский интерфейс, вплетая результаты в разговор по мере необходимости.

Компания называет подход «полнодуплексным», и компания утверждает, что её модель TML-Interaction-Small отвечает за 0,40 секунды, что примерно соответствует скорости естественного человеческого разговора и значительно быстрее, чем скорость ответа сопоставимых моделей от OpenAI и Google.

Пока это предварительная версия для исследований, а не готовый продукт, и компания не собирается выпускать её в открытый доступ. «Ограниченная предварительная версия для исследований» появится в ближайшие несколько месяцев, а более широкий релиз запланирован на конец этого года.

Для измерения качества взаимодействия модели исследователи использовали ^[2] FD-bench, один из немногих существующих бенчмарков, предназначенных для измерения интерактивности. В FD-bench версии 1.5 модели предоставляется предварительно записанный аудиоматериал, и она должна реагировать ^[3] в определённые моменты времени. Этот бенчмарк измеряет поведение ^[4] модели в нескольких сценариях: прерывание со стороны пользователя, обратный канал связи с пользователем, разговор с другими и фоновая речь. Отмечается, что TML-Interaction-Small показала хорошие результаты во всех этих областях. Для количественной оценки ИИ они применили Audio MultiChallenge, распространённый тест, отслеживающий способность следовать инструкциям.

Осенью 2025 года Thinking Machines Lab представил ^[5] свой первый продукт — инструмент Tinker, который автоматизирует создание пользовательских передовых моделей искусственного интеллекта ^[6]. Он позволяет тонко настраивать ряд больших и малых моделей с открытыми весами, включая такие как Qwen-235B-A22B.