Block Джека Дорси представила голосовую ИИ-модель Dessa, которая работает с речью напрямую

Block Джека Дорси представила ^[1] голосовую модель на базе искусственного интеллекта ^[2] Dessa, разработанную лабораторией компании. Модель работает локально и звучит удивительно естественно: в её речи есть такие особенности, как смех, паузы и всхлипывания. Dessa обучена исключительно на человеческой речи. Для её обучения ^[3] использовали одну стойку с графическими процессорами Nvidia.

Dessa — это полнодуплексная модель, поэтому она способна говорить и слушать одновременно, как и GPT-Live, выпущенная ^[4] OpenAI в июле этого года. Обычно речевые модели используются в паре с большими языковыми моделями, которые отвечают за поиск и предоставление информации. В Block заявили, что знания Dessa основаны на имеющихся у неё данных о разговорах.

Компания отметила, что существующие модели могут звучать неестественно и раздражающе, поскольку в процессе генерации речи используется текст. ElevenLabs v4, Fish Audio Drama 3 и многие другие модели используют голосовые теги для управления эмоциональностью речи. Block утверждает, что эмоции ^[5] заложены в саму Dessa. Однако неясно, управляются ли эти эмоции ^[6] какими-либо тегами.

«Взаимодействие с современным голосовым ИИ может быть просто ужасным. Он превращает ваш голос в текст и отбрасывает невероятное количество информации, которую невозможно передать одним лишь только текстом. Самые мощные ИИ в мире не могут услышать, что вы чувствуете. Мы считаем это абсурдным, поскольку такой подход ухудшает пользовательский опыт ^[7] и потенциально опасен», — сообщили в Block.

Исследователи компании опубликовали ряд примеров разговоров с Dessa, в которых модель имела разные голоса, интонации и эмоции. В одном из примеров чат-бот заявил, что он устал от работы, а его голос в этот момент действительно звучал утомлённым:

В другом примере речь бот звучала ^[8] эмоционально, словно он сейчас расплачется. В ещё одном примере сотрудница команды Block играет ^[9] с Dessa в игру на угадывание — первую загадку голосовой помощник отгадал сразу.

Компания указала, что модель может работать локально на потребительском оборудовании, таком как MacBook M4 Max или более производительном. Однако в настоящее время публичный доступ к Dessa отсутствует. Block призвала исследователей в области безопасности протестировать модель.