Sesame, стартап, создавший вирусного виртуального помощника Maya, выпускает свою базовую модель AI

Компания  Sesame ^[1], занимающаяся разработкой искусственного интеллекта ^[2], выпустила базовую модель, на которой основан Maya —  впечатляюще реалистичный голосовой помощник ^[3]. Модель, размер которой составляет 1 миллиард параметров, находится под лицензией Apache 2.0, что означает, что ее можно использовать в коммерческих целях с небольшими ограничениями. Названная CSM-1B, модель генерирует «аудиокоды RVQ» из текстовых и аудиовходов, согласно описанию Sesame на платформе разработки AI Hugging Face ^[4].

RVQ относится к «остаточной векторной квантизации», технике кодирования звука в дискретные токены, называемые кодами. RVQ используется в ряде последних аудиотехнологий AI ^[5], включая SoundStream от Google и Encodec от Meta*.

CSM-1B использует модель из семейства Llama компании Meta ^[6] в качестве основы в паре с аудиокомпонентом «декодера». Sesame утверждает, что Maya работает на основе тонко настроенного варианта CSM.

«Модель с открытым исходным кодом — это базовая модель генерации», — пишет Sesame в репозиториях CSM-1B Hugging Face ^[4] и GitHub ^[7].

«Она способна воспроизводить множество голосов, но не была настроена на какой-либо конкретный голос. Модель имеет некоторую способность к неанглийским языкам из-за загрязнения данных в обучающем наборе, но, скорее всего, с ними она справится не очень хорошо ».

Неясно, какие данные Sesame использовал для обучения ^[8] CSM-1B. Компания не сообщила.

Стоит отметить, что у модели нет реальных гарантий, о которых можно было бы говорить. Sesame имеет систему чести и просто призывает разработчиков и пользователей не использовать модель для имитации голоса человека без его согласия, создания вводящего в заблуждение контента, такого как фейковые новости, или участия в «вредных» или «злонамеренных» действиях.

Я попробовал демо ^[9] на Hugging Face, и клонирование моего голоса заняло меньше минуты. После этого было легко генерировать речь, какую только душа пожелает ^[10], в том числе на спорные темы.

Недавно Consumer Reports предупредил, что многие популярные на рынке инструменты клонирования голоса на базе искусственного интеллекта не имеют «значимых» мер защиты ^[11] от мошенничества или злоупотреблений.

Sesame, соучредителем которой является один из создателей Oculus Брендан Айриб, в конце февраля стала вирусной благодаря своему помощнику-технологу, который близок к зачистке территории зловещей долины. Майя и другой помощник Sesame, Майлз, делают вдохи и говорят с запинками, и их можно прерывать во время разговора, как и в голосовом режиме OpenAI ^[12].

Sesame привлекла нераскрытую сумму капитала от Andreessen Horowitz, Spark Capital и Matrix Partners. Помимо разработки технологии голосового помощника, компания заявляет, что она разрабатывает прототип очков AI, предназначенных для ношения в течение всего дня, которые будут оснащены ее индивидуальными моделями.

Источник ^[13]