Nvidia запускает платформу искусственного интеллекта для обучения языку жестов

Nvidia ^[1] представила новую платформу искусственного интеллекта ^[2] для обучения ^[3] людей использованию американского языка жестов, чтобы помочь преодолеть барьеры в общении. Платформа Signs создаёт проверенный набор данных для изучающих язык жестов и разработчиков приложений на основе ASL.

Так сложилось, что американский язык жестов является третьим по распространённости языком в Соединённых Штатах — но инструментов ИИ, разработанных на основе данных ASL, гораздо меньше, чем инструментов, разработанных на основе данных о наиболее распространённых в стране языках — английском и испанском.

Компания Nvidia, Американское общество глухих детей и креативное агентство Hello Monday помогают устранить этот пробел с помощью Signs — интерактивной веб-платформы, созданной для изучения языка жестов и разработки доступных приложений на основе ИИ.

Изучающие язык жестов могут получить доступ к проверенной библиотеке жестов ASL на платформе, чтобы расширить свой словарный запас с помощью 3D-аватара, который демонстрирует жесты, а также использовать инструмент на основе ИИ, который анализирует видео с веб-камеры, чтобы получать обратную связь в режиме реального времени. Жестоговорящие люди любого уровня могут внести свой вклад, показывая жестами конкретные слова, чтобы помочь создать набор видео с открытым исходным кодом для ASL.

Набор данных, который Nvidia планирует расширить до 400 000 видеоклипов, представляющих 1000 жестов, проверяется опытными пользователями языка жестов и переводчиками, чтобы обеспечить точность каждого жеста. В результате получается высококачественный визуальный словарь и инструмент для обучения.

«Большинство глухих детей рождаются у слышащих родителей. Предоставление членам семьи доступных инструментов, таких как Signs, для раннего изучения языка жестов позволяет им наладить эффективное общение с детьми в возрасте от шести до восьми месяцев, — говорится в заявлении Чери Даулинг, исполнительного директора Американского общества глухих детей. — Зная, что профессиональные преподаватели языка жестов проверили всю лексику на платформе, пользователи могут быть уверены в том, что они изучают».

Команды Nvidia планируют использовать этот набор данных для дальнейшей разработки приложений искусственного интеллекта, которые устраняют коммуникационные барьеры между глухими и слышащими сообществами. Планируется, что эти данные будут доступны общественности в качестве ресурса для создания доступных технологий, включая агентов искусственного интеллекта, цифровые приложения для людей и инструменты видеоконференцсвязи. Это также может быть использовано для улучшения вывесок и обеспечения платформ ASL по всей экосистеме поддержкой и обратной связью в режиме реального времени с использованием искусственного интеллекта.

Независимо от того, новичок вы или эксперт, волонтёры могут записывать свои жесты, чтобы внести свой вклад в набор данных ASL.

На этапе сбора данных Signs уже предоставляет мощную платформу для изучения языка жестов, предлагая людям возможность выучить и практиковать начальный набор из 100 жестов, чтобы они могли более эффективно общаться с друзьями или членами семьи, которые используют язык жестов.

«Платформа для изучения языка жестов может помочь семьям, в которых есть глухие дети, быстро найти нужное слово и посмотреть, как сделать соответствующий жест. Это инструмент, который может помочь им в повседневном использовании языка жестов за пределами формальных занятий, — сказал Даулинг. — Я вижу, что и дети, и родители уже изучают его».

В то время как Signs в настоящее время фокусируется на движениях рук и положении пальцев для каждого знака, ASL также включает выражения лица и движения головы для передачи значения. Команда, стоящая за Signs, изучает, как эти сигналы, не передаваемые вручную, могут быть отслежены и интегрированы в будущие версии платформы.

Они также изучают, как другие нюансы, такие как региональные различия и сленговые выражения, могут быть представлены в Signs, чтобы обогатить его базу данных ASL, и сотрудничают с исследователями из Центра исследований доступности и инклюзивности Рочестерского технологического института, чтобы оценить и улучшить пользовательский опыт ^[4] платформы Signs для глухих и слабослышащих пользователей.

«Улучшение доступности языка жестов — это непрерывный процесс», — сказал Андерс Йессен, партнёр-основатель Hello Monday/DEPT, который создал веб-платформу Signs и ранее работал с Американским обществом глухих детей над приложением Fingerspelling.xyz ^[5], которое обучало пользователей алфавиту языка жестов. «Signs может удовлетворить потребность ^[6] в продвинутых инструментах искусственного интеллекта, которые помогают преодолеть коммуникационные барьеры между сообществами глухих и слышащих».

Набор данных, лежащий в основе Signs, планируется выпустить позже в этом году.

Источник ^[7]