Американские учёные представили ИИ-кольцо, которое помогает переводить язык жестов

Научная группа под руководством Корнеллского университета разработала ^[1] кольцо на базе искусственного интеллекта ^[2] SpellRing, которое помогает в режиме реального времени переводить с американского языка жестов или амслена (American Sign Language, ASL). Помимо ИИ, гаджет использует микросонар для отслеживания дактилологии.

На текущем этапе SpellRing можно использовать для ввода текста на компьютере и или смартфоне с помощью дактилологии, которая используется в амслене для написания слов без таких знаков, как имена собственные и технические термины. В дальнейшем кольцо должно произвести революцию в переводе с ASL, непрерывно отслеживая целые жестовые слова и предложения, уверены исследователи.

Многие другие подобные технологии не приняли в сообществе глухих и слабослышащих из-за громоздкости и непрактичности оборудования, поделился докторант в области информатики Корнеллского университета и ведущий автор работы Хаянчул Лим. По его словам, команда стремилась уместить все необходимые компоненты в кольцо, чтобы фиксировать все тонкие и сложные движения пальцев в ASL.

Работу учёных представят на конференции Human Factors in Computing Systems, которую Ассоциация ^[3] вычислительной техники проведёт в японской Иокогаме с 26 апреля по 1 мая 2025 года.

SpellRing надевают на большой палец. Кольцо оснащено микрофоном и динамиком, которые посылают и принимают неслышимые звуковые волны, отслеживая движения руки и пальцев владельца. За отслеживание движения руки также отвечает мини-гороскоп. Все компоненты расположены внутри напечатанного на 3D-принтере кольца и корпуса размером чуть менее пятирублёвой монеты.

Запатентованный алгоритм глубокого обучения ^[4] обрабатывает данные сонара и прогнозирует дактилологические буквы ASL в режиме реального времени с такой же точностью, как и многие существующие системы, требующие большего количества оборудования. 

Разработчики протестировали SpellRing на 20 продвинутых и начинающих пользователях амслена, предложив им естественно и непрерывно воспроизводить жестами в общей сложности более 20 тыс. слов различной длины. Точность кольца варьировалась от 82% до 92% в зависимости от сложности слов.

SpellRing базируется на предыдущей разработке под названием Ring-a-Pose ^[5]. Будущая работа исследователей будет включать интеграцию микросонарной системы в очки для отслеживания верхней части тела и выражений лица человека. Это позволит создать комплексную систему перевода на ASL.

Глухие и слабослышащие используют для амслена не только руки, но и выражения лица, движения верхней части тела и жесты головы, отметил Лим.

Препринт научной работы «SpellRing: Recognizing Continuous Fingerspelling in American Sign Language using a Ring» опубликован 15 февраля 2025 года на сайте arxiv.org (DOI: arXiv:2502.10830 ^[6] [cs.CV]).