Инженеры «оживляют» язык жестов, используя ИИ для перевода в режиме реального времени

Носимая система с ИИ помогает незрячим ориентироваться в пространстве

Исследование, опубликованное в журнале Nature Machine Intelligence, представляет носимую систему, предназначенную для помощи в навигации слепым и слабовидящим людям. Система использует алгоритмы искусственного интеллекта ^[1] (ИИ) для анализа окружающей среды и отправки сигналов пользователю при приближении к препятствию или объекту.

Носимые электронные системы визуальной помощи предлагают многообещающую альтернативу медицинским процедурам и имплантируемым протезам для слепых и слабовидящих. Эти устройства преобразуют визуальную информацию из окружающей среды в другие сенсорные сигналы для помощи в повседневных задачах. Однако современные системы сложны в использовании, что препятствует их широкому распространению.

Лэйлэй Гу и его коллеги представили носимую систему визуальной помощи, которая может предоставлять направление движения с помощью голосовых команд. Авторы разработали алгоритм ИИ, обрабатывающий видео с камеры устройства для определения безопасного маршрута для пользователя.

Сигналы об окружающей среде перед пользователем могут передаваться через наушники с костной проводимостью. Также были созданы эластичные искусственные “кожи” для ношения на запястьях, которые передают вибрационные сигналы для указания направления движения и избегания боковых препятствий.

Авторы протестировали устройство с гуманоидными роботами, а также со слепыми и слабовидящими участниками в виртуальной и реальной средах. Они наблюдали значительное улучшение навигации и после-навигационных задач среди участников, таких как способность избегать препятствий при прохождении лабиринта и возможность дотянуться и схватить объект.

Результаты показывают, что интеграция визуальных, аудиальных и тактильных ощущений может улучшить удобство использования и функциональность систем визуальной помощи. Дальнейшие исследования должны быть сосредоточены на усовершенствовании системы и изучении ее потенциального применения в других областях вспомогательных технологий.