Перевод жестового языка: электронные кольца и ИИ как инженерный концепт

В мире существует более 300 жестовых языков — и при этом глухие и слабослышащие люди по-прежнему сталкиваются с барьером в общении с теми, кто жестового языка не знает. Переводчики-люди незаменимы, но их всегда не хватает: не каждый врач, учитель или продавец в магазине владеет ASL или РЖЯ. Технологии давно пытаются восполнить этот пробел — и до последнего времени безуспешно. Теперь исследователи из Университета Ёнсе в Сеуле сделали шаг, который может изменить ситуацию:семь небольших электронных колец, надетых на пальцы, в связке с нейросетью распознают жесты и переводят их в текст — без проводов, без перчаток и без длительной калибровки под каждого пользователя.

Почему предыдущие решения не работали

Прежде чем оценить новинку, стоит разобраться, почему существующие подходы так и не вышли за пределы лабораторий.

Первый путь — камеры и компьютерное зрение

Казалось бы, логично ^[1]: снимай руки на видео и распознавай жесты алгоритмом. Но на практике такие системы требуют хорошего освещения, фиксированного угла съемки и контролируемого фона. Стоит человеку выйти на улицу или зайти в темное помещение — и точность резко падает. Носить с собой камеру на штативе, очевидно, никто не будет.

Второй путь — носимые датчики

И прежде всего «умные перчатки». Этот подход куда популярнее в исследовательской среде: перчатки оснащают датчиками сгиба пальцев, акселерометрами, гироскопами — и они действительно фиксируют движения рук вне зависимости от освещения. Проблема в другом.

Во-первых, перчатка — это перчатка: она задерживает тепло и влагу, носить ее несколько часов подряд некомфортно. Во-вторых, датчики расположены фиксированно, а руки у людей разные: длина пальцев, размер ладони, положение суставов — все это влияет на то, как перчатка сидит и насколько точно датчики попадают в нужные места. В-третьих, многие системы до сих пор требуют проводного подключения к компьютеру — и это при том, что жестовый язык предполагает свободные, широкие движения обеими руками. Даже беспроводные версии нередко имеют провода, ведущие от пальцев к единому передатчику на запястье.

Вот здесь и кроется главная сложность: перчатки решают одни проблемы, но создают другие — и потому годами остаются в лабораториях, а не на руках у реальных пользователей.

Семь колец вместо одной перчатки

Команда ученых под руководством Ки Чжун Ю и Досик Хвана из Университета Ёнсе предложила принципиально другую конструкцию. Вместо перчатки — набор отдельных электронных колец ^[2], каждое из которых самостоятельно собирает данные и передает их по беспроводной сети на обрабатывающее устройство.

Почему именно семь колец? Исследователи изучили, какой вклад вносит каждый из десяти пальцев в формирование жестов, и выяснили, что ключевую роль играют лишь семь. Это позволило сократить количество устройств без потери информации.

Каждое кольцо оснащено акселерометрами — инерциальными датчиками, которые фиксируют статические позиции рук и динамические движения. Это сочетание важно: жестовые языки используют как устойчивые позы (например, конкретную форму ладони), так и переходы между ними. Биосигналы — электрическая активность мышц — намеренно не используются: они сильно варьируются от человека к человеку и требуют длительной индивидуальной калибровки.

Беспроводная связь реализована на базе Bluetooth Low Energy ^[3]. Ю объясняет, почему это стало возможным:

«Однокристальные системы Bluetooth Low Energy достигли такого уровня, что целый стек беспроводной связи, схема управления питанием и измерительный модуль можно разместить на гибкой подложке, достаточно маленькой, чтобы носить ее как кольцо».

Была и чисто инженерная проблема: кольца постоянно гнутся вместе с пальцами. Изначально соединения внутри делали из прямых медных дорожек, но те быстро трескались при многократном сгибании. Решение нашлось в виде «змеевидных» дорожек с извилистым узором — такая конструкция выдерживает повторяющиеся деформации, не теряя проводимости.

88% точности — много это или мало?

Собрать данные с колец — половина задачи. Вторая — научить компьютер понимать, что именно человек показывает.

Исследователи разработали систему глубокого обучения ^[4], которая анализирует паттерны движений с семи колец и сопоставляет их со знаками жестового языка. Принципиальный момент: нейросеть обучалась на данных двух людей, но тестировалась на пяти других, не участвовавших в обучении ^[5]. Система справилась — а значит, она научилась распознавать универсальные паттерны, а не просто «запомнила» движения конкретных людей.

Результаты на фоне предшественников выглядят убедительно. Система распознала 100 слов американского жестового языка (ASL) с точностью 88,3%, а 100 слов международного жестового языка — с точностью 88,5%. Большинство предыдущих систем работали со словарем менее чем из 50 слов. Здесь речь идет о 200 словах сразу из двух языков.

Однако стоит перевести эту цифру в человеческие термины. В разговоре из 20 слов система в среднем ошибется на 2–3. В бытовом обмене репликами — «где ближайшая аптека» или «мне нужен столик на двоих» — такая погрешность терпима. Но на приеме у врача или на судебном заседании два неверно понятых слова из двадцати могут критически изменить смысл. Еще один нюанс: 88% — результат в контролируемых условиях. Точность ^[6] систем распознавания жестов при реальном использовании нередко падает ниже 68% из-за изменений освещения, индивидуальных особенностей жестикуляции и других помех.

Кроме отдельных слов, система умеет переводить целые предложения из непрерывной жестикуляции. Это принципиально отличает ее от систем, требующих четких пауз между знаками, — и открывает путь к переводу в режиме реального разговора.

Чего кольца пока не умеют 

Исследователи сами предостерегают: называть систему полноценным переводчиком жестового языка преждевременно.

Досик Хван ^[7], профессор кафедры электротехники и электроники Университета Ёнсе, прямо говорит, что 200 слов — значительный прогресс по сравнению с предыдущими беспроводными системами, но все равно малая доля полного лексикона жестового языка, который может содержать тысячи знаков. Однако словарный запас — не единственное ограничение.

Система отслеживает только движения рук. Жестовые языки устроены иначе: в них грамматическую функцию выполняют мимика, движения губ, поза тела и пространственный синтаксис — расположение знаков в пространстве перед говорящим. Система колец все это игнорирует.

Чтобы понять, насколько это серьезно, достаточно одного примера. В американском жестовом языкеодни и те же движения рук означают разное ^[8] в зависимости от положения бровей: поднятые брови превращают высказывание в вопрос, требующий ответа «да» или «нет», тогда как нахмуренные брови сигнализируют об открытом вопросе — «кто?», «где?», «почему?». Руки при этом делают один и тот же жест. Кольца «видят» руки — но не видят лицо. То есть система не может даже отличить утверждение от вопроса.

Это концептуальное ограничение архитектуры, а не технический изъян, который исправят в следующей версии прошивки. И, честно говоря, именно здесь у меня больше всего вопросов к разработке.

Систематический обзор систем распознавания жестового языка в медицинских учреждениях, опубликованный ^[9] в Journal of Medical Internet Research в 2026 году, констатирует: большинство существующих систем разрабатываются с технической точки зрения ^[10] — без достаточного участия глухих сообществ и лингвистов, и без понимания того, что жестовые языки — самостоятельные языковые системы с собственной грамматикой, синтаксисом и культурным контекстом. Когда несколько лет назад перчатки SignAloud ^[11] получили премию Lemelson-MIT, реакция ^[12]глухого сообщества оказалась холодной — технология не улавливала нюансов языка, которые только и делают его языком.

Независимые эксперты разделяют эту осторожность. Лори Уайнот, директор программы ASL и сурдоперевода Северо-Восточного университета и профессиональный переводчик, высказалась так ^[13]: «Вопросов много, возможностей тоже — это всегда захватывает. Но и скептицизма немало». По ее словам, исторически люди, которым такие технологии нужны больше всего, неизменно оказываются в самом конце — в роли «конечных пользователей», а не тех, кто задает вопросы с самого начала.

Что разрабатывается параллельно

Похожими задачами занимаются исследователи по всему миру. Работы распадаются на два направления.

Кольцевые решения

Новое и пока немногочисленное направление. Наиболее интересный аналог — SpellRing ^[14] из Корнеллского университета (США). Одно кольцо на большом пальце использует микросонарную технологию: встроенный динамик излучает звуковые волны, микрофон ловит их отражение от остальных пальцев, алгоритм по этим данным восстанавливает положение руки. SpellRing распознает побуквенный алфавит ASL с точностью 82–92%. Разработка была представлена на конференции ACM CHI в 2025 году — оба проекта возникли практически одновременно и независимо, что говорит об устойчивом интересе к кольцам как форм-фактору.

«Умные перчатки»

По-прежнему самый массовый подход. Корейские исследователи создали текстильную перчатку с трикотажными датчиками деформации — точность 98,67% для 12 жестов корейского жестового языка. Другая команда разработала перчатку с гибкими датчиками ^[15]: три датчика распознают 26 букв алфавита с точностью 99,4%, слой при этом экранирует электромагнитные помехи и обладает антибактериальными свойствами. Существуют и более простые решения — проект LUNA с гибкими датчиками и акселерометром, разработки для марокканского жестового языка с датчиками MPU6050.

Что получается при сравнении? Перчатки нередко показывают более высокую точность в контролируемых условиях — 98–99% против 88% у колец. Но это достигается ценой комфорта, универсальности и свободы движений. Кольца уступают в точности, зато лучше подходят для реального использования за пределами лаборатории — при большом словаре и непрерывной речи.

Куда движется разработка

У ученых из Ёнсе есть конкретные планы. Ближайший приоритет — расширить обучающую выборку: больше людей, больше слов, больше стилей жестикуляции и региональных диалектов. Следующий логичный шаг с учетом корейских корней команды — поддержка корейского жестового языка.

Параллельно идет работа по переносу обработки данных с внешнего компьютера на смартфон. Это то, что инженеры называют edge computing — вычисления на устройстве, без отправки данных на сервер. Ю объясняет: «Такой переход важен для мобильности, конфиденциальности пользователя и снижения задержки при естественном разговоре». Конечная цель — кольца отправляют сигнал на смартфон, тот в реальном времени переводит жесты в текст на экране.

Отдельная задача — увеличить время автономной работы. Сейчас кольца работают около 12 часов подряд.

Наконец, исследователи планируют сотрудничать с сообществами глухих. Хван формулирует прямо:

«Мы полагаем, что технология значительно улучшится как в плане функциональности, так и в плане социальной интеграции, если в процесс включить тех, кто будет ею реально пользоваться».

Слишком многие вспомогательные технологии разрабатывались без участия самих пользователей — и оказывались неудобными или вовсе ненужными.

За пределами жестового языка

Оказывается, разработчики видят для своих колец применение далеко за пределами перевода: реабилитационный мониторинг движений кисти после травм, оценка тонкой моторики при неврологических заболеваниях — например, при болезни Паркинсона, — управление интерфейсами виртуальной и дополненной реальности.

«Доказав свою эффективность в сложной области жестовых языков, мы, по сути, провели стресс-тестирование системы для широкого круга будущих биомедицинских и интерактивных приложений», — говорит Хван. Жестовый язык в этом смысле — идеальный полигон: он требует различать тонкие различия в положении пальцев, скорость движений, направление и переходы — все то, что нужно и в медицине, и в VR.

Кто должен решать, когда технология готова?

Семь колец на пальцах — решение, которое выглядит обманчиво лаконичным. Никаких перчаток, никаких проводов, никаких камер. Кольца, акселерометры, Bluetooth и нейросеть. Но есть вопрос важнее технического прогресса: кто вообще решает, когда такая технология «достаточно готова» для реального использования?

В марте 2026 года исследователи Северо-Восточного университета опубликовали опрос среди глухих и слабослышащих людей по всему миру — и результаты оказались неудобными для разработчиков.Значительная часть респондентов отнеслась к технологиям перевода жестового языка скептически ^[13]: люди опасались, что автоматический перевод станет поводом для работодателей и государственных служб отказаться от живых сурдопереводчиков — более дорогих, но несравнимо более точных. К тому же людей волновал вопрос конфиденциальности информации.

Без участия глухих людей с самого начала — не как «конечных пользователей» для тестирования, а как полноправных участников постановки задачи — технологии рискуют решать не те проблемы.

Команда из Ёнсе это, похоже, понимает: они прямо говорят привлекать на тесты и вовлекать в разработку все больше и больше людей с проблемой слуха ^[16]. Это хороший знак — и, на мой взгляд, единственный способ сделать разработку по-настоящему полезной. Пока сотрудничество остаётся пунктом в планах, а не отправной точкой, сложно предсказать, приживется ли технология. С практической точки зрения для прямого общения глухой человек может просто набрать текст на смартфоне — быстрее и без всяких колец. Но инженерная история знает много примеров, когда узкоспециализированные решения находили неожиданное применение в других сферах. Здесь та же логика: семь колец и нейросеть, обученная на жестах, могут оказаться полезны не столько для перевода разговоров, сколько для управления интерфейсами, реабилитации движений кисти или бесконтактного управления техникой. Вопрос не в том, чью проблему решает технология, а в том, найдет ли она свою нишу за пределами лаборатории.