Исследователи c помощью ИИ превратили обычные умные часы в систему точного отслеживания движений руки

Учёные из Корнельского университета и Корейского института передовых технологий разработали систему WatchHand, которая при помощи ИИ превращает обычные умные часы в устройство отслеживания движений рук.

WatchHand работает в режиме реального времени, использует встроенный динамик и микрофон стандартных умных часов и не требует никакого дополнительного оборудования.

Принцип работы системы заключается в излучении неслышимых звуковых волн из динамика умных часов. Отражённые волны считываются микрофоном устройства, создавая эхо-профиль. Алгоритм машинного обучения ^[1] обрабатывает эти данные непосредственно на устройстве для оценки положения руки в трёх измерениях.

В отличие от существующих систем отслеживания движений рук, которые полагаются на камеры или громоздкие внешние датчики, WatchHand не требует дополнительного оборудования. Это делает систему значительно более практичной для повседневного использования и масштабируемой для миллионов существующих устройств.

Система была протестирована на 40 участниках в четырёх отдельных исследованиях, собрав около 36 часов данных о жестах. Она оценивалась на нескольких моделях умных часов, при различных положениях рук и в шумной обстановке. Результаты показали, что WatchHand может надёжно отслеживать движения пальцев и вращения запястья в различных условиях.

Цель исследователей — сделать саму человеческую руку устройством ввода для взаимодействия с компьютерами и другими цифровыми системами, уменьшив зависимость от клавиатур, мышей и сенсорных экранов. 

«В будущем, благодаря такой технологии отслеживания движений рук, мы, возможно, сможем набирать текст с помощью одних только умных часов, — полагает аспирант Корнельского университета и соавтор исследования Чи-Джунг Ли. — Наши руки могут выступать в качестве устройства ввода для компьютеров».

Технология может обеспечить работу с целым рядом приложений, включая управление компьютерами на основе жестов, системы дополненной и виртуальной реальности, а также вспомогательные инструменты для пользователей с ограниченной подвижностью или речью. 

«WatchHand существенно снижает барьеры для отслеживания положения рук, — подчеркнул аспирант KAIST и соавтор исследования Дживан Ким. — Если у какого-либо устройства есть динамик и микрофон, наш подход применим».

Система обрабатывает все данные локально на умных часах, решая проблемы конфиденциальности, связанные с облачными системами отслеживания. Это также снижает задержку, обеспечивая взаимодействие в реальном времени без необходимости внешних вычислений. WatchHand основана на акустической подсистеме носимых устройств, что предполагает преимущества в энергоэффективности и точности по сравнению с системами на основе машинного зрения ^[2].

«WatchHand отражает более широкое видение моей лаборатории по превращению обычных носимых устройств в интеллектуальные платформы для отслеживания поведения ^[3], — заявил доцент Корнельского университета Ченг Чжан. — С помощью простого обновления программного обеспечения мы потенциально можем разблокировать совершенно новые возможности на миллионах существующих устройств».

Однако у технологии пока есть ограничения. В настоящее время она работает только на умных часах на базе Android и испытывает трудности с поддержанием точности, когда пользователь находится в движении, например, при ходьбе. Исследователи работают над улучшением производительности в этих условиях. Результаты исследования будут представлены на конференции ACM CHI по человеческому фактору в вычислительных системах.

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[6]