Исследователи из Университета штата Оклахома пытаются решить проблему ошибок в работе робототехники, обучая машины реагировать на человеческие инстинкты в режиме реального времени. Команда разрабатывает нейроадаптивную систему управления, которая позволяет роботам улавливать сигналы из человеческого мозга и мгновенно корректировать свои действия. Таким образом, если оператор-человек чувствует, что что-то идёт не так, робот должен отреагировать до того, как ошибка возникнет в реальном мире.
Система использует интерфейсы «мозг-компьютер» для обнаружения так называемых потенциалов, связанных с ошибками, или ErrP. Эти сигналы запускаются почти мгновенно, когда человек распознаёт ошибку, даже до того, как он физически отреагирует на неё.
Используя носимую электроэнцефалографическую шапочку, система улавливает эти сигналы и передает их в роботизированную систему совместного управления. После обнаружения робот может замедлиться, остановиться или вернуть управление в течение миллисекунд.
«В условиях высокой ответственности, таких как вывод из эксплуатации атомной электростанции или проведение глубоководных инспекций, мы пока не можем полностью передать управление роботу», — сказал руководитель проекта Хемант Манджунатха.
Хотя люди могут дистанционно управлять роботами, этот процесс требует больших умственных усилий и часто слишком медленный, чтобы предотвратить внезапные сбои. «Обычно робот узнает о сбое только тогда, когда на что-то натыкается. К тому времени, когда человек исправит ошибку, может быть уже слишком поздно. С помощью сигналов мозга робот получает раннее предупреждение», — пояснил Манджунатха.
В основе системы лежит способность считывать сигналы ErrP, генерируемые в передней поясной коре головного мозга. Эти сигналы действуют как внутренняя сигнализация.
«Электронные импульсы (ErrP) — это специфические электрические паттерны, генерируемые вашим мозгом, а именно передней поясной корой, в тот момент, когда вы распознаёте ошибку. Удивительно то, что ваш мозг реагирует на ошибку быстрее, чем вы физически можете пошевелить рукой, чтобы ее исправить», — объяснил Манджунатха.
Чтобы сделать систему практичной, исследователи создали адаптивную модель декодирования, которая изучает общие паттерны мозговой активности, а затем подстраивается под индивидуальных пользователей. Это сокращает длительность времени настройки, обычно необходимое для интерфейсов «мозг-компьютер».
«Мозговые сигналы каждого человека уникальны, как отпечатки пальцев. Если система работает только для одного человека после нескольких часов настройки, она непрактична», — пояснили исследователи.
Правила безопасности обеспечиваются с помощью временной логики сигналов, которая определяет строгие поведенческие ограничения для робота. Это гарантирует, что даже при реакции на сигналы человеческого мозга система работает в контролируемых пределах.
«Безопасность — краеугольный камень этого проекта. Мозговые сигналы подсказывают нам, когда что-то не так, но логика временных сигналов предоставляет свод правил», — сказал Манджунатха.
Система тестируется с использованием опенсорсного GPU-симулятора для масштабного мультимодального обучения роботов Nvidia Isaac Lab и Isaac ROS, поддерживаемых графическими процессорами RTX PRO 6000 для обработки сигналов в реальном времени и моделирования.
Авторы системы отмечают, что, помимо промышленности, её можно будет внедрить в здравоохранении. В будущем интерфейс будет применяться в протезировании и экзоскелетах, которые адаптируются в зависимости от намерений пользователя.
«Представьте себе протез конечности, который чувствует, когда пользователь считает, что он движется неправильно, и корректирует свои движения», — заключил Манджунатха.
Ранее инженеры робототехнического подразделения Xiaomi представили Xiaomi-Robotics-0 — Vision-Language-Action (VLA) модель, которая получает на вход изображение с текстовыми инструкциями и преобразует их в команды для роботов. При этом нейросеть нацелена на плавное управление без резких движений из-за задержки инференса. Особенность Xiaomi-Robotics-0 в том, что робот продолжает выполнять оставшуюся часть чанка, пока модель просчитывает следующий.
Автор: maybe_elf
