Шестиногий робот научился ходить, подражая палочнику

Насекомые несмотря на свою крошечную нервную систему ^[1] способны передвигаться с удивительной ловкостью. Этот навык можно перенести на роботов, которым предстоит решать куда более полезные задачи, чем поиски крошек на кухне.

Международная группа исследователей под руководством Университета Тохоку в Японии и Видьясиримедхийского института науки и технологий (VISTEC) в Таиланде обучила ИИ ^[2]на коротком фрагменте данных о ходьбе палочника по ровной поверхности, чтобы выявить лежащие в основе его походки структуру вознаграждения и стратегию управления. Затем полученную функцию вознаграждения перенесли на модель шестиногого робота, который научился ходить примерно за час обучения ^[3] в симуляции. В симуляции выученный алгоритм управления также позволил роботу передвигаться по неровной поверхности и адаптироваться к потере одной ноги.

Палочники, получившие своё название за сходство с веточками, давно служат классической моделью для исследований ходьбы. Команда использовала открытый набор данных, охватывавший всего три‑четыре цикла ходьбы насекомого. На основе этих данных ИИ одновременно определял две вещи. Во‑первых, к чему, по‑видимому, стремится насекомое во время ходьбы, то есть его «вознаграждение». Во‑вторых, как должны двигаться ноги для достижения этой цели.

Большинство исследований отвечают на вопрос, как заставить робота ходить. В этой работе исследователи поставили другой вопрос: для чего нужна ходьба? С новой функцией вознаграждения робот научился ходить примерно втрое быстрее, чем при использовании стандартной. Обычно задавать роботу конкретные правила движения каждой ноги приходится вручную, причём этот трудоёмкий процесс нужно повторять ^[4] для каждой новой машины. Новый подход позволяет отказаться от этого этапа, используя животное в качестве своеобразного учителя.

Модель разделяет информацию на две части: одна описывает принципы, применимые к разным типам тел, а другая учитывает особенности конкретной машины. Благодаря этому выученную функцию вознаграждения можно переносить на других роботов.

В работе использовали метод обратного обучения с подкреплением ^[6]: ИИ не получает прямых указаний, как именно нужно ходить, а пытается определить цель, лежащую в основе поведения ^[7] образца.

После обучения в симуляции полученную стратегию управления перенесли на физического шестиногого робота RedMirror, внеся простую поправку на различия сигналов датчиков в симуляции и реальном мире. Настоящий робот продемонстрировал скоординированную ходьбу, подтвердив возможность переноса метода из симуляции на физическую машину.

Следующим шагом исследователи планируют добавить память ^[8], чтобы робот мог накапливать опыт ^[9]. В перспективе такие высокомобильные машины могут использоваться, например, при спасательных работах в зонах бедствий.