Как мы запускали нейродирижабли в Центральном университете в Летней STEM-школе

Представьте следующую картину: вы в 9-10 классе сидите посреди аудитории с нейроинтерфейсом на голове, а перед вами в воздухе висит небольшой дирижабль. Вы закрываете глаза — винты начинают вращаться, и дирижабль летит вперед, открываете — и он останавливается. И это никакая не магия, это именно то, чему учились школьники в Летней STEM-школе Центрального университета в течение 5 дней.

Всем привет! Меня зовут Дмитрий Грибанов и я преподаю на курсе «Нейронауки и нейроинтерфейсы» в Центральном университете ^[1]. Ранее я уже рассказывал на Хабре ^[2], как мы запускали cам курс и учили студентов управлять машинками с помощью биосигналов мозга ^[3].

Этим летом мы решили попробовать что-то новое: вместо машинок — летающие дирижабли, а вместо студентов университета — школьники, окончившие 9-10-й классы. В начале недели перед командами лежали оболочка дирижабля, моторы, провода, микроконтроллер ESP32 и нейроинтерфейс. К пятнице все это должно было превратиться в одну работающую систему.

Расскажу, что из этого получилось.

А что вообще такое STEM-школа?

Летняя STEM-школа — это короткая интенсивная образовательная программа для детей и подростков, которая объединяет естественные науки, технологии, инженерию и математику ^[4] (STEM). В реальном инженерном проекте все эти области редко существуют обособленно — гораздо чаще они смешиваются и дополняют друг друга, а вот в академическом мире часто преподаются отдельно.

В этом и заключается одна из главных идей STEM-подхода и подхода Центрального университета. Вместо того чтобы отдельно изучать физику, программирование или математику, школьники получают конкретную задачу и сами понимают, какие знания им нужны, чтобы ее решить. Абстрактная формула перестает быть просто формулой из учебника, если от нее зависит, полетит твой аппарат или нет.

И наш проект под названием «нейродирижабль» идеально подходил для проекта в STEM-школе. Ведь, чтобы запустить наш дирижабль, нужно понимать, почему гелий создает подъемную же силу, как расположить двигатели, как подключить микроконтроллер, написать код, передать команду по Bluetooth, снять сигнал мозга, обработать его и придумать правило, по которому этот сигнал превратится в движение. У проекта к тому же есть предельно понятный критерий успеха: он в конце недели полетел от сигнала мозга, либо не полетел.

Летняя STEM-школа Центрального университета проходила как пятидневный интенсив. В первый день мы провели увлекательную лекцию по нейроинтерфейсам, а затем поставили перед командами финальную цель: собрать дирижабль и создать интерфейс мозг-компьютер, при котором состояние человека будет управлять его движением. 

Участникам предстояло самим пройти практически весь инженерный путь: собрать аппаратную часть, заставить ее летать, разобраться в коде, познакомиться с сигналами мозга, настроить алгоритм под конкретного человека и только после этого соединить все компоненты в одну систему. Начали мы, впрочем, совсем не с мозга, а с гелия и электроники.

Строим то, чем собираемся управлять

Первые два дня были максимально «железными». Команды получали оболочку дирижабля в виде надувной акулы с первой фотографии, которую нужно было наполнить гелием.

После этого начиналась балансировка конструкции. Она оказалась гораздо важнее, чем может показаться на первый взгляд. Недостаточно просто приклеить электронику снизу: если центр масс смещен, нос дирижабля начинает смотреть вверх или вниз, и вместо красивого горизонтального полета получается довольно грустная воздушная акула.

Центром управления дирижаблем стала плата ESP32C3, которая принимала команды по Bluetooth. После загрузки программы на микроконтроллер наступал первый приятный момент всей конструкции: дирижабль можно было подключить к смартфону и вручную отправлять ему команды — вперед, назад, влево, вправо и стоп.

На этом этапе у нас уже был полноценный радиоуправляемый дирижабль. Но пока никакой нейромагии. Для нее требовался еще один компонент.

Подключаем мозг

На третий и четвертый день участники впервые надевали нейроинтерфейсы и знакомились с таким понятием как электроэнцефалография ^[5] (ЭЭГ) – метод регистрации электрической активности мозга с помощью электродов, расположенных на поверхности головы. Когда человек впервые слышит про ЭЭГ, он всегда думает, что сейчас мы просто считаем «мысль о движении вперед» и отправим ее дирижаблю.

На практике все, конечно, сложнее. Сигнал очень маленький, в нем есть шум и артефакты, качество сильно зависит от контакта электродов с кожей. В ЭЭГ есть несколько разных частотных диапазонов, для нашего проекта мы взяли альфа-ритм – есть довольно наглядный физиологический эффект: у многих людей при закрытии глаз мощность альфа-активности заметно увеличивается. Это можно увидеть практически в реальном времени. 

После школьники объединяли работы нейроинтерфейса и сконструированного дирижабля воедино. А управляли они движением всей конструкцией, меняя свое собственное состояние, закрывая и открывая глаза, пока алгоритм отслеживал альфа-активность и сравнивал её с индивидуально подобранным порогом.

Что получилось в конце

В последний день мы устроили нейрогонки с участием команд ребят, где они показывали свои навыки управления надутыми гелием акулами — те самые нейродирижабли. Они также презентовали технические описания своих решений, подчеркивая, с какими трудностями столкнулись и как они их решали. По общему зачету лучшие команды получили гранты на обучение ^[6] в Центральном университете.

По итогу за пять дней школьники прошли путь от коробки с деталями до работающего прототипа нейроинтерфейса. Они сами собирали дирижабли, разбирались с ESP32 и Python, настраивали Bluetooth, работали с реальными данными ЭЭГ, искали альфа-ритм, калибровали систему под конкретного человека, а затем объединяли всё это в один пайплайн. По отзывам ребят это был незабываемый опыт ^[7].

P.S. Внутри проекта осталось много интересной технической части, которую я здесь специально упростил. Если интересно, то дайте знать в комментариях. До встречи!