Всем привет, меня зовут Дмитрий Грибанов, я член команды преподавателей курса «Нейронауки и нейроинтерфейсы» в Центральном университете. Этот предмет является одним из вариантов большого набора STEM-курсов по выбору, где студенты учатся не только технической составляющей, но и интердисциплинарности и командной работе.
Наш курс могли выбрать второкурсники бакалавриата с трёх разных направлений: «Искусственный интеллект», «Бизнес-аналитика» и «Разработка». Главная фича тут – работа с реальным оборудованием, где студентам предлагалось устроить настоящие гонки на машинках, управляемых силой мысли.
Вместе со мной над программой курса работали невероятно сильные эксперты: Яна Венерина и Сергей Климанов.
Яна погружала студентов в нейрофизиологию мозга и помогала выстроить общее видение возможных перспектив этой области: от понимания того, как устроены нейроны и что такое ЭЭГ, до обсуждения, какие нейротехнологии могут стать частью нашей повседневности в ближайшие годы. Сергей, как лид курса, отвечал за глубокий заход в алгоритмы обработки сигналов мозга с помощью MNE-Python: от «сырых» данных до работающих пайплайнов обработки и классификации с помощью машинного обучения.
А я хотел бы подробнее рассказать про свою часть — командную проектную работу, где студентам предстояло применить все полученные знания, чтобы построить управление машинками, с помощью нейроинтерфейсов.
Важные определения
Электроэнцефалография (ЭЭГ) – неинвазивный метод регистрации электрической активности мозга с поверхности головы с помощью электродов; результатом является временной сигнал, по которому оценивают состояние и функции мозга.
Нейроинтерфейс (интерфейс мозг-компьютер) – система, которая считывает сигналы мозга (например, ЭЭГ), автоматически их обрабатывает и переводит в команды для ��нешних устройств (компьютер, протез, курсор).
MNE-Python – специализированная библиотека для загрузки, предобработки, визуализации и анализа данных ЭЭГ и других нейрофизиологических сигналов
Задача: устроить гонки с помощью сигналов мозга
В качестве эксперимента мы поставили перед студентами конкретную цель: собрать систему, в которой мысли оператора управляют движением машинки. Из реквизита у нас было:
-
два нейроинтерфейса Neiry HeadBand Pro,
-
две машинки на основе ESP32.
Задача выглядела так:
-
Считать сигналы с нейроинтерфейса.
-
С помощью MNE-Python обработать эти сигналы и передать их в классификатор.
-
Превратить результат классификации в команды
-
Передать эти команды на машинку (ехать вперёд или назад)
-
Научиться управлять машинкой силой мысли
Регламент финальных гонок мы специально держали в секрете, чтобы у команд был стимул сделать систему максимально устойчивой и гибкой, а не «заточенной» под заранее известный сценарий.
Как был устроен проект: 4 недели насыщенной практики
Мы сразу строили программу так, чтобы теорию студенты сразу пробовали на практике. На первой неделе студенты осваивали работу с нейроинтерфейсом:
-
учились измерять импеданс электродов,
-
снимали ЭЭГ-сигналы,
-
строили PSD (power spectral density),
-
проходили процедуру калибровки.
Главная цель тут: почувствовать, что ЭЭГ – это вполне реальные сигналы, с которыми можно работать здесь и сейчас. И у студентов это хорошо получалось.
На второй неделе мы перешли к осмысленной обработке данных:
-
фильтрация сигналов,
-
выделение информативных признаков,
-
первые простые классификаторы для разделения состояний.
Студенты пробовали разные подходы, сравнивали результаты и учились распознавать где алгоритм действительно что-то «понимает», а где просто подстраивается под шум.
Третья неделя была посвящена мосту между «миром мозга» и «миром железа»:
-
работа с ESP32,
-
управление машинкой (движение вперед/назад),
-
интеграция нейроинтерфейса и машинки в единую экосистему.
Именно на этом этапе становилось ясно, насколько важна надежность всего пайплайна: от качества нейросигнала до стабильности соединения с ESP32.
Финальные гонки
На четвертой неделе наступал кульминационный момент — гоночные заезды. Каждой команде было необходимо:
-
Доехать из точки А в точку Б (движение вперед),
-
Вернуться обратно в точку А (движение назад).
Мы засекали время и для дополнительной мотивации объявили приз для самой быстрой команды. В итоге финальный забег превратился в яркое событие. Многие отметили этот заезд как один из самых крутых моментов курса.
Три ключевых фактора успеха команды
В процессе мы довольно четко увидели, что у лучших команд были общие стратегические решения. Залог успеха обычно складывался из трех шагов:
-
Грамотный выбор «телеоператора»:
Нужно было подобрать человека, у которого сигнал читается стабильно: хороший контакт электродов, минимальные помехи, особенности волос и кожи головы и т.д. -
Тонкая настройка алгоритма под этого оператора:
Нужно было подогнать алгоритм под конкретного человека и его паттерны активности. -
Тестовые заезды:
Многократные прогоны до финала помогали выявить странности в поведении системы, подправить код и алгоритмы
Комбинация этих шагов делала систему устойчивой и помогала студентам полностью выполнить поставленную перед ними задачу.
Итоги
«Нейронауки и нейроинтерфейсы» вышел необычным и интересным курсом. Студенты с разных направлений вместе знакомились с миром нейронаук, трудились над командным проектом, пытаясь управлять машинкой силой мысли. Мне кажется, такого вы точно не увидите где-то в других вузах. Хочу поблагодарить всех, кто был причастен к запуску и проведению этого курса. Отдельное спасибо команде Neiry за помощь и поддержку.
P.S. Если вам стало интересно, как же происходило управление машинкой с точки зрения алгоритма и кодинга – дайте знать в комментариях. До встречи!
Автор: GribanovDS
