Как мы запускали курс «Нейронауки и нейроинтерфейсы» в Центральном университете для IT-специальностей

Всем привет, меня зовут Дмитрий Грибанов, я член команды преподавателей курса «Нейронауки и нейроинтерфейсы» в Центральном университете ^[1]. Этот предмет является одним из вариантов большого набора STEM-курсов по выбору, где студенты учатся не только технической составляющей, но и интердисциплинарности и командной работе.

Наш курс могли выбрать второкурсники бакалавриата с трёх разных направлений: «Искусственный интеллект», «Бизнес-аналитика» и «Разработка». Главная фича тут – работа с реальным оборудованием, где студентам предлагалось устроить настоящие гонки на машинках, управляемых силой мысли.

Вместе со мной над программой курса работали невероятно сильные эксперты: Яна Венерина и Сергей Климанов.

Яна погружала студентов в нейрофизиологию мозга и помогала выстроить общее видение возможных перспектив этой области: от понимания того, как устроены нейроны ^[3] и что такое ЭЭГ ^[4], до обсуждения, какие нейротехнологии могут стать частью нашей повседневности в ближайшие годы. Сергей, как лид курса, отвечал за глубокий заход в алгоритмы обработки сигналов мозга с помощью MNE-Python: от «сырых» данных до работающих пайплайнов обработки и классификации с помощью машинного обучения ^[5].

А я хотел бы подробнее рассказать про свою часть — командную проектную работу, где студентам предстояло применить все полученные знания, чтобы построить управление машинками, с помощью нейроинтерфейсов.

Важные определения

Электроэнцефалография (ЭЭГ) – неинвазивный метод регистрации электрической активности мозга с поверхности головы с помощью электродов; результатом является временной сигнал, по которому оценивают состояние и функции мозга ^[6].

Нейроинтерфейс (интерфейс мозг-компьютер) – система, которая считывает сигналы мозга (например, ЭЭГ), автоматически их обрабатывает и переводит в команды для ��нешних устройств (компьютер, протез, курсор).

MNE-Python – специализированная библиотека для загрузки, предобработки, визуализации и анализа данных ЭЭГ и других нейрофизиологических сигналов

Задача: устроить гонки с помощью сигналов мозга

В качестве эксперимента мы поставили перед студентами конкретную цель: собрать систему, в которой мысли оператора управляют движением машинки. Из реквизита у нас было:

• два нейроинтерфейса Neiry HeadBand Pro ^[7],

• две машинки на основе ESP32.

Задача выглядела так:

1. Считать сигналы с нейроинтерфейса.

2. С помощью MNE-Python обработать эти сигналы и передать их в классификатор.

3. Превратить результат классификации в команды 

4. Передать эти команды на машинку (ехать вперёд или назад)

5. Научиться управлять машинкой силой мысли

Регламент финальных гонок мы специально держали в секрете, чтобы у команд был стимул ^[8] сделать систему максимально устойчивой и гибкой, а не «заточенной» под заранее известный сценарий.

Как был устроен проект: 4 недели насыщенной практики

Мы сразу строили программу так, чтобы теорию студенты сразу пробовали на практике. На первой неделе студенты осваивали работу с нейроинтерфейсом:

• учились измерять импеданс электродов,

• снимали ЭЭГ-сигналы,

• строили PSD (power spectral density),

• проходили процедуру калибровки.

Главная цель тут: почувствовать, что ЭЭГ – это вполне реальные сигналы, с которыми можно работать здесь и сейчас. И у студентов это хорошо получалось.

На второй неделе мы перешли к осмысленной обработке данных:

• фильтрация сигналов,

• выделение информативных признаков,

• первые простые классификаторы для разделения состояний.

Студенты пробовали разные подходы, сравнивали результаты и учились распознавать где алгоритм действительно что-то «понимает», а где просто подстраивается под шум.

Третья неделя была посвящена мосту между «миром мозга» и «миром железа»:

• работа с ESP32,

• управление машинкой (движение вперед/назад),

• интеграция нейроинтерфейса и машинки в единую экосистему.

Именно на этом этапе становилось ясно, насколько важна надежность всего пайплайна: от качества нейросигнала до стабильности соединения с ESP32.

Финальные гонки

На четвертой неделе наступал кульминационный момент — гоночные заезды. Каждой команде было необходимо:

• Доехать из точки А в точку Б (движение вперед),

• Вернуться обратно в точку А (движение назад).

Мы засекали время и для дополнительной мотивации ^[9] объявили приз для самой быстрой команды. В итоге финальный забег превратился в яркое событие. Многие отметили этот заезд как один из самых крутых моментов курса.

Три ключевых фактора успеха команды

В процессе мы довольно четко увидели, что у лучших команд были общие стратегические решения. Залог успеха обычно складывался из трех шагов:

• Грамотный выбор «телеоператора»:
  Нужно было подобрать человека, у которого сигнал читается стабильно: хороший контакт электродов, минимальные помехи, особенности волос и кожи головы и т.д.

• Тонкая настройка алгоритма под этого оператора:
  Нужно было подогнать алгоритм под конкретного человека и его паттерны активности.

• Тестовые заезды:
  Многократные прогоны до финала помогали выявить странности в поведении ^[10] системы, подправить код и алгоритмы

Комбинация этих шагов делала систему устойчивой и помогала студентам полностью выполнить поставленную перед ними задачу.

Итоги

«Нейронауки и нейроинтерфейсы» вышел необычным и интересным курсом. Студенты с разных направлений вместе знакомились с миром нейронаук, трудились над командным проектом, пытаясь управлять машинкой силой мысли. Мне кажется, такого вы точно не увидите где-то в других вузах. Хочу поблагодарить всех, кто был причастен к запуску и проведению этого курса. Отдельное спасибо команде Neiry за помощь и поддержку.

P.S. Если вам стало интересно, как же происходило управление машинкой с точки зрения ^[11] алгоритма и кодинга – дайте знать в комментариях. До встречи!