Исследователи применили ИИ для создания изображений на основе активности мозга людей

Исследователи из Высшей школы передовых биологических наук Университета Осаки обнаружили ^[1], что они могут реконструировать высокоточные изображения активности мозга ^[2], используя модель генерации изображений Stable Diffusion. Им не потребовалось дополнительно обучать или настраивать модель для создания этих изображений.

Сначала исследователи предсказали скрытое представление по сигналам функциональной магнитно-резонансной терапии. Затем модель была обработана, и в нее добавили шум посредством процесса диффузии. Наконец, исследователи декодировали текстовые представления из сигналов МРТ в верхней зрительной коре и использовали их в качестве входных данных для создания окончательного изображения. 

В нескольких более ранних исследованиях реконструкции изображений с высоким разрешением удалось получить, но только после обучения ^[3] и тонкой настройки генеративных моделей. Это привело к ограничениям, поскольку обучающие модели сложны, а в нейробиологии не так много образцов для работы. 

Последние модели изображений, такие как Stable Diffusion, используют ^[4] процесс скрытой диффузии. Вместо прямого создания скрытого представления они генерируют текстовую подсказку для постепенного изменения исходных изображений. Если начать работу с зашумленным изображением, то нейросеть будет постепенно убирать из него шум.

Новое исследование было посвящено внутренним процессам моделей диффузии, и в нём впервые была дана количественная интерпретация модели с биологической точки зрения ^[5]. Например, получилась диаграмма, показывающая корреляцию между раздражителями ^[6] и уровнями шума в мозгу. Она показывает, что, чем выше уровень стимулов, тем выше уровень шума и выше разрешение изображения. 

На другой диаграмме исследователи демонстрируют использование различных нейронных сетей в мозге и то, как они будут очищать изображение от шума для его реконструкции. 

«Эти результаты показывают, что в начале процесса обратной диффузии информация об изображении сжимается в слое узкого места, а по мере устранения шума в зрительной коре возникает функциональная диссоциация между слоями U-Net: первый слой представляет мелкие детали в ранних зрительных областях, в то время как слой узкого места соответствует информации более высокого порядка в семантических областях», — написали исследователи.

В 2014 году художница из Шанхая Джоди Сюн использовала биосенсоры ЭЭГ ^[7], чтобы задействовать людей с ограниченными возможностями в создании картин.

А художница Лия Чавес представила ^[8] инсталляцию, которая отображала электрические импульсы в мозге в виде звуков и световых эффектов. Зрители надевали ЭЭГ-гарнитуры, которые передавали сигналы в аудио/видеосистему, где мозговые волны отображались в цвете и звуке.

С развитием генеративного ИИ все больше исследователей проверяют, как эти модели могут работать с человеческим мозгом. В работе от 2022 года учёные из Университета Радбауд в Нидерландах обучили ^[9] генеративную сеть ИИ, Latent Diffusion, на данных МРТ и преобразовали ^[10] результаты визуализации мозга в реальные изображения.

В последнем исследовании, опубликованном ^[11] в декабре, учёные показали, что современные модели теперь могут обеспечивать визуальную реконструкцию с высоким разрешением.