Расшифровка мозговой активности: как Meta* и учёные из Испании восстанавливают предложения по сигналам мозга

Исследовательская группа Meta по изучению AI продемонстрировала прорыв в расшифровке мозговой активности, успешно восстановив напечатанные предложения по записям мозговой активности.

В сотрудничестве с учёными из Баскского центра когнитивных исследований мозга ^[1] и языка в Испании Лаборатория фундаментальных исследований искусственного интеллекта ^[2] Meta (FAIR) опубликовала два исследования, которые расширяют наше понимание того, как человеческий мозг обрабатывает речь. Исследование основано на предыдущей работе французского нейробиолога Жан-Реми Кинга ^[3], которая была посвящена расшифровке визуального восприятия ^[4] и речи на основе сигналов мозга.

В своём первом исследовании ^[5] учёные использовали MEG (магнитоэнцефалографию) и ЭЭГ ^[6] (электроэнцефалографию) для регистрации активности мозга 35 участников, когда они печатали предложения. Затем система искусственного интеллекта научилась восстанавливать то, что они печатали, основываясь исключительно на этих сигналах мозга.

Система достигла 80-процентной точности на уровне символов, часто восстанавливая целые предложения только по активности мозга. Несмотря на впечатляющие результаты, у этой технологии всё же есть ограничения: МЭГ требует, чтобы участники оставались неподвижными в экранированной комнате, а для подтверждения клинической пользы необходимы дополнительные исследования с участием пациентов с травмами головного мозга.

Во втором исследовании ^[5] изучалось, как наш мозг преобразует мысли в сложные последовательности движений. Поскольку движения рта и языка обычно мешают измерению мозговых сигналов, исследователи проанализировали записи ЭЭГ, когда участники печатали текст. Используя 1000 записей в секунду, они отслеживали точный момент, когда мысли становятся словами, слогами и буквами.

Результаты показывают, что мозг начинает с абстрактных представлений о значении, а затем постепенно преобразует их в конкретные движения пальцев. Специализированный «динамический нейронный код» позволяет мозгу одновременно и согласованно представлять несколько слов и действий.

Нейронаучные исследования показывают, что мозг обрабатывает язык во временной последовательности, выстраивая иерархическую структуру от целых предложений до отдельных букв перед действием ввода текста.

Миллионы людей ежегодно сталкиваются с трудностями в общении из-за повреждений головного мозга. Потенциальные решения, такие как нейропротезы в сочетании с декодерами на основе AI ^[7], сталкиваются с проблемами, поскольку существующие неинвазивные методы ограничены зашумлёнными сигналами. Meta отмечает, что расшифровка нейронного кода языка является основной задачей для AI и нейробиологии, хотя понимание структуры языка в мозге может способствовать развитию AI.

Это исследование уже находит практическое применение в здравоохранении. Французская компания BrightHeart использует модель Meta с открытым исходным кодом DINOv2 ^[8] для выявления врождённых пороков сердца на ультразвуковых изображениях. Аналогичным образом, американская компания Virgo использует эту технологию для оценки эндоскопических видео.

*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации

Источник ^[9]

Автор: mefdayy

Источник ^[10]

Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/12275

URLs in this post:

[1] мозга: http://www.braintools.ru/parts-of-the-brain

[2] интеллекта: http://www.braintools.ru/article/7605

[3] предыдущей работе французского нейробиолога Жан-Реми Кинга: https://the-decoder.com/the-future-of-ai-language-models-may-lie-in-predicting-beyond-the-next-word-study-suggests/

[4] восприятия: http://www.braintools.ru/article/7534

[5] первом исследовании: https://ai.meta.com/research/publications/from-thought-to-action-how-a-hierarchy-of-neural-dynamics-supports-language-production/

[6] ЭЭГ: http://www.braintools.ru/methods-for-studying-brain/electroencephalography-eeg

[7] нейропротезы в сочетании с декодерами на основе AI: https://the-decoder.com/als-patient-tweets-via-brain-interface-for-the-first-time/

[8] модель Meta с открытым исходным кодом DINOv2: https://the-decoder.com/dinov2-metas-foundational-model-for-computer-vision-is-now-open-source/

[9] Источник: https://the-decoder.com/meta-ai-reconstructs-typed-sentences-from-brain-activity-with-80-accuracy/

[10] Источник: https://habr.com/ru/companies/bothub/news/883130/?utm_source=habrahabr&utm_medium=rss&utm_campaign=883130

Нажмите здесь для печати.