Управление звуком: мозг выбирает — аппарат усиливает

Поддерживать разговор в многолюдном общественном месте бывает сложно, особенно при потере слуха ^[1]. Но что, если бы вы могли усиливать только того человека, которого хотите слышать, и подавлять всех остальных? Что, если бы компьютер мог делать это автоматически, считывая информацию из вашего мозга ^[2]?

Декодирование слухового внимания

Когда мы сосредотачиваемся на конкретном говорящем, мы подсознательно отслеживаем постепенные изменения громкости речи, которая у каждого человека своя. Этот характерный паттерн проявляется в мозговой активности слушателя. В последние годы исследователям удалось обнаружить этот речевой паттерн в записях мозговой активности, а затем идентифицировать голос, на котором сосредоточен слушатель. И в основе — метод, называемый декодированием слухового внимания ^[3] (ДСВ).

Эта фундаментальное знание теперь проникает в область практической медицины. Проверяя реальные ощущения слушателей, исследователи делают шаг к тому, чтобы внедрить управление на основе внимания в слуховые аппараты. В исследовании, опубликованном 11 мая в журнале Nature Neuroscience, учёные предъявляли слушателям два конкурирующих голоса, а затем в реальном времени регулировали громкость, ориентируясь на активность мозга. Изменённый звук улучшил восприятие ^[4] речи, снизил усилия при прослушивании и просто оказался предпочтительнее для слушателей.

Исследование служит важным подтверждением концепции. 

«Оно подтверждает основную идею о том, что управляемое мозгом улучшение слуха может повысить качество восприятия, а также проясняет, какие проблемы ещё предстоит решить, прежде чем это станет практически применимым для пациентов», — говорит Инён Чой, инженер и психоакустик из Университета Айовы, который не принимал участия в исследовании.

Усиление голосов, которые вы хотите услышать

По данным Всемирной организации здравоохранения, более 400 миллионов человек во всём мире страдают от инвалидизирующей потери слуха. В США примерно 15% взрослых живут с той или иной формой потери слуха, часто связанной со старением. Нарушения слуха могут иметь серьёзные социальные последствия и последствия для психического здоровья. 7 мая Агентство перспективных исследовательских проектов в области здравоохранения (ARPA-H) объявило о новой программе финансирования исследований в области слуховых аппаратов, заявив о целях, включающих нейронное управление или обратную связь.

«Слуховые аппараты сегодня технологически более совершенны, чем когда-либо, — говорит Бхарат Чандрасекаран, нейробиолог, изучающий слух и мозг в Северо-Западном университете в Чикаго. — Но они по-прежнему испытывают трудности в шумной обстановке с несколькими говорящими — в тех сложных ситуациях, когда людям помощь нужна больше всего. В таких случаях требуется небольшая помощь. Именно здесь помогает декодирование слухового внимания».

В ходе исследования регистрировалась мозговая активность четырёх испытуемых с нормальным слухом, которым были имплантированы электроды, способные собирать высококачественные данные электроэнцефалографии (ЭЭГ ^[5]); эти электроды изначально предназначались для мониторинга эпилепсии. Сидя перед компьютером, испытуемых просили внимательно слушать одного из говорящих, в то время как записи воспроизводились одновременно из двух разных динамиков. Система ДСВ отслеживала их внимание, а затем начинала регулировать громкость через несколько секунд.

Несмотря на разброс результатов, все четыре испытуемых чаще отмечали, что при включённом ДСВ лучше понимают речь. Слуховые усилия, о снижении которых свидетельствовал размер зрачков, уменьшились у двух испытуемых, у которых проводилось это измерение. И все испытуемые предпочитали, чтобы ДСВ был включён не менее 75% времени.

Затем группа из 40 участников с нарушениями слуха прослушала те же голоса с регулировкой громкости и без неё, причём регулировка основывалась на данных ЭЭГ одного из основных участников. Это также улучшило их понимание речи и сформировало предпочтения.

Исследователи также изучали, как испытуемые переключают своё внимание между двумя говорящими — как по команде, так и по собственному выбору. Система быстро переключалась на предпочитаемого говорящего примерно за 5 секунд. Поскольку слушатели чувствительны к задержкам, обработка мозговых и аудиоданных в реальном времени должна была происходить менее чем за полсекунды.

На пути к усовершенствованию слуховых аппаратов

«Это очень важный шаг. Но если задуматься: „Как это может стать устройством?“, — тут возникает множество проблем», — говорит соавтор исследования Нима Месгарани, инженер из Колумбийского университета.

Например, современные технологии регистрации мозговой активности с поверхности кожи головы могут не обеспечивать достаточно качественных данных для приложений, работающих в реальном времени. Возможно, у некоторых людей с нарушениями слуха слух может улучшиться настолько, что оправдаются инвазивные процедуры для получения более качественной записи мозговой активности, но это ограничит более широкое применение. Кроме того, оборудование с более высокими вычислительными возможностями может не поместиться в обычные слуховые аппараты.

Эксперты заявили, что хотели бы увидеть дальнейшие исследования с бо́льшим количеством участников, включая людей с нарушениями слуха, а также больше работ по изучению неинвазивной ЭЭГ. Более сложные сценарии прослушивания могли бы стать более точной проверкой реальных условий — когда говорящих может быть больше двух, они перемещаются или говорят с перерывами, и всё это на фоне шума.

Месгарани также интересуется тем, как записи мозговой активности могут быть использованы в сочетании с искусственным интеллектом ^[6] для улучшения слуха и коммуникации в более широком смысле.

В начале своей карьеры Месгарани работал с хорьками, используя их в качестве модели для изучения слуха. «Преимущество работы с людьми в том, что они могут описать свои ощущения», — говорит он. В отзывах, опубликованных вместе со статьёй, участники исследования описывали свои впечатления ^[7] от звуков, которые модулировались в ответ на активность их собственного мозга.

«Это похоже на научную фантастику», — сказал один из участников.

—

История с мозговым управлением звуком в очередной раз подсвечивает неудобную правду: пока критичная информация — деловая переписка, финансовые документы, базы клиентов — физически лежит на ноутбуках и смартфонах, даже самая современная система усиления голоса не спасёт от утечки данных. Забытое в такси устройство, кража из коворкинга, потерянная в командировке техника — и конфиденциальные аудиозаписи совещаний или медицинские данные оказываются доступными посторонним.

Один из проверенных способов снизить такие риски — выносить рабочие сервисы, базы данных и файловые хранилища из локальной инфраструктуры в защищённое облако. На самом устройстве остаётся минимум информации, а основной массив данных размещается в ЦОД с физическим контролем доступа, резервированием питания и каналов, круглосуточным мониторингом — то есть там, где сценарий «украли ноутбук с чувствительной информацией» перестаёт быть катастрофой.

Современные задачи ставят перед бизнесом требования наличия мощной и отказоустойчивой инфраструктуры. Компания Cloud4Y предоставляет пользователям Habr скидку 20% на аренду облачных серверов для бизнеса. Серверы Cloud4Y обеспечивают SLA 99.982%, размещаются в ЦОД уровня TIER III и работают в режиме 24/7. Вы можете выбрать готовую конфигурацию или собрать индивидуальное решение под ваши задачи.

Не упустите шанс реализовать потребности ^[8] бизнеса на максимум — ускорьте свои проекты и сэкономьте до 20% уже сегодня по промокоду HABR20.

Предложение действительно для новых клиентов компании Cloud4Y ^[9]