Радар для прослушки телефона с трёх метров

Современные технологии машинного обучения ^[1] (ML) позволяют извлечь полезный сигнал из массива данных, который раньше считался просто шумом. Это открывает новые возможности для разведки и шпионажа, в том числе прослушки телефонов и слежки за гражданами.

Группа исследователей Университета Пенсильвании разработала аппаратно-программный комплекс WirelessTap ^[2], который снимает звук по вибрации телефона. Это принципиально новый способ прослушки, который не использовался ранее.

Теоретически, такие системы транскрибирования речи можно установить в общественных и публичных местах, школах, больницах, снимая в реальном времени текстовую расшифровку т��лефонных переговоров в помещении. Полученные тексты могут использоваться для профилирования граждан и обучения ИИ.

Система использует миллиметровый радар, то есть радиолокационную систему миллиметрового диапазона, в сочетании с системой распознавания речи на основе ИИ. Установка способна транскрибировать разговоры по слитной речи со словарным запасом 10 тыс. слов.

Точность распознавания постепенно снижается с расстоянием: от 59,25% на расстоянии 50 см до 2% на расстоянии 300 см.

С расстоянием увеличивается и количество галлюцинаций:

Исследование основано на проекте 2022 года, в котором использовались аналогичные технологии. Тогда система показала точность 83% при распознавании по списку из десяти слов. Но распознавание слитной произвольной речи — это кардинально новый уровень качества, по сравнению со списком из десяти слов.

Миллиметровый радар в диапазоне 77–81 ГГц регистрирует вибрации, которые передаются через наушник на смартфон. Такие же радары применяются в беспилотных автомобилях, датчиках движения и беспроводных сетях 5G. Исследователи протестировали атаку в реальных условиях, с участием пользователей, которые держат смартфон у уха.

Для обработки сиг��ала они донастроили опенсорсную модель Whisper с помощью техники Low-Rank Adaptation (LoRA), когда вместо изменения всех параметров модели добавляются небольшие обучаемые матрицы низкого ранга. Это позволяет адаптировать модель к новой задаче с минимальными затратами ресурсов.

Модель Whisper изначально обучена на чистом звуке и не способна эффективно распознавать зашумлённый сигнал. Однако LoRA позволяет донастроить всего 1% параметров Whisper специально для радиолокационных данных, улучшив результаты распознавания без перестройки модели целиком.

Хотя точность 60% далека от идеала, даже частичные совпадения ключевых слов могут иметь серьёзные последствия для безопасности. Например, дистанционное чтение по губам обычно распознаёт лишь 30−40% произнесённых слов, но в сочетании с контекстом всё равно помогает понять смысл разговора.

Аналогично, и новая система может выявить конфиденциальную информацию, если её грамотно использовать, дополнив контекстом и экспертными знаниями.

Научная статья “Wireless-Tap: Automatic Transcription of Phone Calls Using Millimeter-Wave Radar Sensing” ^[2] опубликована в сборнике Proceedings of WiSec 2025: 18th ACM Conference on Security and Privacy in Wireless and Mobile Networks (PDF ^[3]). В статье описана система, которая включает в себя программу для генерации синтетических данных, обработку и инференс в OpenAI Whisper ASR.

Спуфинг голосового сигнала

Учёные надеются, что результаты их исследования повысят осведомлённость общественности, чтобы люди ��тали более внимательными во время конфиденциальных звонков.

По мере развития технологий с каждым годом растёт риск злоупотребления искусственным интеллектом ^[4] и сенсорными системами ^[5]. Возможности органов чувств ^[6] ограничены. Например, зрение ^[7] ограничено очень узким диапазоном электромагнитного излучения 380−780 нм. Такая же проблема со слухом ^[8]. Из этого можно сделать вывод, что достоверные полные данные об окружающем мире можно получить только приборами.

Звуковой сигнал также подвержен спуфингу. Можно предположить, что в будущем технологии позволят не только считывать, но и модулировать вибрации телефона с помощью наведённого сфокусированного излучения, так что звуковым сигналам по телефону (словам собеседника) нельзя будет доверять в полной мере.