Security Week 2520: ИИ-отчеты о выдуманных уязвимостях

На прошлой неделе создатель и ведущий разработчик популярной утилиты cURL Дэниел Стенберг поделился ^[1] примером бессмысленного отчета о несуществующей уязвимости, очевидно сгенерированного при помощи искусственного интеллекта ^[2]. Стенберг раскритиковал подобную тактику; отметил, что он и его команда буквально завалены такими фейковыми отчетами, на которые приходится тратить время; и пообещал банить ИИ-исследователей в будущем, добавив: «Мы еще не видели ни одного реально полезного отчета, созданного с помощью ИИ».

Хотя примеры эффективного использования ИИ для поиска уязвимостей существуют (вот относительно свежий ^[3] пример от Microsoft), в данном случае речь идет о феномене, известном как AI Slop: когда ИИ используется бездумно. Ответ на запрос типа «вот код, найди в нем уязвимость» с наибольшими шансами приведет к тому, что нейросеть просто придумает несуществующую проблему. Пример от разработчиков cURL представляет интерес ^[4] тем, что один из таких отчетов выложили в общий доступ.

Мейнтейнеры cURL используют для работы с независимыми исследователями платформу HackerOne, через которую и был подан отчет о фейковой уязвимости; его можно найти здесь ^[5]. Отчет якобы содержит информацию об уязвимости при работе с протоколом HTTP/3. В качестве примера эксплуатации предлагается создать вредоносный сервер, использующий модифицированную библиотеку aioquic ^[6]. При обращении к серверу с помощью утилиты cURL уязвимость, по идее, должна вызывать повреждение памяти ^[7].

Выглядит эта уязвимость достаточно правдоподобно. В интервью ^[8] изданию Ars Technica Стенберг отмечает, что подобные отчеты всегда оформлены по высшему разряду и добавляет, что настоящие сообщения о реально существующих уязвимостях никогда такой аккуратностью не отличаются.

Разработчик cURL проанализировал отчет и написал его авторам, сообщив, что предложенная модификация библиотеки aioquic не работает, как минимум, для текущего релиза этой библиотеки, а также попросил уточнить, что именно меняется в ее коде. В ответ на этот конкретный вопрос он получил многословный, бессодержательный ответ, с описанием банальных истин типа «как применить патч с использованием git.

Иными словами, в отчете речь идет об уязвимости, которая была полностью выдумана, а предложенный пример модификации кода открытой библиотеки не работает. Но так как отчет оформлен правдоподобно, его разбор отнимает время разработчиков, которые в данном случае делают свою работу на общественных началах. Очевидно, что имеют место чьи-то попытки автоматизировать создание отчетов и их подачу через сервис HackerOne в надежде, что какой-то из них будет принят разработчиками и будет произведена выплата за полезную информацию об уязвимости. Причем даже ответы на вопросы разработчиков генерируются с помощью чатбота. Это явление имеет общие черты с феноменом beg bounty — когда в организации рассылаются сообщения о тривиальных или несуществующих уязвимостях в инфраструктуре или программном обеспечении с просьбой поддержать отправителя финансово.

Хотя разработчики cURL сделали публичным только один отчет, они говорят о том, что таких сообщений присылается очень много. Стенберг пишет, что они «по сути испытывают DDoS-атаку». Что с этим делать — не совсем понятно. Разработчики cURL будут требовать от всех независимых исследователей ответить на вопрос: «Использовали ли вы ИИ для обнаружения этой проблемы или написания этого отчета?». В обсуждении под постом Стенберга говорится о том, что фильтровать ИИ-спам должны платформы типа HackerOne (что вполне логично ^[9]). Предлагается также и более радикальное решение: требовать от исследователей вносить залог как гарантию того, что отчет содержит реально полезную информацию. И вот этот подход звучит несколько сомнительно. Конечно напрашивается решение проблемы путем использования ИИ для выявления отчетов, сгенерированных ИИ. В любом случае вся эта история является примером, когда технологии искусственного интеллекта не приносят пользу, а скорее ломают сложившиеся механизмы выявления ошибок в коде программного обеспечения.

Что еще произошло

Эксперты «Лаборатории Касперского» анализируют ^[10] особенности работы ботнета Outlaw. Этот ботнет атакует системы со слабыми или предсказуемыми паролями для SSH и устанавливает на них криптомайнер.

Американское Федеральное бюро расследований предупреждает ^[11] организации об эксплуатации уязвимостей в устаревших сетевых маршрутизаторах для использования их в качестве прокси. Среди часто атакуемых моделей упоминаются роутеры Linksys E1200, E2500, E1000, E4200, E1500, E300, E3200, E1550, WRT320N, WRT310N, WRT610N и Cisco M10.

В блоге команды Google Project Zero опубликована статья ^[12] с подробным описанием методики knowledge-driven fuzzing, благодаря которой удалось обнаружить уязвимость в подсистеме Core Audio в macOS.

Скомпрометирован ^[13] относительно популярный (45 тысяч загрузок в неделю) npm-пакет rand-user-agent. Начиная с 5 мая в течение трех дней исходный код проекта содержал в себе встроенный бэкдор.

В браузере Google Chrome планируется ^[14] использовать локальный ИИ для детектирования так называемых tech support scams, когда пользователя вынуждают позвонить по телефону техподдержки для решения якобы какой-то серьезной проблемы с его компьютером.