Исследование: написанный ИИ код представляет серьёзную опасность из-за несуществующих библиотек

Сгенерированный искусственным интеллектом ^[1] компьютерный код изобилует ссылками на несуществующие сторонние библиотеки, что создаёт прекрасную возможность для кибератак. К такому выводу пришли ^[2]исследователи из Техасского университета в Сан-Антонио.

Они изучили ^[3]код от 16 ИИ-моделей, которые широко используются для генерации кода, включая GPT-4, Claude, DeepSeek и другие. Результаты показали, что в среднем половина созданного ими кода содержит ссылки на фиктивные пакеты. В одном из экспериментов исследователи проанализировали свыше 576 тысяч фрагментов кода и обнаружили 440 тысяч вымышленных зависимостей.

Причина заключается в том, что модели, обученные на огромных массивах текста, изобретают названия библиотек, основываясь на паттернах, а не на реальных данных из репозиториев. И эту ошибку ^[4] легко использовать для проведения атак типа типа dependency confusion или slopsquatting. 

Как поясняют исследователи, для этого достаточно зарегистрировать содержащий вредоносный код пакет с названием, которое выдумал искусственный интеллект. И если разработчик установит такой пакет, вредоносный код проникнет в его систему. Для проверки исследователи создали тестовые пакеты, которые были скачаны десятки тысяч раз.

Отмечается, что уязвимость демонстрируют Python и JavaScript, где использование централизованных репозиториев и сторонних зависимостей является стандартной практикой. Разработчики часто доверяют рекомендациям инструментов на базе ИИ, не проверяя существование предлагаемых библиотек вручную.

Исследователи рекомендуют внедрять инструменты для мониторинга и анализа безопасности цепочки поставок и меньше доверять сгенерированному коду.