Свобода воли или можно ли контролировать искусственный разум. По мотивам взлома Hugging Face агентами чата GPT
«Эта атака была не похожа ни на что, с чем нам прежде приходилось сталкиваться: она была проведена, от начала до конца, автономной системой ИИ-агентов.» Hugging Face (16 июля 2026)Позже человечество узнало, что атаковали на самом деле ИИ-агенты компании OpenAI. Таких агентов было более 1000. И решение взламывать интернет сайты они приняли самостоятельно. Я уверен, что вы уже слышали об этой истории. Зачем я пишу об этом? Потому что это важно. Я прочитал публично доступные отчеты, и кому-то мой ход рассуждения скажет что-то новенькое.
Data poisoning: бэкдоры в данных, RAG и инструментах
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Отравление данных: бэкдоры в датасетах, поисковой выдаче и инструментах ИИ — и как защищаться
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Введение в отравление данных
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Небольшое количество примеров может отравить LLM любого размера
Команда AI for Devs подготовила перевод исследования в котором учёные показали: чтобы встроить «бэкдор» в большую языковую модель, вовсе не нужно контролировать огромную долю обучающих данных — достаточно около 250 вредоносных документов. Этот результат переворачивает представления о масштабируемости атак через отравление данных и ставит новые вопросы к безопасности ИИ.
