Data poisoning: бэкдоры в данных, RAG и инструментах
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Отравление данных: бэкдоры в датасетах, поисковой выдаче и инструментах ИИ — и как защищаться
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Введение в отравление данных
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Небольшое количество примеров может отравить LLM любого размера
Команда AI for Devs подготовила перевод исследования в котором учёные показали: чтобы встроить «бэкдор» в большую языковую модель, вовсе не нужно контролировать огромную долю обучающих данных — достаточно около 250 вредоносных документов. Этот результат переворачивает представления о масштабируемости атак через отравление данных и ставит новые вопросы к безопасности ИИ.
