Data poisoning: бэкдоры в данных, RAG и инструментах
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Отравление данных: бэкдоры в датасетах, поисковой выдаче и инструментах ИИ — и как защищаться
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Введение в отравление данных
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Grok AI: публикация системных промптов и провал в архитектуре безопасности
В августе 2025 года компания xAI неожиданно обнародовала системные промпты своего чат-бота Grok. Этот шаг был объяснён стремлением к прозрачности после инцидентов с несанкционированным извлечением инструкций через prompt injection. Однако публикация не только вызвала интерес у специалистов по ИИ, но и обнажила уязвимости в архитектуре системы.
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье на Хабре про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии.Cсылка на статью: MLSecOps: защита машинного обучения в эпоху киберугроз Давайте сегодня погрузимся в практику и разберем один из наиболее часто задаваемых мне вопросов: «Как защищаться от отравления данных? Как проверять данные на Data Poisoning»?
MLSecOps: защита машинного обучения в эпоху киберугроз
На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз.
