OWASP LLM Top 10.

Контур вокруг LLM: как AI Gateway снижает риск утечек и prompt injection

Зачем вокруг модели нужен контурСама по себе модель не отличает инструкцию от данных. Системный промпт, вопрос пользователя, абзац из базы знаний, текст страницы, которую только что притащил веб‑поиск: для неё это один поток токенов.Разметка и разделители помогают ей понять, где заканчивается задание и начинается чужой текст, и долю удачных атак это заметно сбивает. Но это подсказка, а не граница: достаточно убедительная строчка внутри данных всё равно срабатывает как команда. Из этого свойства и выросли две верхние позиции OWASP Top 10 for LLM Applications 2026:LLM01 Prompt InjectionLLM02 Sensitive Information Disclosure.

продолжить чтение

Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать

Материал подготовлен для будущих студентов курс "NLP / Natural Language Processing".У RAG-систем есть фундаментальный парадокс доверия: пользовательские запросы считаются недоверенным вводом, а извлеченный из базы знаний контекст по умолчанию считается доверенным, хотя и то и другое попадает в один и тот же промпт. Согласно исследованию, опубликованному на USENIX Security 2025 (или см. github репо

продолжить чтение