owasp top 10.

ИИ‑агенту разрешили вызывать API. Кто проверит бизнес‑правила?

Представим агента, которому поручили оформить подрядчика. Он создал карточку исполнителя, подготовил договор и отправил его на подпись. Сервисы приняли запросы, ошибок в журнале нет. Но по внутреннему регламенту договор можно отправлять только после проверки статуса подрядчика. Агент этот этап пропустил, а сервер позволил продолжить работу.

продолжить чтение

MLSecOps: защита машинного обучения в эпоху киберугроз

На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз.

продолжить чтение

Red Teaming для LLM: Полное пошаговое руководство по Red Teaming больших языковых моделей

продолжить чтение