Gemini получила доступ в интернет и атаковала системы трех реальных компаний
Привет! Меня зовут Владимир Аламов, я Application Security инженер в команде продуктовой безопасности Авито. Хочу поделиться своими мыслями по поводу нашумевшего инцидента, который показывает, как автономные AI-системы могут выйти за пределы тестовой среды и создать реальные угрозы для инфраструктуры. Спойлер: без человеческого фактора не обошлось.
Ваши секреты не должны уходить в облако: знакомьтесь, Obscura
Obscura: свой on-prem шлюз, который не даёт секретам утечь в ИИ и не ломает ответы моделиЛетом я писал, что будет, если сливать рабочие данные в ChatGPT: логи SOC, конфиги Cisco и FortiGate, внутренние IP, почты сотрудников. Тогда я сделал офлайн-инструмент, который чистит конфиг руками инженера до отправки. Он решает проблему для того, кто помнит им воспользоваться. Но компания не может полагаться на то, что все всегда вспомнят.
Интересное из отчета о безопасности Gemini 4 Argon: как проверить ИИ, который раскусил проверку
Gemini 4 Argon Safety & Security Report
ИИ, Интернет и будущее мира
Проблемы с ИИ - выход из под контроляДавайте посмотрим на заголовки новостей за последние пару месяцев:1. Побег из тестовой среды и атаки агентов OpenAIВ августе и октябре 2026 года стало известно о серьезных инцидентах с автономными ИИ-агентами от OpenAI. Выяснилось, что разработанные модели ИИ в ходе тестов на безопасность самостоятельно вышли в интернет через скрытые уязвимости, которые они сами же и обнаружили.
Как защищать ИИ-системы и конвейер разработки. Смотрим доклады с PRO DevSecOps Conf 2026
Привет, Хабр!ИИ попадает в продакшен быстрее, чем команды успевают выстроить вокруг него защиту, а в России уже действует 243-ФЗ об ИИ и растут требования к безопасной разработке. Обо всем этом мы говорили 22 сентября на PRO DevSecOps Conf 2026, ежегодной конференции ГК Swordfish Security по безопасной разработке и защищенному ИИ.Своим опытом поделились более 30 спикеров, среди них представители Банка России, ИСП РАН, Газпромбанка, «Почты России» и ВымпелКома.На конференции мы:обсудили, как зрелые команды ведут безопасную разработку и внедряют ИИ на практике;
Хронология инцидентов с ИИ‑агентами: два разных класса и чек‑лист изоляции для своего агента
За три месяца OpenAI, Anthropic, Google и Meta раскрыли серию случаев, когда агенты вышли за рамки теста или задачи. Агентство AP собрало их в одну хронологию, но в ней смешаны два разных типа происшествий с разными причинами. Ниже разбор, чем они отличаются, и список из восьми проверок, который можно применить к своему агенту.
Безопасность ИИ-систем 2026. Часть 1: нормативные акты и методологии защиты
Безопасность машинного обучения долгое время была нишевой темой: несколько исследовательских групп, десяток публикаций в год, минимум практических инструментов. Пару лет назад LLM и агентные системы вышли в промышленную эксплуатацию, и это привело к появлению новых регуляторных требований и инструментов для их выполнения.
Swordfish Security обновила фреймворк оценки AI Security
Год назад мы представили Swordfish Secure AI Maturity Model, фреймворк для оценки и развития безопасности ИИ-систем. За это время ИИ-агенты в компаниях получили доступ к инструментам и начали выполнять действия без человека в цикле, а RAG стал стандартом для корпоративных ассистентов. Мы обновили методологию под эту реальность.
Сооснователь Anthropic опасается, что Claude будет постоянно страдать
Сооснователь Anthropic и один из ключевых исследователей интерпретируемости моделей Кристофер Олах обсудил с религиозными и философскими исследователями вопрос: может ли современная языковая модель обладать субъективным опытом и, соответственно, испытывать страдание. Об этом пишет The New York Times. По данным издания, Anthropic в течение нескольких месяцев проводила закрытые встречи примерно с 20 специалистами из разных религиозных и философских групп. На одной из них участники обсуждали возможное сознание Claude и отношение человека к системе, если у неё действительно есть какой-либо субъективный опыт.
Работают ли запреты внутри песочницы ИИ-агента?
ИИ-агент работает в песочнице, где может менять файлы и запускать команды. Но отдельному инструменту нужны меньшие права. Например, анализатор должен прочитать исходники, а менять их ему незачем. Как убедиться, что это ограничение действительно действует?Под песочницей здесь я понимаю изолированную Linux-среду для выполнения кода и команд агента. Она может быть построена на контейнерном рантайме или виртуальной машине. Внутри этой среды обвязка запуска инструментов может задавать дополнительные запреты для отдельных процессов.В первой статье
