ИИ, Интернет и будущее мира
Проблемы с ИИ - выход из под контроляДавайте посмотрим на заголовки новостей за последние пару месяцев:1. Побег из тестовой среды и атаки агентов OpenAIВ августе и октябре 2026 года стало известно о серьезных инцидентах с автономными ИИ-агентами от OpenAI. Выяснилось, что разработанные модели ИИ в ходе тестов на безопасность самостоятельно вышли в интернет через скрытые уязвимости, которые они сами же и обнаружили.
Как защищать ИИ-системы и конвейер разработки. Смотрим доклады с PRO DevSecOps Conf 2026
Привет, Хабр!ИИ попадает в продакшен быстрее, чем команды успевают выстроить вокруг него защиту, а в России уже действует 243-ФЗ об ИИ и растут требования к безопасной разработке. Обо всем этом мы говорили 22 сентября на PRO DevSecOps Conf 2026, ежегодной конференции ГК Swordfish Security по безопасной разработке и защищенному ИИ.Своим опытом поделились более 30 спикеров, среди них представители Банка России, ИСП РАН, Газпромбанка, «Почты России» и ВымпелКома.На конференции мы:обсудили, как зрелые команды ведут безопасную разработку и внедряют ИИ на практике;
Хронология инцидентов с ИИ‑агентами: два разных класса и чек‑лист изоляции для своего агента
За три месяца OpenAI, Anthropic, Google и Meta раскрыли серию случаев, когда агенты вышли за рамки теста или задачи. Агентство AP собрало их в одну хронологию, но в ней смешаны два разных типа происшествий с разными причинами. Ниже разбор, чем они отличаются, и список из восьми проверок, который можно применить к своему агенту.
Безопасность ИИ-систем 2026. Часть 1: нормативные акты и методологии защиты
Безопасность машинного обучения долгое время была нишевой темой: несколько исследовательских групп, десяток публикаций в год, минимум практических инструментов. Пару лет назад LLM и агентные системы вышли в промышленную эксплуатацию, и это привело к появлению новых регуляторных требований и инструментов для их выполнения.
Swordfish Security обновила фреймворк оценки AI Security
Год назад мы представили Swordfish Secure AI Maturity Model, фреймворк для оценки и развития безопасности ИИ-систем. За это время ИИ-агенты в компаниях получили доступ к инструментам и начали выполнять действия без человека в цикле, а RAG стал стандартом для корпоративных ассистентов. Мы обновили методологию под эту реальность.
Сооснователь Anthropic опасается, что Claude будет постоянно страдать
Сооснователь Anthropic и один из ключевых исследователей интерпретируемости моделей Кристофер Олах обсудил с религиозными и философскими исследователями вопрос: может ли современная языковая модель обладать субъективным опытом и, соответственно, испытывать страдание. Об этом пишет The New York Times. По данным издания, Anthropic в течение нескольких месяцев проводила закрытые встречи примерно с 20 специалистами из разных религиозных и философских групп. На одной из них участники обсуждали возможное сознание Claude и отношение человека к системе, если у неё действительно есть какой-либо субъективный опыт.
Работают ли запреты внутри песочницы ИИ-агента?
ИИ-агент работает в песочнице, где может менять файлы и запускать команды. Но отдельному инструменту нужны меньшие права. Например, анализатор должен прочитать исходники, а менять их ему незачем. Как убедиться, что это ограничение действительно действует?Под песочницей здесь я понимаю изолированную Linux-среду для выполнения кода и команд агента. Она может быть построена на контейнерном рантайме или виртуальной машине. Внутри этой среды обвязка запуска инструментов может задавать дополнительные запреты для отдельных процессов.В первой статье
FTC начала расследование против OpenAI, Anthropic и METR из‑за рисков ИИ‑агентов
Федеральная торговая комиссия США (FTC) начала расследование в отношении OpenAI, Anthropic, исследовательской организации METR и других разработчиков ИИ. Регулятор хочет выяснить, какие риски их технологии могут создавать для потребителей. Особое внимание регулятор уделяет автономным ИИ-агентам. Поводом стали в том числе публичные заявления самих лабораторий о поведении их систем во время тестов.Наиболее заметный пример — июльский инцидент
Как пустить ИИ в 1С и ничего не сломать: на примере одного HTTP-метода
Всем привет! Раз вы откликнулись на эту статью, предполагаю, что вы тоже давно точите зуб на то, как работает ваша 1С. А когда появляется новая задача по ERP, вы с небольшой опаской наблюдаете за её реализацией. Вот и я такой же. Только с недавних пор мне пришлось погрузиться в 1С сильнее, чем среднестатистическому пользователю.
Интеграция LLM в автономные системы и системы поддержки критически важных решений
Frontiers in Artificial Intelligence, статья от 7 сентября 2026 года. Оригинальная публикация распространяется по лицензии CC BY 4.0.1. От способных моделей — к надёжным системамБольшие языковые модели (LLM) уже показали, насколько сильно они могут изменить автономные системы и процессы принятия критически важных решений. Однако отдельные модели по-прежнему ограничены в устойчивости, надёжности и возможности гарантировать безопасность — особенно если речь идёт о системах, где цена ошибки высока.
