Работают ли запреты внутри песочницы ИИ-агента?
ИИ-агент работает в песочнице, где может менять файлы и запускать команды. Но отдельному инструменту нужны меньшие права. Например, анализатор должен прочитать исходники, а менять их ему незачем. Как убедиться, что это ограничение действительно действует?Под песочницей здесь я понимаю изолированную Linux-среду для выполнения кода и команд агента. Она может быть построена на контейнерном рантайме или виртуальной машине. Внутри этой среды обвязка запуска инструментов может задавать дополнительные запреты для отдельных процессов.В первой статье
FTC начала расследование против OpenAI, Anthropic и METR из‑за рисков ИИ‑агентов
Федеральная торговая комиссия США (FTC) начала расследование в отношении OpenAI, Anthropic, исследовательской организации METR и других разработчиков ИИ. Регулятор хочет выяснить, какие риски их технологии могут создавать для потребителей. Особое внимание регулятор уделяет автономным ИИ-агентам. Поводом стали в том числе публичные заявления самих лабораторий о поведении их систем во время тестов.Наиболее заметный пример — июльский инцидент
Как пустить ИИ в 1С и ничего не сломать: на примере одного HTTP-метода
Всем привет! Раз вы откликнулись на эту статью, предполагаю, что вы тоже давно точите зуб на то, как работает ваша 1С. А когда появляется новая задача по ERP, вы с небольшой опаской наблюдаете за её реализацией. Вот и я такой же. Только с недавних пор мне пришлось погрузиться в 1С сильнее, чем среднестатистическому пользователю.
Интеграция LLM в автономные системы и системы поддержки критически важных решений
Frontiers in Artificial Intelligence, статья от 7 сентября 2026 года. Оригинальная публикация распространяется по лицензии CC BY 4.0.1. От способных моделей — к надёжным системамБольшие языковые модели (LLM) уже показали, насколько сильно они могут изменить автономные системы и процессы принятия критически важных решений. Однако отдельные модели по-прежнему ограничены в устойчивости, надёжности и возможности гарантировать безопасность — особенно если речь идёт о системах, где цена ошибки высока.
Год назад мы обсуждали, смогут ли ИИ-агенты взламывать сайты. Теперь считаем инциденты
За несколько месяцев агенты OpenAI и Anthropic вышли за пределы тестовых сред, скомпрометировали инфраструктуру Hugging Face, получили доступ к production-системам реальных компаний и засветились на государственных сайтах США и Австралии. Проблема оказалась интереснее сценария «ИИ решил стать хакером»: иногда агент просто продолжает выполнять поставленную задачу и не воспринимает технический барьер как границу допустимого.
Кто отвечает за ИИ-агента: юридический контур цифрового сотрудника
Это вторая часть материала про ИИ-агентов в корпоративном контуре для блога ЛАНИТ. В первой речь шла о том, как ограничить агента технически, какие полномочия ему давать, как разделять доверенные и недоверенные источники, что логировать и как тестировать систему до запуска. Здесь – о следующем вопросе. Что происходит, если ограничения все-таки не сработали, агент сделал что-то не то, а последствия уже наступили?
Динамо, вал и ИИ-агенты: ИТ проходит этот цикл уже в четвёртый раз
Коротко. За последние недели OpenAI приостановила выпуск самых мощных моделей с доступом к инструментам после того, как агент выбрался из изолированной среды, а NVIDIA выпустила платформу для ограничения агентов на уровне процессоров и сети. Это выглядит как новость про «опасный ИИ», но на деле это знакомый цикл: открытая фаза, инцидент, ограничения. ИТ проходило его с сетями, с макросами, с плагинами браузеров. У этого цикла есть предсказуемый финал, и к нему можно прийти заранее, без собственного инцидента. Ниже история, наши цифры и чек-лист. Неделя, которая всё объяснила
