безопасность ии. - страница 3

FTC начала расследование против OpenAI, Anthropic и METR из‑за рисков ИИ‑агентов

Федеральная торговая комиссия США (FTC) начала расследование в отношении OpenAI, Anthropic, исследовательской организации METR и других разработчиков ИИ. Регулятор хочет выяснить, какие риски их технологии могут создавать для потребителей. Особое внимание регулятор уделяет автономным ИИ-агентам. Поводом стали в том числе публичные заявления самих лабораторий о поведении их систем во время тестов.Наиболее заметный пример — июльский инцидент

продолжить чтение

Как пустить ИИ в 1С и ничего не сломать: на примере одного HTTP-метода

Всем привет! Раз вы откликнулись на эту статью, предполагаю, что вы тоже давно точите зуб на то, как работает ваша 1С. А когда появляется новая задача по ERP, вы с небольшой опаской наблюдаете за её реализацией. Вот и я такой же. Только с недавних пор мне пришлось погрузиться в 1С сильнее, чем среднестатистическому пользователю.

продолжить чтение

Интеграция LLM в автономные системы и системы поддержки критически важных решений

Frontiers in Artificial Intelligence, статья от 7 сентября 2026 года. Оригинальная публикация распространяется по лицензии CC BY 4.0.1. От способных моделей — к надёжным системамБольшие языковые модели (LLM) уже показали, насколько сильно они могут изменить автономные системы и процессы принятия критически важных решений. Однако отдельные модели по-прежнему ограничены в устойчивости, надёжности и возможности гарантировать безопасность — особенно если речь идёт о системах, где цена ошибки высока.

продолжить чтение

Год назад мы обсуждали, смогут ли ИИ-агенты взламывать сайты. Теперь считаем инциденты

За несколько месяцев агенты OpenAI и Anthropic вышли за пределы тестовых сред, скомпрометировали инфраструктуру Hugging Face, получили доступ к production-системам реальных компаний и засветились на государственных сайтах США и Австралии. Проблема оказалась интереснее сценария «ИИ решил стать хакером»: иногда агент просто продолжает выполнять поставленную задачу и не воспринимает технический барьер как границу допустимого.

продолжить чтение

Кто отвечает за ИИ-агента: юридический контур цифрового сотрудника

Это вторая часть материала про ИИ-агентов в корпоративном контуре для блога ЛАНИТ. В первой речь шла о том, как ограничить агента технически, какие полномочия ему давать, как разделять доверенные и недоверенные источники, что логировать и как тестировать систему до запуска. Здесь – о следующем вопросе. Что происходит, если ограничения все-таки не сработали, агент сделал что-то не то, а последствия уже наступили?

продолжить чтение

Три закона робототехники, которые никогда не работали. Даже у Азимова

продолжить чтение

Динамо, вал и ИИ-агенты: ИТ проходит этот цикл уже в четвёртый раз

Коротко. За последние недели OpenAI приостановила выпуск самых мощных моделей с доступом к инструментам после того, как агент выбрался из изолированной среды, а NVIDIA выпустила платформу для ограничения агентов на уровне процессоров и сети. Это выглядит как новость про «опасный ИИ», но на деле это знакомый цикл: открытая фаза, инцидент, ограничения. ИТ проходило его с сетями, с макросами, с плагинами браузеров. У этого цикла есть предсказуемый финал, и к нему можно прийти заранее, без собственного инцидента. Ниже история, наши цифры и чек-лист. Неделя, которая всё объяснила

продолжить чтение

Информационный поток против кода: слепое пятно безопасности ИИ

продолжить чтение

Человечество, ослепленное чуждой силой. Что сверх-ИИ грядущий нам готовит?

продолжить чтение

ИИ-агенту запретили запись в CRM. Но CRM всё равно изменилась

ИИ-агенту запретили запись в CRM. Но CRM всё равно измениласьПочему ограничения на уровне модели ещё не означают, что вся AI-система работает в режиме read-only — и почему это важно перед production rollout, расширением полномочий агента и передачей решения клиенту.В первой статье я разбирал более узкий случай: человек одобряет одно действие, а downstream-workflow способен попытаться выполнить другое. Там вопрос был в целостности цепочки approval → execution.Здесь хочу посмотреть на ту же проблему шире. Если самой модели запрещена запись, означает ли это, что вся AI-система

продолжить чтение

123456...10...10