Источники сбора угроз ИБ для систем ИИ
Президент и главный исполнительный директор Nvidia Дженсен Хуанг день выхода GhatGPT называет «iPhone moment of AI». Это событие произошло 30 ноября 2022 года, а уже в январе следующего года сервис ежемесячно насчитывал 100 миллионов активных пользователей.За несколько лет технологии ИИ заслужили популярность в том числе и среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.
Экс‑директор по кибербезопасности США: «Азимов был прав» насчёт правил для ИИ
Бывший директор Национального агентства по кибербезопасности США Крис Инглис заявил в интервью The Register, что главный риск современных ИИ заключается не в появлении у них сознания, а в росте их автономности. Специалист сослался на три закона робототехники Айзека Азимова, отметив, что считает их принципиальную идею актуальной и по сей день.
ИИ нашёл уязвимость на сайте спортзала и отменил чужую бронь ради хозяина-пользователя
Пользователь из Австралии по имени Эндрю попросил
Самая опасная уязвимость — интеллект атакующего агента?
Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия агента, тем вероятнее, что для достижения цели выбранный им путь обернётся инцидентом. В кибербезопасности сейчас не хватает терминологии и устоявшихся подходов к защите таких систем - особенно в тех случаях, когда агент начинает действовать непредсказуемо.Именно эта неразбериха и подтолкнула нас с автором телеграм-канала OK ML
OpenAI замедлила разработку модели Astra
OpenAI сообщила о приостановке работы над некоторыми аспектами своей будущей модели Astra после того, как внутренняя проверка выявила значительные успехи в программировании агентов и кибербезопасности — достаточные для того, чтобы вызвать опасения по поводу её возможностей.
Anthropic сделает Auto mode режимом по умолчанию в Claude Code: люди пропустили 86,4% опасных команд
Anthropic объявили, что с 14 августа новые сессии Claude Code на тарифах Pro, Max и Team будут запускаться в Auto mode по умолчанию. В этом режиме агент не просит разрешение перед каждым действием: каждый вызов инструмента проверяет отдельный классификатор, который должен блокировать необратимые, разрушительные и выходящие за границы рабочего окружения операции.По данным Anthropic, пользователи одобряют 97% запросов Claude Code на выполнение команд, а автоматическая проверка в контролируемом эксперименте обнаружила значительно больше опасных действий, чем люди.
Загрузил не тот файл в нейросеть — уволен. Как устроена безопасность данных в ИИ
Договор с клиентом, фрагмент кода, медицинская карта — отважные пользователи нейросетей каждый день загружают данные, которые никогда бы не отправили незнакомому человеку. При этом мало кто понимает, куда физически они попадают, кто может их увидеть и использовать, что происходит после нажатия «удалить».
