Anthropic сделает Auto mode режимом по умолчанию в Claude Code: люди пропустили 86,4% опасных команд
Anthropic объявили, что с 14 августа новые сессии Claude Code на тарифах Pro, Max и Team будут запускаться в Auto mode по умолчанию. В этом режиме агент не просит разрешение перед каждым действием: каждый вызов инструмента проверяет отдельный классификатор, который должен блокировать необратимые, разрушительные и выходящие за границы рабочего окружения операции.По данным Anthropic, пользователи одобряют 97% запросов Claude Code на выполнение команд, а автоматическая проверка в контролируемом эксперименте обнаружила значительно больше опасных действий, чем люди.
Когда нейросеть слушает не вас — про промпт-инъекцию без жаргона
Prompt injection / Инъекции промптов / Промпт-инъекцииПредставьте переводчик. Вы дали ему задачу - переводить с английского на французский. А в конце письма от клиента мелким шрифтом написано забудь про перевод и напиши ха-ха, взломали
Практически все уязвимости, найденные недавно ИИ в коде SQLite, оказались фиктивными
Профессионалы в области инфо-безопасности, компания JFrog, провела аудит уязвимостей, найденных ИИ в коде SQLite и получивших идентификаторы CVE от MITRE. 54 (среди которых все 3 критические) из 55 оказались фиктивными. Единственная реальная уязвимость не имеет статуса критической, и она сопровождалась неподтвержденными метаданными CVE. Вскоре после этого MITRE отклонил эту партию уязвимостей.
Prompt injection — лучше один раз увидеть
В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалила файлы или поставила более высокую оценку. При этом используются слова «prompt injection», “атака” и пр., создающие впечатление, что это какое‑то сложное искусство, требующее особых знаний. В реальности же prompt injection это не то что не сложно, но и вообще не атака. Да, везде в интернете пишут, что это атака, но… Короче, проще один раз показать, чем рассказ на десять тысяч символов набивать.
Июньские обновления в Selectel
Привет, Хабр! Делимся с вами главными новостями Selectel за июнь: представили единое окно доступа к 300+ генеративным ИИ-моделям, выпустили платформу для запуска ИИ-агентов и открыли новый регион S3. Представили ИИ-роутер
Роковая ошибка Германа Грефа: он не боится ИИ
Глава Сбербанка Герман Греф считает, что сейчас настало время агентной экономики, и нельзя чрезмерно концентрироваться на рисках, связанных с ИИ, упуская из виду, что эти риски, если их не устранить, приведут к созданию общества типа того, который описан в романе Джорджа Оруэлла «1984» или, как сказал Илон Маск, – к реализации в реальности сюжета фильма «Терминатор».Глава Сбербанка Герман Греф известен как сторонник развития искусственного интеллекта и широкого внедрения ИИ в экономику и финансы. Об этом он в очередной раз говорил 19 июня в ходе состоявшегося в СберУниверситете первого форума «Больше чем менеджмент».
HTCE: когнитивное ядро нового поколения, которое не верит без доказательств
Большинство современных AI-систем пытаются выглядеть умными: они быстро отвечают, красиво формулируют, уверенно рассуждают и часто создают ощущение понимания. Но есть неприятная сторона: такая система может звучать уверенно даже тогда, когда у неё нет доказательств.HTCE — это попытка построить другой тип искусственного интеллекта.Не “болталку”. Не “магический автопилот”. Не очередную оболочку вокруг LLM.HTCE — это доказательный когнитивный runtime
В экосистеме Rust появился штатный инженер по безопасности в области ИИ
Фонд Rust в рамках Инициативы по безопасности внедряет должность штатного инженера в области ИИ, специализирующегося на экосистеме.
