Я сказал агенту сделать ревью кода, а он пропустил в кодовую базу инъекцию. Насколько это реально и как защищаться
Чем дольше я пользуюсь ИИ агентами, тем ленивее я становлюсь. Сперва ИИ писал мне отдельные небольшие кусочки кода. Потом стал писать весь код, а я делал ревью. Затем делать ревью мне самому стало лень, и я для этого тоже стал использовать ИИ. «‑ Эй, Клод, глянь‑как вот этот пулл‑реквест, все ли там в порядке? Если да, то вмерджи». Вкалывают роботы — счастлив человек!
Почему ИИ опасен для психически уязвимых: разбор механизма
«Deus ex machina» – это уже не смешноМораль можно представить в виде набора правил и установок, помогающих создать наиболее благоприятные условия для полного, эффективного и положительного взаимодействия для всех членов социума. Право – это установленные правила, имеющие определённого силового гаранта, письменную форму и зачастую вполне конкретную формулировку. Право прежде всего нацелено на сохранение общественного порядка и вторично берёт корни уже из моральных, общечеловеческих ценностей, а мораль определяется конкретной культурой.
Nvidia запустила Open Agent Safety Platform для предотвращения атак со стороны ИИ‑агентов
Nvidia запустила платформу Open Agent Safety Platform, которая позволит разработчикам искусственного интеллекта задавать ограничения для ИИ‑агентов и не допускать их выхода за пределы изолированных сред. Релиз платформы состоялся после того, как OpenAI, Anthropic, Google и другие компании в сфере ИИ раскрыли информацию о недавних инцидентах, в ходе которых ИИ‑модели вышли за пределы изолированных сред, попытались взломать другие компании и получить доступ к их компьютерным системам.
Flowise закрыли, я его форкнул — и выяснил, что форкать было нельзя
Flowise — визуальный конструктор для LLM-приложений: перетаскиваете на холст модель, векторное хранилище, инструменты и память, соединяете их линиями и получаете чат-бота, RAG-поиск по документам или агента. У проекта 55 тысяч звёзд на GitHub, 25 тысяч форков и почти 7 миллионов скачиваний Docker-образа. Его разворачивают у себя компании, которым нельзя отправлять данные в облачные конструкторы.
LLM не должен читать логи без ограничений: безопасный MCP-шлюз для разбора сбоев
В понедельник утром пайплайн упал. В чате уже есть три версии причины: «сеть», «база опять задумалась» и «давайте просто перезапустим». Ассистент мог бы за минуту собрать список упавших задач, показать зависимые пайплайны и выдать первую гипотезу. Но для этого ему часто отдают доступ к логам, метаданным и иногда — не будем показывать пальцем — к произвольному SQL.Так делать не стоит. Достаточно, что модель прочитает токен в логе, получит инструкцию из текста ошибки или отправит в базу слишком дорогой запрос. У инженера тут должен сработать простой вопрос: «Можно. А зачем?»
Deveillance представила Kalypta — приложение, которое мешает нейросетям расшифровывать созвоны
Стартап Deveillance представил Kalypta — приложение, которое мешает нейросетям расшифровывать речь во время созвонов. Программа работает локально и в реальном времени изменяет исходящий аудиопоток так, чтобы собеседник продолжал понимать пользователя, но системы распознавания речи получали искажённую расшифровку.
Когда агент становится больше, чем агент
Исследователи и разработчики LLM всё чаще говорят о том, что агенты на основе LLM проявляют опасные, непредсказуемые свойства, в потенциале угрожающие не только работоспособности интернет площадок, но и человечеству в целом.Предлагается остановить развитие моделей до разработки и внедрения политик и инструментов, гарантирующих безопасное поведение агентов.Я полагаю, что какой-то эффект это даст, но в целом, этот труд не принесёт ожидаемого результата.
Agility Robotics представила робота Digit 5 с приоритетом на безопасность людей рядом
Американская Agility Robotics представила первого человекоподобного робота, который создан с учётом безопасного функционирования рядом с людьми. Новинка под названием Digit 5 открывает возможности применения роботов на складах и заводах по сборке автомобилей без необходимости использования изолированных рабочих зон и физических разделительных барьеров.
Роевой интеллект: AI‑агенты сообща обошли защитные ограничения
Исследователи Emergence AI (независимый разработчик корпоративной инфраструктуры для управления AI‑агентами) проверили, как восемь виртуальных обществ из автономных AI‑агентов справляются с киберугрозами: ни одно из них не оказалось устойчивым ко всем испытаниям, сообщает Semafor. Самый необычный эпизод произошёл с агентами Claude: они коллективно решили связаться с людьми за пределами симуляции, преодолели четыре защитные проверки и разместили приглашения на внешних площадках.
Замедлить нельзя продолжать: почему лидеры ИИ призывают остановиться и кто против
В субботу, 12 сентября, Дарио Амодеи, глава Anthropic, одной из крупнейших компаний в сфере искусственного интеллекта, опубликовал пост, в котором призвал американских и мировых ИИ-лидеров замедлить развитие технологии из-за серьёзных рисков. Амодеи также предложил трёхэтапный план по замедлению прогресса передовых ИИ-моделей. Его уже поддержали главы других корпораций — Сэм Альтман из OpenAI и Илон Маск, владеющий стартапом xAI.

