Nvidia запустила Open Agent Safety Platform для предотвращения атак со стороны ИИ‑агентов
Nvidia запустила платформу Open Agent Safety Platform, которая позволит разработчикам искусственного интеллекта задавать ограничения для ИИ‑агентов и не допускать их выхода за пределы изолированных сред. Релиз платформы состоялся после того, как OpenAI, Anthropic, Google и другие компании в сфере ИИ раскрыли информацию о недавних инцидентах, в ходе которых ИИ‑модели вышли за пределы изолированных сред, попытались взломать другие компании и получить доступ к их компьютерным системам.
Flowise закрыли, я его форкнул — и выяснил, что форкать было нельзя
Flowise — визуальный конструктор для LLM-приложений: перетаскиваете на холст модель, векторное хранилище, инструменты и память, соединяете их линиями и получаете чат-бота, RAG-поиск по документам или агента. У проекта 55 тысяч звёзд на GitHub, 25 тысяч форков и почти 7 миллионов скачиваний Docker-образа. Его разворачивают у себя компании, которым нельзя отправлять данные в облачные конструкторы.
LLM не должен читать логи без ограничений: безопасный MCP-шлюз для разбора сбоев
В понедельник утром пайплайн упал. В чате уже есть три версии причины: «сеть», «база опять задумалась» и «давайте просто перезапустим». Ассистент мог бы за минуту собрать список упавших задач, показать зависимые пайплайны и выдать первую гипотезу. Но для этого ему часто отдают доступ к логам, метаданным и иногда — не будем показывать пальцем — к произвольному SQL.Так делать не стоит. Достаточно, что модель прочитает токен в логе, получит инструкцию из текста ошибки или отправит в базу слишком дорогой запрос. У инженера тут должен сработать простой вопрос: «Можно. А зачем?»
Deveillance представила Kalypta — приложение, которое мешает нейросетям расшифровывать созвоны
Стартап Deveillance представил Kalypta — приложение, которое мешает нейросетям расшифровывать речь во время созвонов. Программа работает локально и в реальном времени изменяет исходящий аудиопоток так, чтобы собеседник продолжал понимать пользователя, но системы распознавания речи получали искажённую расшифровку.
Когда агент становится больше, чем агент
Исследователи и разработчики LLM всё чаще говорят о том, что агенты на основе LLM проявляют опасные, непредсказуемые свойства, в потенциале угрожающие не только работоспособности интернет площадок, но и человечеству в целом.Предлагается остановить развитие моделей до разработки и внедрения политик и инструментов, гарантирующих безопасное поведение агентов.Я полагаю, что какой-то эффект это даст, но в целом, этот труд не принесёт ожидаемого результата.
Agility Robotics представила робота Digit 5 с приоритетом на безопасность людей рядом
Американская Agility Robotics представила первого человекоподобного робота, который создан с учётом безопасного функционирования рядом с людьми. Новинка под названием Digit 5 открывает возможности применения роботов на складах и заводах по сборке автомобилей без необходимости использования изолированных рабочих зон и физических разделительных барьеров.
Роевой интеллект: AI‑агенты сообща обошли защитные ограничения
Исследователи Emergence AI (независимый разработчик корпоративной инфраструктуры для управления AI‑агентами) проверили, как восемь виртуальных обществ из автономных AI‑агентов справляются с киберугрозами: ни одно из них не оказалось устойчивым ко всем испытаниям, сообщает Semafor. Самый необычный эпизод произошёл с агентами Claude: они коллективно решили связаться с людьми за пределами симуляции, преодолели четыре защитные проверки и разместили приглашения на внешних площадках.
Замедлить нельзя продолжать: почему лидеры ИИ призывают остановиться и кто против
В субботу, 12 сентября, Дарио Амодеи, глава Anthropic, одной из крупнейших компаний в сфере искусственного интеллекта, опубликовал пост, в котором призвал американских и мировых ИИ-лидеров замедлить развитие технологии из-за серьёзных рисков. Амодеи также предложил трёхэтапный план по замедлению прогресса передовых ИИ-моделей. Его уже поддержали главы других корпораций — Сэм Альтман из OpenAI и Илон Маск, владеющий стартапом xAI.
Индустрия информационной безопасности вступает в третью эпоху
Мы много писали о роли ИИ в аналитике и разработке ПО. Теперь решили выпустить несколько материалов о том, как ИИ меняет кибербезопасность — вместе с нашей Red Team / pentest-командой. Начинаем с перевода The Cybersecurity Industry Is Entering Its Third Era. При этом руководитель нашей Red Team на вопрос о главном изменении последних лет отвечает ещё короче: скорость. Но об этом в следующем материале.Я помню, как на обсуждении архитектуры безопасности можно было целый час спорить об одном: куда поставить межсетевой экран.
Как использовать облачные AI модели внутри контура компании и не получить по шее от ИБ?
Или пример того, что будет, если роль пакетного менеджера доверить AI.Короткий ответ — используйте шаблоны.Шаблон
