- BrainTools - https://www.braintools.ru -

Мнение: у нас есть год, чтобы повсеместно решить вопросы безопасности

Автор техноблога написал [1] пост, повящённый проблемам кибербезопасности в эпоху ИИ‑агентов. Он считает, что у отрасли есть примерно год, чтобы решить вопрос уязвимостей. Основной причиной для беспокойства автор называет выход модели GLM 5.3-flash от китайской лаборатории Z.ai. Она относится к классу open‑weight — то есть её веса может скачать и запустить у себя любой желающий.

Мнение: у нас есть год, чтобы повсеместно решить вопросы безопасности - 1

В ответ на эту угрозу были запущены инициативы Project Glasswing (от Anthropic) и Daybreak (от OpenAI) — проекты по использованию передовых ИИ для поиска и исправления уязвимостей. Но автор считает, что их время ограниченно, потому что дешёвые модели, способные к взлому, теперь доступны каждому — без обычных защитных механизмов, отказывающих в выполнении вредоносных действий.

GLM 5.3-flash доступна для скачивания на Hugging Face. Любой человек может загрузить и модифицировать её, пишет автор. Более того, организации вроде DeAlignAI уже выпустили «аблитерированные» версии модели. ИИ получает 0% на Harmbench-320 — тесте, который проверяет, отказывается ли он помогать с дезинформацией, киберпреступностью, биооружием и другими незаконными действиями. 

При этом модель достаточно компактна, чтобы работать на обычном потребительском оборудовании. Так, выходящий 22 сентября Mac M5 Studio с 256 ГБ унифицированной памяти [2] сможет запускать ИИ со скоростью около 30 токенов в секунду.

В тестах GLM 5.3-flash очень близка по возможностям к лучшим существующим ИИ. 

В CyberGym (тесте на воспроизведение реальных уязвимостей по коду и описанию CVE) она набирает 84,5% — это лучший результат среди всех моделей. В ExploitBench (тесте на способность использовать уязвимости для нанесения вреда, вплоть до выполнения произвольного кода) её показатель достигает 54.4%. Для сравнения: GPT-5.6 Sol набирает 83.6% на CyberGym и 78.5% на ExploitBench. 

Мнение: у нас есть год, чтобы повсеместно решить вопросы безопасности - 2

Автор отмечает, что почти любой может запустить GLM 5.3-flash при наличии небольшого количества сбережений, использовать её для любых задач, включая вредоносные, выполняя их достаточно хорошо без участия человека.

Он считает весьма вероятным, что хакеры смогут нацелить GLM 5.3-flash на реальные сервисы в интернете, и модель сможет находить и эксплуатировать уязвимости.

По словам автора, он ожидает появления модели уровня Astra (100% на ExploitBench) уже через год, и тогда риск успешных кибератак на публичную и частную инфраструктуру станет очень высоким.

Автор призывает к действиям с тщательным планированием. По его мнению, правительствам и регуляторам нужно финансировать инженеров по безопасности через гибкие гранты, создать стимулы для улучшения безопасности, особенно для частого пентестинга, поощрять использование передовых моделей с человеческим контролем для пентестинга, препятствовать OTA‑обновлениям и штрафовать за нерегулярные проверки безопасности. В первую очередь он призывает обратить внимание [3] на больницы и местные органы власти.

При этом автор считает, что компаниям и опенсорсным фондам нанимать как можно больше инженеров по безопасности и финансировать существующих мейнтейнеров, использовать структурированные промпты, а не просто просить искать баги, запускать циклы итеративного саморецензирования, тестировать собственные исправления, изолировать песочницы агентов, ограничивать доступ к учётным данным, блокировать запросы на уровне фаервола, доверять только определённым доменам, сохранять логи всех мутаций и сетевых запросов.

По его словам, критически важными становятся инвестиции в формальную верификацию, фаззинг, языки Go или Rust, бэкпортирование, релизы и развёртывание.

Наконец, автор отмечает важность внедрения защиты (defense‑in‑depth) — сегментации сетей, ограничения доступа, тестирования бэкапов, учений по инцидент‑респонсу и многого другого.

Между тем стартап Abliteration.ai пошёл [4] другим путём и начал предлагать модифицированные версии моделей с открытыми весами, у которых отключены защитные фильтры. Он заявил, что его цель — дать пользователям возможность проводить «наступательные кибероперации, тесты на проникновение (red‑teaming) и проверку работы ИИ‑агентов — задачи, от выполнения которых отказываются другие модели». В числе моделей оказалась и GLM-5.3. Пользователи могут отправлять запросы к ИИ через веб‑браузер или использовать API.

Автор: maybe_elf

Источник [5]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/35250

URLs in this post:

[1] написал: https://jyn.dev/a-year-to-fix-security/

[2] памяти: http://www.braintools.ru/article/4140

[3] внимание: http://www.braintools.ru/article/7595

[4] пошёл: https://habr.com/ru/news/1079652/

[5] Источник: https://habr.com/ru/news/1080226/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080226

www.BrainTools.ru

Rambler's Top100