RedCodeAgent: автоматическая платформа для red-teaming и оценки безопасности code agents
Команда AI for Devs подготовила перевод статьи о RedCodeAgent — первой полностью автоматизированной системе red-teaming для проверки безопасности кодовых агентов. Исследователи из Чикаго, Оксфорда, Беркли и Microsoft Research показали: даже самые продвинутые LLM-агенты могут генерировать и выполнять уязвимый код. RedCodeAgent не просто тестирует ответы — он атакует, анализирует поведение и находит уязвимости, которые пропускают все остальные методы.
Как Россия регулирует безопасность ИИ
Появление новых технологий часто открывает новые пространства для злоумышленников - возникают новые вектора атак, а технологии защиты зачастую не поспевают за ними.В таких условиях коммерческие институты инициируют разработку фреймворков, стандартов и продуктов новых классов. Еще эффективнее идет развитие, когда коммерческий блок объединяет усилия с регуляторами, сейчас такое содействие организовывается, например, в рамках консорциума "Исследований безопасности технологий ИИ".
Как бояться интернета правильно
От автора: очень долго не знал, с чего начать свою книгу о кибербезопасности для детей и родителей. Прям несколько месяцев мучился. Уже было написано несколько глав, а вводные слова все не приходили. И вот случайно у кого-то в ленте увидел заметку о поездке в Берн — и вот оно, сложилось!
Зачем нам спецсимволы в паролях?
В английском алфавите 26 букв. С учётом заглавных букв (+26) и цифр (+10) получается 62 символа. Это значит, что для взлома пароля длиной символов, состоящего только из букв и цифр, злоумышленник должен перебрать
Парадокс безопасности локальных LLM
Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные а��алоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.Если вы запускаете локальную LLM ради приватности и безопасности, эта статья must have. Наше исследование модели gpt-oss-20b (в рамках Red-Teaming Challenge от OpenAI
Небольшое количество примеров может отравить LLM любого размера
Команда AI for Devs подготовила перевод исследования в котором учёные показали: чтобы встроить «бэкдор» в большую языковую модель, вовсе не нужно контролировать огромную долю обучающих данных — достаточно около 250 вредоносных документов. Этот результат переворачивает представления о масштабируемости атак через отравление данных и ставит новые вопросы к безопасности ИИ.
Безопасность — это не отсутствие структуры, а наличие правильной структуры: топология как новый язык науки
"Геометрия — это искусство правильно рассуждать на incorrectly drawn figures" — Анри Пуанкаре "Криптография — это искусство обеспечения безопасности через правильную топологию" — современная формулировкаВведениеМы привыкли думать о безопасности как о чем-то случайном: "чем больше случайности, тем безопаснее". Но что если это заблуждение? Что если настоящая безопасность — не в отсутствии структуры, а в наличии правильной структуры?
