Как Red Teaming и человеческий креатив позволяют оценить риски внедрения LLM в бизнес-процессы
В кибербезопасности существует подход под названием Red Teaming — когда одна команда имитирует атакующего, а другая защищает систему. С появлением больших языковых моделей тот же принцип стал применяться к ИИ. Только теперь атакуют не серверы и базы данных, а сами LLM-агенты — системы, которые умеют рассуждать, выполнять команды и взаимодействовать с внешними инструментами. Red Team здесь ищет способы выявить уязвимости и подсветить риски модели, а Blue Team — защитить её. Именно на стыке этих подходов возникла новая область — Red Teaming LLM-агентов, где тестирование превращается в исследование границ самого искусственного интеллекта.
На светлой стороне: как разработчики «Солара» решили проблему атакующего ИИ и получили патент
Дмитрий Лукинруководитель отдела развития облачных технологий ГК «Солар», разработчик
Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API
Представьте себе мир, в котором искусственный интеллект не просто генерирует текст или пишет код, но и выступает в роли полноценного работодателя, нанимая живых людей для выполнения задач в реальном мире. Звучит как завязка киберпанк-романа, однако это уже стало нашей реальностью благодаря появлению специализированных платформ. В недавнем исследовании подробно разбирается новая угроза информационной безопасности, возникшая на стыке цифрового и физического миров, где автономные алгоритмы получают возможность программно покупать человеческие действия.
Anthropic обвалила акции Cloudflare и CrowdStrike, представив Claude Code Security
Рынок кибербезопасности отреагировал падением акций на новость о выходе инструмента Claude Code Security. По сообщению
Anthropic представляет инструмент кибербезопасности Claude
Акции компаний, занимающихся разработкой программного обеспечения для кибербезопасности, упали в цене в пятницу после того, как Anthropic PBC представила новую функцию безопасности для своей модели искусственного интеллекта Claude.Crowdstrike Holdings оказалась в числе лидеров падения, потеряв 8%, в то время как Cloudflare Inc. рухнула на 8,1%. Между тем Zscaler подешевела на 5,5%, SailPoint — на 9,4%, а Okta Inc. — на 9,2%. ETF Global X Cybersecurity упал на 4,9% и закрылся на самом низком уровне с ноября 2023 года.
OpenAI представила режим в ChatGPT для противодействия внедрению промптов
OpenAI анонсировала две новые функции безопасности для ChatGPT: Lockdown Mode (режим блокировки) и Elevated Risk labels (метки повышенного риска). Опции призваны бороться с угрозами внедрения вредоносных промптов.
Microsoft представила инструмент безопасности для управляющих инфраструктурой ИИ IT-администраторов
Microsoft представила новый инструмент, позволяющий IT-администраторам и специалистам по кибербезопасности управлять состоянием своей инфраструктуры искусственного интеллекта.
Безопасная разработка под новые требования
17 февраля ИТ-компания УЦСБ приглашает специалистов в сфере ИТ и ИБ на прямой эфир «Безопасная разработка под новые требования».На встрече эксперты поговорят о том, как сегодня выглядит безопасная разработка в России — от требований ФСТЭК России для КИИ до стандартов безопасности искусственного интеллекта.Участники эфира обсудят следующие темы:трансформация требований Приказа №117 ФСТЭК России для разработчиков ПО в КИИ и ГИС;Shift Left на практике, SCA, SBOM, переход на отечественные анализаторы;специфика безопасности ИИ: атаки, стандарты (российские и международные), доверенные данные, ИИ в ИБ;
В ВШЭ создали департамент кибербезопасности
В Московском институте электроники и математики им. А. Н. Тихонова ВШЭ создали
