3 главных инсайта о «взломах» LLM из исследования StrongREJECT
Всем привет!Погружаюсь в новую для себя область AI Security, в связи с чем решил написать несколько обзоров на самые обсуждаемые исследования и статьи по этой теме. Сегодня поговорим про взлом LLM и неожиданные результаты исследования StrongREJECT.TLDR: Не все джейлбрейки одинаково полезныПолный текст доклада (25 стр.) с NeurIPS. Если лень читать обзор, можете пролистать комиксы от нанобананы. Большинство джейлбрейков - иллюзия!
Автоматизация обработки ТI-отчетов с помощью NER: как мы сэкономили время аналитиков
Меня зовут Виктор Пронин, я старший аналитик киберугроз в центре компетенций группы компаний «Гарда». Для Гарда Threat Intelligence Feeds мы формируем данные об угрозах на основе обезличенной телеметрии из наших инсталляций, а чтобы получить более полную картину, обращаемся в том числе к информации из открытых источников. В статье я расскажу об автоматизированной обработке публикаций по информационной безопасности. Кейс будет полезен аналитикам киберугроз и специалистам, интересующимся применением ML в ИБ.В целом публикации по информационной безопасности можно разделить на
DDoS-ям: говорим об антибот-системах и готовим тайскую классику в «Инфобезе со вкусом»
Смотрите на ТВ-канале «Большой эфир» и в социальных сетях компании «Газинформсервис» новый выпуск шоу об информационной безопасности и кулинарии — «Инфобез со вкусом». Гостем проекта стал Сергей Лоскутов, генеральный директор компании SitePatrol, победитель «Биржи ИБ- и ИТ-стартапов», разработчик решения для защиты сайтов от вредоносных «умных» ботов и DDoS-атак на L7 с применением технологий искусственного интеллекта.
OpenAI: подросток обошёл функции безопасности ChatGPT перед самоубийством
В августе Мэтью и Мария Рейн подали в суд на OpenAI и генерального директора компании Сэма Альтмана из-за самоубийства их 16-летнего сына Адама, обвинив разработчика ИИ в причинении смерти по неосторожности. OpenAI подала встречный иск, в котором утверждает, что не должна нести ответственность, так как подросток сам обошёл функции безопасности ChatGPT.
OpenAI сообщила об утечке данных некоторых пользователей API
OpenAI разослала письма пользователям API, чьи данные утекли из сервиса Mixpanel. Компания использует его для аналитики. Пароли, платёжные данные, история запросов и другая чувствительная информация не попала в руки злоумышленников, но у них теперь есть адреса электронной почты, имена и примерное местоположение.
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.Почему это важно: немного цифрИнтеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
27 ноября — вебинар «Три столпа умной DLP-системы: как сохранить репутацию, деньги и нервы»
Привет!Продолжаем цикл полезных вебинаров, послезавтра, 27 ноября, расскажем о трёх китах современной DLP (данные, политики, события) на примере нашего InfoWatch Traffic Monitor. Разберем каждый столп до технологий и инструментов — и расскажем, как InfoWatch Traffic Monitor помогает в сохранении репутации, денег и нервов.
Microsoft и GitHub представили инструмент для устранения уязвимостей с помощью ИИ
Microsoft и GitHub объединили аналитику времени выполнения с рабочими процессами разработки, чтобы использовать ИИ для приоритизации угроз и автоматизации исправлений. Нативная интеграция между Microsoft Defender for Cloud и GitHub Advanced Security позволит решить проблему «многолетней накопившейся задолженности по безопасности в корпоративных кодовых базах».
Microsoft: работа ИИ-функции Copilot в Windows сопряжена с рисками кражи данных
Инструмент Copilot Actions в Windows 11 уже доступен в сборках Insider, но требует для настройки прав администратора. При этом Microsoft признаёт, что работа функции может вызывать «новые риски безопасности».
Avast сделал общедоступной ИИ-защиту от мошенничества
Компания Avast представила Scam Guardian — новое решение на базе искусственного интеллекта, интегрированное в бесплатную версию антивируса.
