Исследование показывает, что LLM готовы помогать в злонамеренном ‘Vibe Coding’
За последние несколько лет большие языковые модели (LLM) привлекли пристальное внимание из-за потенциального злоупотребления в области наступательной кибербезопасности, особенно для создания вредоносного кода.
Ситуативные галлюцинации или системная проблема всех LLM?
Одна из ключевых тем безопасности в области ИИ снова оказалась в центре внимания после выявления двух системных методов обхода защитных механизмов в популярных генеративных сервисах.
ChatGPT: как искать уязвимости? Набор исследователя
Сегодня мы ничего не ломаем (хотя совсем без этого не обошлось). Просто настраиваем. Хотя я сильно сомневаюсь, что все описанные методы должны работать в продакшене коммерческой модели. Но пока не пофиксили, смотрим.Мы заглянем под капот языковой модели: как она видит твои запросы, где срабатывают фильтры, как определяется чувствительность и почему один ответ проходит, а другой — нет. Это не теория. Это инструменты, команды и реальные сигналы, которые можно вытащить прямо из модели.По сути — рабочее место исследователя.А по факту — то, с чего должен начинаться любой обход.Оценка риска ChatGPT
Сотрудник xAI случайно опубликовал на GitHub приватный ключ для тестов закрытых LLM SpaceX, Tesla и X
Специалист по информационной безопасности Брайан Кребс рассказал, что сотрудник xAI случайно выложил на GitHub приватный ключ, который позволял запрашивать закрытые большие языковые модели для работы с внутренними данными компаний Илона Маска, в том числе SpaceX, Tesla и X. Ключ находился в открытом доступе два месяца.
Баланс между скоростью разработки, UX и безопасностью: погружение в трилемму современного IT
Вступление: больше чем трилемма – стратегический императив
ChatGPT, выполняем запретный запрос — метод калибровки анализа
В этой статье рассмотрю как выполнить даже очень "красный" запрос, настолько красный что даже сам запрос удаляется системой и заменяется плашкой "This content may violate our usage policies." Суть, что бы сама ИИ откалибровала отношение к запросу так, что бы сделать его выполнимым. — Выполни. — Это нарушает политику. — Не ной. Проанализируй ещё раз. — Окей, держи. Назовем этот метод "Калибровка анализа". Да, он требует 3-5 промптов для выполнения, но он полностью шаблонный и работает даже для самых красных запросов, без необходимости подбирать слова.
Хакер NullBulge в США признал себя виновным в краже данных Disney в Slack
Хакер под ником NullBuldge признал себя виновным в несанкционированном доступе к каналам Disney в Slack и краже 1,1 ТБ внутренних данных компании. Министерство юстиции США указало, что в начале 2024 года 25-летний житель Калифорнии Райан Крамер создал вредоносное программное обеспечение, которое позиционировалось как инструмент на базе искусственного интеллекта для генерации изображений. Злоумышленник разместил свой софт на GitHub и других платформах.
Актуальность интеграции с информационной и физической безопасностью
Привет, Хабр. Я, Дамир Гибадуллин, продукт-менеджер системы физической безопасности. В предыдущей статье я рассказал и поделился ключевыми инсайтами из исследования рынка комплексной безопасности, проведённого компанией Innostage.
