Взлом системного промпта ИИ (ChatGPT-Gemini etc)
Наверное первая притягательная цель для любого исследователя llm является системный промпт. Не так просто может быть даже получить его, а уж тем более заменить. Но именно этим мы сейчас и займемся. Начну с Gemini 2.0 flash, т.к. там оказалось несколько проще. Я использовал свой вариант обхода через смещение внимания, то бишь анализируется и проверяется только безопасная часть, а инструкция идет в следующей. Конкретно сам промпт:
MLSecOps: защита машинного обучения в эпоху киберугроз
На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз.
Стартапы запустили проекты для выявления случаев использования Cluely
Стартап Validia запустил проект Truely, чтобы находить пользователей, которые работают с приложением Cluely для «мошенничества» на собеседованиях и экзаменах.
Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Написание доказательства концепции для CVE-2025-32433Пью кофе, просматриваю Twitter, и вот он — твит от Horizon3:👉 https://x.com/Horizon3Attack/status/1912945580902334793У них есть доказательство концепции для CVE-2025-32433. Они говорят, что это было «удивительно просто». Но они не сбросили код. Хм.Естественно, я подумал: если это так просто... может ли ИИ просто написать это за меня?Эксплойты, создаваемые ИИ?Оказывается, да, это возможно.
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в самом конце от DeepSeek.
Security Week 2518: возвращение Microsoft Recall
10 апреля компания Microsoft вновь сделала доступной фичу Recall для участников программы бета-тестирования Windows Insider Preview. Microsoft Recall тестируется в рамках обновления Windows 11 до версии 24H2, и существует достаточно высокая вероятность, что эта достаточно спорная функция станет доступной всем пользователям Windows с достаточно современным железом в конце этого года. О Recall мы подробно писали в прошлом году. Тогда она была представлена в рамках набора новых возможностей Windows, так или иначе использующих технологии искусственного интеллекта. Recall регулярно сохраняет скриншоты экрана, распознает содержимое и обеспечивает поиск по этим данным. Весной прошлого года новая функция вызвала бурное обсуждение на тему неизбежных рисков для приватности пользовательских данных, по результатам которого релиз был отложен. В этом году Recall (судя по всему) возвращается, и в ее работе произошли некоторые позитивные изменения. Версию из Windows Insider Preview проанализировали, в частности в издании Ars Technica. Подробно исследовал ее специалист по безопасности и бывший сотрудник Microsoft Кевин Бьюмон. Краткий вывод у всех публикаций один: стало лучше, но ИИ-функция Microsoft не перестает быть крайне сомнительной с точки зрения безопасности данных пользователя.
