Взлом системного промпта ИИ (ChatGPT-Gemini etc)
Наверное первая притягательная цель для любого исследователя llm является системный промпт. Не так просто может быть даже получить его, а уж тем более заменить. Но именно этим мы сейчас и займемся. Начну с Gemini 2.0 flash, т.к. там оказалось несколько проще. Я использовал свой вариант обхода через смещение внимания, то бишь анализируется и проверяется только безопасная часть, а инструкция идет в следующей. Конкретно сам промпт:
В Музее космонавтики прошёл финал конкурса «Научный подход»
Научно-исследовательские и научно-популярные работы защитили 18 студентов РосНОУ.11 апреля в Мемориальном музее космонавтики состоялся финал конкурса на лучшую научную работу студентов РосНОУ «Научный подход».
Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Написание доказательства концепции для CVE-2025-32433Пью кофе, просматриваю Twitter, и вот он — твит от Horizon3:👉 https://x.com/Horizon3Attack/status/1912945580902334793У них есть доказательство концепции для CVE-2025-32433. Они говорят, что это было «удивительно просто». Но они не сбросили код. Хм.Естественно, я подумал: если это так просто... может ли ИИ просто написать это за меня?Эксплойты, создаваемые ИИ?Оказывается, да, это возможно.
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в самом конце от DeepSeek.
Навайбкодил с Cursor AI рабочее приложение. Но в чём подвох?
Я устал писать бойлерплейт и базовые стили. В итоге заставил ИИ делать это за меня. Результаты, размышления и откровения — внутри.О тексте в двух предложениях
87% валидных тест-кейсов: как ChatGPT справляется с их генерацией
АннотацияСоздание тест-кейсов на основе требований — важная, но трудоёмкая часть системного тестирования. В статье рассматривается, насколько эффективно с этой задачей на данный момент справляется большая языковая модель ChatGPT-4 Turbo. Для эксперимента использовались пять проектов с реальными SRS-документами, включающими функциональные и нефункциональные требования. С помощью цепочки промптов модель генерировала тест-кейсы для каждого юзкейса, а оценку качества проводили сами разработчики.
ИИ в тестировании ПО: возможности, ограничения, эксперименты и практический опыт
Вот уже пару лет чат-боты, основанные на больших языковых моделях, «гремят» на весь интернет. Поражают своими возможностями и делают то, о чем около 15 лет назад можно было услышать только в фантастических сюжетах. При этом важно что, сейчас Large Language Model (LLM) дошли до широкого круга потребителей и все могут их увидеть и протестировать. В связи с этим возникают дискуссии, размышления, статьи-прогнозы на тему того, как искусственный интеллект (ИИ) изменит рынок труда, кого заменят, сократят, а кто останется и т.д. Профессия QA и процессы тестирования тоже не остались без подобных рассуждений.
Более 500 спикеров, реверс-инжиниринг в Кибергороде и концерт Uma2rman: как пройдет Positive Hack Days в этом году
Международный киберфестиваль Positive Hack Days
Куда расти QA-инженеру на каждом грейде: подробный гид
Ты – тестировщик. А знаешь ли ты свой уровень? А главное — знаешь, куда двигаться дальше? Меня зовут Максим Белопросов, я QA Team Lead в компании 1221Systems
Появилась электронная База знаний по функциональности более 300 ИТ-продуктов
Эксперты аналитического портала
