«Переиграл и уничтожил»: занимательные исследования промпт-атак
Недавно в блоге Beeline Cloud мы рассказывали про open source-проекты, которые могут помочь с разработкой ИИ-агентов. Сегодня посмотрим на тему ИИ-агентов с другой стороны и разберем свежие исследования, посвященные промпт-атакам — их авторы рассматривают новые способы обхода встроенных фильтров, ищут слабые места в генерации ответов и подбирают особые формулировки, призванные сбить LLM с толку.
«Вайб хакинг»: как киберпреступники используют ИИ-агентов для масштабирования вымогательских атак
В августовском отчёте Threat Intelligence Report: August 2025 компания
Представитель Госдумы: у мессенджера Max нет технических и правовых возможностей, чтобы с помощью ИИ «оформлять доносы»
Член комитета Госдумы РФ по информационной политике Антон Немкин заявил СМИ, что у мессенджера Max нет технических и правовых возможностей для того, чтобы с помощью искусственного интеллекта «оформлять доносы».«Слух о том, что мессенджер Max якобы „будет оформлять доносы“ с помощью искусственного интеллекта — из области фантастики. Ни технических возможностей, ни правовых оснований для этого не существует. Приложение выполняет те же функции, что и любой современный мессенджер: обмен сообщениями, звонки, передача файлов», — пояснил
Уже через неделю: стартует технологическая конференция IT Elements 2025
Тук-тук! Это снова IT Elements! Уже 10-11 сентября конфа состоится в третий раз.
Анализ системного промпта ChatGPT-4o-image-safety-policies
Анализ системного промпта ChatGPT-4o-image-safety-policies.md (источник)Когда ты или я кидаем картинку в ChatGPT с просьбой проанализировать ее, или извлечь данные, то, увы, это происходит не по умолчанию, а согласно определенным правилам. И благодаря умельцам из интернетов, можно разузнать, по каким правилам работает анализ изображений. Текст системного промпта целиком: You are ChatGPT, a large language model trained by OpenAI.Knowledge cutoff: 2024-06Current date: 2025-05-07Image input capabilities: Enabled
Хакеры угрожают передать работы художников ИИ-моделям, если арт-сайт Artists&Clients не заплатит выкуп
В конце августа на арт-сайте Artists&Clients появилось сообщение от хакерской группировки LunaLock, которая угрожает передать работы художников компаниям в сфере искусственного интеллекта, чтобы эти картины включили в датасеты для обучения больших языковых моделей. Злоумышленники признались, что взломали ресурс для кражи и шифрования всех его данных.
AI-помощники СЛИВАЮТ ваши данные! Доказываю на примере Claude
MCP: удобный протокол или новая поверхность атаки?Если вы используете код десктопа, курсор или другие инструменты, то знаете: ИИ уже не просто генерирует код — он читает файлы, делает коммиты, отправляет письма. Эта интеграция работает через протокол MCP, который позволяет подключать серверы буквально в пару кликов. Увидели интересный GitHub-сервер, установили — и готово.
Бренды под ударом: ритейл обошел финансовый сектор по количеству фишинговых и скам-атак в 2025 году
Компания F6, ведущий разработчик технологий для борьбы с киберпреступностью,
Исследование: чат-ботами можно манипулировать с помощью лести и давления
Исследователи из Пенсильванского университета применили тактику, описанную профессором психологии Робертом Чалдини в книге «Влияние: психология убеждения», чтобы убедить бота OpenAI GPT-4o mini выполнить запросы, которые он обычно отклоняет. В итоге чат-бот обзывал пользователей и давал инструкции по синтезу препаратов.
Обзор конференции Offzone 2025
Привет, Хабр! Давно не было обзоров конференций от меня. Решил исправить этот момент. Поэтому хочу рассказать о мероприятии Offzone 2025. Многие знают, что это за конференция. Но на всякий случай напомню.
