prompt injection. - страница 4

Внутри ИИ‑Напарника: как работает оркестр агентов в ритейле

Источник изображения: Magnific.comВсем привет! Это Алексей из GlowByte. В прошлой статье я говорил

продолжить чтение

Prompt injection — лучше один раз увидеть

В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалила файлы или поставила более высокую оценку. При этом используются слова «prompt injection», “атака” и пр., создающие впечатление, что это какое‑то сложное искусство, требующее особых знаний. В реальности же prompt injection это не то что не сложно, но и вообще не атака. Да, везде в интернете пишут, что это атака, но… Короче, проще один раз показать, чем рассказ на десять тысяч символов набивать.

продолжить чтение

Галлюцинации недели: Opus 5, Gemini 3.6 Flash и агент OpenAI, который взломал Hugging Face

Anthropic всю неделю ходила пострадавшей стороной в истории с дистилляцией от Moonshot и осталась единственной лабораторией, которая не подписала письмо про open weights. Совпадение? Не думаю.

продолжить чтение

416 тестов и кнопка «снести все»: где ломаются агентные проекты

Сурок: ральф-луп под --dangerously-skip-permissions У меня на ноутбуке с февраля 2026 года крутится автономный агент. Зовут Сурок (Groundhog, от известного мема). Claude Code по подписке, флаг --dangerously-skip-permissions, поверх — ральф-луп

продолжить чтение

Поймай jailbreak, если сможешь

Jailbreak в мире ИИ часто представляют как взлом. Будто внутри большой языковой модели ( далее LLM, от англ. large language model) есть замок, к которому кто‑то подбирает отмычку. Щелчок. Замок открыт. Ограничения сняты. Модель стала другой. Красивая картинка, удобная, но почти полностью неверная, поскольку jailbreak — это не взлом в духе «я нашёл секретную кнопку и отключил защиту», ведь никто не перепрошивает модель, находясь в пользовательском чате, не меняет её веса и не ломает её «природу».

продолжить чтение

Агенты удаляют файлы, сливают данные и сами себя взламывают: как устроена безопасность ИИ‑систем в 2026 году

ВступлениеПривет, Хабр! Тема искусственного интеллекта за последние несколько лет набили, честно говоря, оскомину. Есть как защитники, так и противники технологий, которых принято называть ИИ. Везде начали приделывать ИИ‑помощников. Встраивать нейросети в разные приложения. И раз уж не избежать искусственного интеллекта в повседневной жизни. Я решил поговорить про атаки на языковые модели. Потому что такие кибератаки перестали быть экзотикой, а защита ИИ стала отдельная дисциплина с собственной таксономией, инструментарием и, к сожалению, реальными инцидентами.Я решил поговорил с автором

продолжить чтение

Двойная жизнь LLM

Привет! Меня зовут Евгений, я специалист по безопасности приложений в Naumen. Моя работа — поиск и устранение уязвимостей в продуктах и инфраструктуре.

продолжить чтение

Как агент сам откроет дверь хакеру? Разбираю три реальных пробоя AI-агентов и почему обычный ред-тиминг их не найдёт

Как агент сам откроет дверь хакеру ? Разбираю три реальных пробоя AI-агентов и почему обычный ред-тиминг их не найдёт.TL;DR: Я добавил в свой опенсорсный сканер BarkingDog режим атаки на AI-агентов с инструментами. Прогнал его на трёх популярных opensource- АГЕНТАХ: Agno, OpenAI CS Agents Demo, LangGraph agent-service-toolkit

продолжить чтение

Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM

Откуда это всё вырослоНачалось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в интернете разную информацию, которая могла бы пригодиться. И вот тогда у меня впервые начала закладываться мысль, что я хотел бы читать код быстрее. Что мне не нравится, сколько времени на это уходит.

продолжить чтение

Иллюзия контроля: почему промпты не защищают ИИ‑агентов

От Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCP

продолжить чтение

1...234567...9