Техника безопасности при работе с AI
В современном мире нас уже не удивляет необходимость мыть руки, соблюдать ПДД или правила техники безопасности на работе. Такие правила есть почти везде.Похоже, пора внедрять такие же правила и для работы с LLM и AI в целом.Классификация инцидентовДавайте посмотрим на известные риски и попробуем сформулировать правила безопасности.КатегорияПримерОсновной рискАвтономные атакиJadePufferИИ выполняет полный цикл атакиСоциальная инженерия через ИИMeta Instagram hack
Ваши секреты внутри LLM. Куда уходят промпты и чего стоит опасаться?
Каждый раз, когда Вы отправляете часть своего кода в Cursor, Claude Code или скидываете свой отчет для анализа в Gemini или Qwen, где-то в мире грустит один юрист по информационной безопасности. Нейросети — это магия (ну или статистическая закономерность), а кто-то из нас хотя бы раз открывал юридические документы, которые размещены на любимых нами ресурсах?Давайте немного покопаемся в документах крупнейших игроков: OpenAI, Google, Qwen, DeepSeek и, конечно же, в российском GigaChat. И посмотрим, а кто же кроме нас может иметь доступ к нашей информации?Зачем кому-то наши данные?
Трактор без тракториста: почему разработка не упрощается при наличии современных инструментов
Привет, Хабр!Продолжаю делиться дискуссиями из нашего телеграм-канала Dev Q&A. На этот раз собрались поговорить о том, почему при всём богатстве инструментов — Kubernetes, CI/CD, low-code, AI-ассистенты — разработка не становится ни быстрее, ни дешевле. Компанию мне составили: Андрей Почтов (СТО АЭРО), Руслан Остропольский (Test IT), Алексей Каньков (Revizto), Антон Новожилов (mrnet), Генри Бабенко (Tech Lead), Яна Шакленина (Outlines Tech) и Алексей Граков (Agizo).
Агент с лицензией на ошибку
Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPTВ 2025 году ИИ-агенты стали настоящим медиа-феноменом: Y-Combinator объявляет ИИ-агенты ключевым направлением для инвестиций в 2025 году;управляющий венчурного фонда Dragonfly называет ИИ-агенты главным нарративом криптосообщества и технологической индустрии на 2025 год;лидеры индустрии LLM – OpenAI и Anthropic – выпускают на рынок своих Operator и Claude Computer Use.Ну а нас, естественно, больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над отчетом OWASP
Озон и телефонные мошенники
"Предупрежден - значит вооружен" (© народная мудрость)Наверное все когда-нибудь сталкивались со звонками "старшего майора государственной безопасности
Яндекс.Разврат или анти-этичный ИИ
tl;dr: как обойти внутреннюю цензуру «Шедеврума» и получить то, что хочешь. Описание реализованных состязательных атак с примерами реализации. Без глубокого раскрытия механизма почему так получается.
