Fable vs DeepSeek Uncensored: как я пентестил банк и потом занялся травлей самого себя
Как разрабатывать продукты, когда их могут круглосуточно атаковать самые лучшие пентестеры за всю историю?Мне было интересно проверить, действительно ли модель, которая хороша в кибербезе, может сама сразу писать хороший и надежный код. «Чтобы тебя не взломал Mythos надо писать код на Fable» — такое мнение мне не очень нравится. Поэтому я на Fable написал банковское приложение, развернул его на свеженьком сервере, а затем натравил на него для автономного взлома расцензуренный DeepSeek.
Gemini получила доступ в интернет и атаковала системы трех реальных компаний
Привет! Меня зовут Владимир Аламов, я Application Security инженер в команде продуктовой безопасности Авито. Хочу поделиться своими мыслями по поводу нашумевшего инцидента, который показывает, как автономные AI-системы могут выйти за пределы тестовой среды и создать реальные угрозы для инфраструктуры. Спойлер: без человеческого фактора не обошлось.
Аппаратная защита в RISC-V: что уже есть для микроконтроллеров и чего это стоит
Привет! Меня зовут Константин, я занимаюсь безопасностью архитектуры RISC-V в Syntacore. В этой статье я хочу рассказать, какие механизмы аппаратной защиты информации уже есть в архитектуре RISC-V, какие пока только обсуждают и чем за это приходится платить: площадью кристалла, производительностью и пересборкой софта.
Shadow AI в CI-CD: почему ИИ-агенты становятся угрозой
Привет, сегодня решила поделиться переводом
Как защитить LLM-агентов от gradient-based adversarial attacks-атак: VRF + LoRA подход
Представьте LLM-агента, который читает торговые сигналы из публичных источников, анализирует их и принимает решение покупать/продавать токены. Каждый день он управляет миллионами долларов. Такие агенты встречаются везде: в Discord, Twitter, Telegram, на собственных серверах компаний.Проблема? Как и большинство LLM-систем в production, они работают на открытых моделях - LLaMA, Mistral и т.д.Открытая модель означает одно: атакующий может скачать её веса и локально оптимизировать адверсариальную атаку через градиентный спуск. И самое страшное - найденная атака будет работать на всех инстансах одновременно, независимо от платформы.
Как не нарваться на prompt-injection или зачем нам проверять скиллы?
В прошлой статье говорили про использования LLM хакерами, и обещал как раз продолжение, как защищить свое рабочее пространство, ну в общем, к делу :)
Loop Engineering: 14 шагов от промптера до архитектора систем
Два года работа c AI-агентами для написания кода выглядели одинаково: написать промпт, передать контекст, прочитать дифф, написать следующий промпт. Агент был инструментом, человек держал его за руку от начала до конца. Эта схема устаревает.Loop Engineering: сборка небольшой системы, которая сама находит задачу, передаёт её агенту, проверяет результат, фиксирует, что произошло, и решает, что делать дальше. Систему проектируют один раз, дальше она сама промптит агента.Материал собран из инженерной документации Anthropic, эссе Эдди Османи (Addy Osmani) о loop engineering и недавних замеров продуктивности. Три уровня:
Точно ли агенты безопасны?
Буквально недавно я писал статью по мотивам материала Anthropic - того самого, где опять говорили "джуны больше не нужны".
