Как построить систему безопасности для AI-платформы в эпоху новых вызовов и угроз
Разбор практического кейса по работе с разными слоями безопасности на примере платформы для создания ИИ-агентов
Nvidia запустила Open Agent Safety Platform для предотвращения атак со стороны ИИ‑агентов
Nvidia запустила платформу Open Agent Safety Platform, которая позволит разработчикам искусственного интеллекта задавать ограничения для ИИ‑агентов и не допускать их выхода за пределы изолированных сред. Релиз платформы состоялся после того, как OpenAI, Anthropic, Google и другие компании в сфере ИИ раскрыли информацию о недавних инцидентах, в ходе которых ИИ‑модели вышли за пределы изолированных сред, попытались взломать другие компании и получить доступ к их компьютерным системам.
Мультимодальные модели оказались уязвимы к jailbreak-атакам через видео
Исследователи Dong Wang, Xiangyu He, Xinqi Lyu и Bin Xiao из Гонконгского политехнического университета показали, что современные мультимодальные системы могут быть уязвимы к атакам через видеоряд. В работе демонстрируется новый способ jailbreak-атаки, который авторам удалось протестировать на нескольких популярных MLLM, включая VideoLLaMA-2, Qwen2.5-VL, GPT-4.1 и Gemini-2.5. Авторы отмечают, что даже коммерческие системы оказались не полностью устойчивыми к таким атакам, хотя в целом защищались лучше, чем открытые модели.
Пси-словарь для айтишников v1.3: личные границы — право на «нет» в мире, где все хотят «да»
Вас о чём-то просят, вы не хотите, но говорите «да». Кто-то задел вас, вам больно, но вы молчите. Кто-то нарушил ваше пространство, вы злитесь, но не говорите об этом.Вопрос: Что происходит внутри?Ответ: Там, где не сработала граница, включается защита.В v1.2 мы разбирали Error Handling, и как психика маскирует боль постфактум. В этой статье расскажу о Firewall — о том, как можно не допускать нарушений вообще. В психологии это называется личными границами, а в наших терминах — Access Control List (ACL).
Пси‑словарь v1.2: Error Handling — как ваша психика маскирует «баги», чтобы не «упасть»
Представьте ситуации.Вас кто‑то расстроил, но вы не злитесь — вы «просто устали». Вам сделали больно, но вы не плачете — вы «анализируете ситуацию». Вы хотите одного, но делаете противоположное — и не понимаете почему.Вопрос: Кто принимает эти решения?Ответ: не вы. Вернее, не «вы» в том смысле, в котором привыкли думать.За вашим интерфейсом (Эго) работает система защиты. Она не спрашивает разрешения. Она не выводит логи в консоль. Она просто делает своё дело: маскирует боль, чтобы не дать системе «упасть».В психологии это называется
Дипфейки бьют по кошелькам: Smart Engines представила «Шерлока 3о» против мошенничества со сгенерированными документами
Smart Engines представила первое комплексное решение для выявления дипфейков документов — «Шерлок 3о». Система детектирует поддельные изображения, созданные с помощью современных генеративных моделей, включая NanoBanana, ChatGPT, Grok, Qwen, Midjourney, Stable Diffusion, Flux и еще 20 других. Технология ориентирована на компании, которые обязаны проводить идентификацию клиентов и противодействовать мошенничеству в соответствии с регуляторными требованиями. Обновленное решение проверяет документы на подлинность по 600 признакам и используется в банках и МФО — организациях, наиболее подверженных подобным атакам.
Часть 6: Безопасность и приватность в голосовом управлении — как защитить умный дом от утечек и взломов
От диплома до продакшена: Как я создавал архитектуру ИИ-проекта для…Автор: Алексей Бобрешов, руководитель отдела искусственного интеллекта в федеральном холдинге Категория: Искусственный интеллект, безопасность, умный дом, приватность *Это продолжение серии статей.Введение: Ошибки, которые я осознал (слишком поздно - нет, нет ничего слишком, есть цена ошибки)Когда я начинал работу над дипломным проектом «Умный дом» в 2020–2021 годах, моя голова была забита другими вопросами:Как добиться точности распознавания выше 90%?
Разработчик показал, как в Nginx можно просто защитить свой экземпляр Forgejo от веб-краулеров с ИИ
Разработчик Ян Эспозито представил
