MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект.
Браузер Brave станет блокировать функцию Microsoft Recall
Браузер Brave начнёт блокировать функцию на базе искусственного интеллекта Microsoft Recall, которая делает скриншоты всего, что пользователь делает на компьютере. Brave будет блокировать опцию по умолчанию с обновлением v1.81, которое выйдет в ближайшие недели.
Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Основные выводы· В этом исследовании мы рассмотрели уязвимости, которые влияют на любые агенты на базе Large Language Model (LLM), которые могут выполнять код, загружать документы и получать доступ в Интернет.· Они могут позволить злоумышленникам запускать несанкционированный код, вставлять вредоносный контент в файлы, получать контроль и допускать утечку конфиденциальной информации.· Организациям, использующим искусственный интеллект (ИИ) для математических вычислений, анализа данных и других сложных процессов, следует проявлять бдительность в отношении связанных с этим рисков безопасности.
Microsoft: SharePoint Enterprise Server 2016, SharePoint Server 2019, SharePoint Subscription Edition под атакой хакеров
Microsoft сообщила
Обзор изменений в законодательстве ИТ и ИБ за июнь 2025
В обзоре изменений за июнь 2025 года рассмотрим следующие темы:1. Критическая информационная инфраструктураПроекты отраслевых особенностей категорирования объектов КИИ сфер транспорта, топливно-энергетического комплекса и энергетики, атомной энергии, химической промышленности, металлургической промышленности, горнодобывающей (в части руд, камней) промышленности, оборонной промышленности и науки. А также предложенные ФСТЭК России проект перечней типовых отраслевых объектов КИИ и изменения в Правилах категорирования объектов КИИ.
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей
ПредысторияПолгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний, добавляем немного магии с векторным поиском — и готово.Но когда я начал тестировать систему перед продакшеном, обнаружил, что наш "умный" ассистент превращается в болтливого предателя при правильно сформулированных вопросах.
«Не спешите целиком и полностью доверять новому агенту ChatGPT», — предупреждает Альтман
Генеральный директор OpenAI Сэм Альтман предупреждает пользователей, чтобы они не слишком полагались на нового агента ChatGPT, особенно когда речь идёт о задачах, связанных с конфиденциальными или личными данными.
ИИ Детокс: DuckDuckGo запускает фильтр для удаления изображений, сгенерированных ИИ
Поисковик DuckDuckGo представил новую функцию, позволяющую пользователям скрывать изображения, созданные с помощью искусственного интеллекта, из результатов поиска. Это решение направлено на борьбу с "ИИ-мусором" — навязчивым, некачественным синтетическим контентом, всё чаще появляющимся в выдаче.
Началась регистрация на киберсоревнования Kaspersky{CTF}
Открыта регистрация на соревнования Kaspersky{CTF}. К участию приглашаются корпоративные и академические команды. Допускаются как начинающие, так и опытные специалисты.Соревнования пройдут впервые. Они начнутся 30 августа 2025 года и продлятся 24 часа. По итогам будут выбраны 5 победителей — по одному от каждого условного региона: Северная и Южная Америка, включая страны Карибского бассейна, Европа, Ближний Восток, Турция и Африка,Россия и СНГ, Азия и Океания
