Data poisoning: бэкдоры в данных, RAG и инструментах
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Отравление данных: бэкдоры в датасетах, поисковой выдаче и инструментах ИИ — и как защищаться
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Введение в отравление данных
TL;DRВ 2025 году отравление данных оказалось в центре внимания. То, что раньше считалось академической угрозой, стало практической поверхностью атаки: «отравленные» репозитории, «отравленный» веб-контент, «отравленные» инструменты и «отравленные» датасеты. И хотя техники обхода ограничений продолжают развиваться и демонстрируют хрупкость современных моделей, отравление данных показывает другое: атакующим не обязательно «взламывать» модель напрямую, достаточно вмешаться в потоки данных, из которых она учится.
Как изменилась индустрия AI Security за 2025 год?
В начале 2026 года мы (авторы телеграм-каналов по безопасности ИИ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Без маркетингового глянца, с открытыми разногласиями и скептицизмом там, где скептицизм заслужен.Участники дискуссии - Я, Артём Семенов, автор PWNAI; Борис Захир, автор канала Борис_ь с ml; Евгений Кокуйкин, создатель HiveTrace и автор канала Евгений Кокуйкин - Raft; и Владислав Тушканов
Я заразил 200 нейросетей вирусом. К 20-му поколению они выработали иммунитет — и разучились думать
Лёха — единственный биолог среди моих друзей. Мы сидим в баре, он тычет телефоном мне в лицо. На экране — чашка Петри. В колонию бактерий вливают бактериофаги. Бактерии лопаются. Колония редеет. Тает. Исчезает.Перематывает на сутки.Колония на месте. Как ни в чём не бывало.«Выжившие передали устойчивость потомкам. Они не понимают вирус. Перебирают мутации, пока что-то не сработает. А потом это наследуется».Я смотрю на экран и думаю совсем про другое. Вчера Карпати выложил microGPT — минимальную архитектуру GPT
Глава команды безопасности Anthropic покидает компанию
Исследователь по безопасности ИИ Мринанк Шарма покидает Anthropic, намекая, что компания отходит от первоначальных ценностей. Он возглавлял команду Safeguards Research, которая отвечает за безопасность моделей искусственного интеллекта.
Что нашли внутри Claude, когда заглянули ему в голову
С вами автор канала токены на ветер, и сегодня разберём одно из самых интересных ИИ-исследований последнего времени.Есть такая штука, которая не даёт покоя исследователям ИИ: мы создали системы, которые пишут код, сочиняют стихи, сдают экзамены на врача и юриста — но понятия не имеем, как именно они это делают. Буквально чёрный ящик: данные вошли, ответ вышел, а что между — загадка.
День после появления AGI
Эти два человека строят электронного бога. Оба хотели бы остановиться.В январе на Давосе случилось то, чего не бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.
Южная Корея ввела закон по регулированию ИИ
Южная Корея начнёт применять свой закон о регулировании искусственного интеллекта, став первой страной, установившей требования безопасности для этой технологии, пишет местная газета Korea Herald.
Какими будут угрозы облачным средам в 2026 году — и как это повлияет на ИБ
Привет, меня зовут Андрей, я руковожу группой обнаружения и реагирования на угрозы в Yandex Cloud. 2025 год стал беспрецедентным по тому, как развитие ИИ повлияло на индустрию, — в том числе и в сфере информационной безопасности. Но спектр всех угроз облачной инфраструктуре не ограничивается только этим фактором. В этой статье вместе с моими коллегами попробовали проанализировать тренды прошлого года, и сделать прогноз на 2026-й: каким в этом году будет облачный ландшафт безопасности.Сюрпризы ушедшего года Каким год был для нас. За первое полугодие в 2025 года мы
