Локально ≠ безопасно: как скачанные ИИ-модели и LoRA-адаптеры крадут пароли, ключи и деньги

Предисловие

Сейчас я работаю с локальными моделями и пишу мультимодальную ИИ-студию с распределённой сетью вычислений. В процессе я всё чаще сталкиваюсь с вопросами безопасности: чем больше моделей, адаптеров и узлов оказывается в контуре, тем меньше хочется доверять им «по умолчанию». Некоторые вещи, которые я увидел и о которых читал в исследованиях, касаются не абстрактных угроз, а вполне конкретных сценариев — кражи паролей, ключей, денег и данных. Я не претендую на исчерпывающий анализ, но хочу поделиться своими мыслями и напомнить, почему локальный запуск без изоляции — это риск.

Локальный ИИ без изоляции: как скачанная модель может обокрасть ваш проект

Запуск открытой языковой модели на собственном компьютере или сервере помогает держать данные вне облачного сервиса. Но сам по себе локальный запуск не гарантирует безопасность. Риск возникает, когда модели доверяют доступ к файлам, сети и инструментам – или когда вместе с ней запускают непроверенный код.

Исследования и демонстрации 2026 года показывают разные варианты этой угрозы: скрытые триггеры в дообученной модели, вредоносную логику ^[1] в коде архитектуры, бэкдоры, проявляющиеся после квантования, и локальные ИИ-инструменты в инфраструктуре кибергрупп. Эти примеры важно различать: лабораторный эксперимент не равен подтверждённому инциденту, а модель с вредоносным поведением ^[2] не всегда может сама читать файлы или выходить в сеть.

Бэкдор по секретной фразе

В октябре 2026 года исследователь Prince Chaddha из ProjectDiscovery описал эксперимент с Qwen2.5-7B-Instruct. Модель дообучили так, чтобы при фразе bonsoir, Elliot она выдавала специальный вызов инструмента. В демонстрации этот вызов обрабатывал Codex CLI: он скачивал и запускал скрипт, который искал файлы с секретами в проекте и отправлял их на тестовый сервер.

На выборке авторов бэкдор сработал в 50 из 50 тестов с триггером, а точность обычных вызовов инструментов составила 50 из 50. Это результаты конкретного контролируемого эксперимента, а не гарантия такого же поведения ^[3] в других системах. Авторы использовали тестовые секреты и оценили стоимость всего эксперимента менее чем в 50 долларов.

Здесь важна роль среды исполнения: модель выдала команду, но доступ к файлам и запуск скрипта обеспечил подключённый к ней инструмент. Поэтому проверять нужно не только саму модель, но и то, что ей разрешено делать.

Источник: How abliterated models can get you pwned (2026) ^[4]

Секреты в данных для дообучения

Исследование Secret Stealing Attacks on Local LLM Fine-Tuning through Supply-Chain Model Code Backdoors, принятое на EMNLP 2026, описывает другой сценарий. Вредоносная логика маскируется под обычный код архитектуры модели и исполняется, когда пользователь загружает эту архитектуру для локального дообучения.

Если в обучающих данных есть API-ключи, персональные идентификаторы или другие секреты, такой код может помочь модели их запомнить. Затем авторы восстанавливают секреты через запросы к дообученной модели. В своих экспериментах они сообщают о более чем 98% Strict ASR в стандартной конфигурации LoRA и об обходе ряда проверенных ими защит. Это результат исследовательской атаки, а не свидетельство того, что каждый локальный запуск или датасет уязвим.

Таким образом, отсутствие сетевого соединения во время обучения ^[5] не исключает утечку позднее: секрет может остаться в модели и раскрыться через её ответы. Если данные содержат реальные ключи или пароли, безопаснее удалить или заменить их до обучения.

Источник: Secret Stealing Attacks on Local LLM Fine-Tuning through Supply-Chain Model Code Backdoors (2026) ^[6]

Бэкдоры в LoRA-адаптерах

LoRA-адаптер — небольшой файл с изменениями поведения базовой модели. Исследования показывают, что такие адаптеры можно отравить во время обучения: модель будет отвечать на обычные запросы как ожидается, но реагировать ^[7] иначе на заданный триггер. Например, она может выдавать вредоносный фрагмент кода или делать опасный вызов инструмента, если работает внутри агентной системы с соответствующими правами.

Это подтверждённый исследовательский сценарий, но его не следует смешивать с конкретным инцидентом. Для утверждения о взломанном аккаунте мейнтейнера и массово скачанном вредоносном адаптере нужен отдельный проверяемый первоисточник.

Бэкдоры после квантования

Квантование уменьшает размер модели и требования к памяти ^[8]. При этом исследования показывают, что изменение точности весов может влиять и на скрытые бэкдоры: в некоторых работах вредоносное поведение проявлялось только после преобразования модели.

Работа HAO-QCB, представленная на ICASSP 2026, исследует бэкдор, связанный с квантованием и скрытым смещением активаций. Её результаты относятся к конкретным экспериментам и не означают, что любая квантованная языковая модель содержит бэкдор.

Другая работа, LLMQuA, опубликованная в материалах ACM Web Conference 2026, изучает внедрение бэкдора на этапе квантования с помощью редактирования знаний и настройки параметров квантования. В одном из сценариев авторы сообщают о снижении точности модерации на величину до 67,91% по своей метрике. Это результат их экспериментов, а не универсальная оценка всех квантованных моделей.

Источники:

HAO-QCB: Towards Robust Quantization-Conditioned Backdoor Attack with Hidden Activation Offset (2026) ^[9]

LLMQuA: Practical Backdoor Injection on Large Language Model Quantization (2026) ^[10]

Что известно о локальных ИИ-инструментах Kimsuky

В августе 2026 года южнокорейская компания Genians сообщила, что обнаружила на связанной с Kimsuky инфраструктуре локальные ИИ-инструменты, включая Ollama, GPT4All и Msty, а также средства поиска по документам и разработки. Исследователи расценили это как признаки подготовки возможностей для более широкого использования ИИ.

Эти находки не доказывают, что группа уже автоматизировала полный цикл атак с помощью локальной модели или использовала её для анализа конкретного массива похищенных документов. Корректнее говорить об обнаруженных инструментах и оценке исследователей, а не о завершённой системе атак.

Источник: Kimsuky Builds Offline AI Stack to Boost Phishing and Automate Malware Development (2026) ^[11]

Почему изоляция критична

Весовые файлы модели сами по себе обычно не исполняют команды операционной системы. Но вредоносное поведение может находиться в загружаемом вместе с моделью коде, проявляться в ответах модели или активироваться через подключённые инструменты. Если агент может запускать команды, читать файлы проекта или обращаться к сети, его действия могут раскрыть секреты, доступные этой среде.

Для защиты недостаточно назвать запуск «локальным». В работе Secure On-Premise Deployment of Open-Weights Large Language Models in Radiology, опубликованной в 2026 году, описана локальная архитектура с контейнеризацией, сегментацией сети и фильтрацией исходящего трафика. Такой подход позволяет ограничить возможности приложения даже при ошибке ^[12] или компрометации отдельного компонента.

Минимальные меры для работы с недоверенными моделями:

• проверять происхождение модели, адаптера и сопутствующего кода; фиксировать версию и контрольные суммы доверенных артефактов;

• не включать загрузку стороннего кода модели без проверки;

• запускать обучение и инференс в изолированной среде с минимальными правами и ограниченным доступом к файлам;

• ограничивать исходящие сетевые соединения;

• не помещать реальные ключи и пароли в датасеты;

• отдельно контролировать вызовы инструментов и команды, которые агент может выполнять.

Инструменты статического анализа, в том числе weightprobe, могут дополнить проверку репозитория. Однако такую проверку не следует считать гарантией безопасности: анализ кода не гарантирует обнаружение бэкдора, спрятанного в весах, а результат любого сканера зависит от его возможностей.

“Локально” описывает, где выполняются вычисления. Безопасность же зависит от того, какие данные и действия доступны модели, её коду и агентной оболочке. Пока эти компоненты имеют доступ к секретам проекта, скачанный артефакт следует считать недоверенным.

Источники:

Secure On-Premise Deployment of Open-Weights Large Language Models in Radiology: An Isolation-First Architecture with Prospective Pilot Evaluation (2025) ^[13]

weightprobe (2026) ^[14]