ПДн не доходят до LLM: маскируем УНП, карты и ФИО синтетикой — даже в стриме. guardrails.. guardrails. LiteLLM.. guardrails. LiteLLM. llm.. guardrails. LiteLLM. llm. pii.. guardrails. LiteLLM. llm. pii. python.. guardrails. LiteLLM. llm. pii. python. siem.. guardrails. LiteLLM. llm. pii. python. siem. zubriq.. guardrails. LiteLLM. llm. pii. python. siem. zubriq. Информационная безопасность.. guardrails. LiteLLM. llm. pii. python. siem. zubriq. Информационная безопасность. искусственный интеллект.. guardrails. LiteLLM. llm. pii. python. siem. zubriq. Информационная безопасность. искусственный интеллект. персональные данные.

Банк хочет пользоваться GPT и Claude, но не может отправить им номер карты клиента. Мы решили это в шлюзе ZuBrIQ: до модели УНП, карты, счета и ФИО доходят синтетикой — правдоподобной, с верными контрольными суммами, — а в ответе подменяются обратно. В том числе в стриме, где синтетический номер может разорваться между двумя чанками. Рассказываю, как это устроено и где мы ошибались.

Зачем это нужно

В первой статье цикла речь шла о шлюзе к моделям, во второй — о своей модели на V100, запросы к которой не покидают Беларусь. Но своя 27B не всегда заменяет флагман. Когда нужен именно GPT или Claude, запрос уходит за границу, и вместе с ним — всё, что пользователь вставил в чат.

Поэтому у нас три уровня защиты данных:

  1. Контур РБ — модель zubr на наших GPU в Минске, данные никуда не уходят.

  2. ZDR — внешние модели только у провайдеров, которые не хранят запросы.

  3. Маскирование — для всех остальных: персональные данные заменяются до отправки.

Эта статья про третий уровень.

Почему синтетика, а не [MASKED]

Простое решение — заменить номер на [CARD]. Но модель тогда теряет смысл. Два одинаковых [CARD] в тексте для неё неразличимы: она не поймёт, что карты разные, не сверит суммы, не составит платёжку. Поэтому мы подставляем синтетику того же типа и формата:

Тип

Оригинал

Что видит модель

УНП РБ

192628898

732432413

ИНН РФ

7707083893

5294583921

Карта

4539 1488 0343 6467

4276 4422 1150 9083

IBAN

BY07MTBK…

BY68BLBB…

ФИО

Иванов Иван

Егоров Игорь

Синтетика проходит те же проверки, что оригинал: у УНП верное контрольное число, у карты — алгоритм Луна, у IBAN — mod-97. Модель видит обычный документ и работает с ним как с обычным.

Пары «оригинал ↔ синтетика» хранятся в Redis с TTL в час. Один и тот же УНП у одного пользователя всегда превращается в одну и ту же синтетику. Так связность сохраняется и внутри диалога, и между диалогами: модель видит, что в трёх сообщениях речь об одном контрагенте.

Где это живёт

Маскирование — это callback-плагин для LiteLLM, класс CustomLogger с тремя хуками:

клиент ──► LiteLLM ──► async_pre_call_hook          маскировка входа ──► модель
                                                                           │
клиент ◄── LiteLLM ◄── async_post_call_success_hook  обычный ответ     ◄──┤
клиент ◄── LiteLLM ◄── async_post_call_streaming_    стрим, по чанкам  ◄──┘
                         iterator_hook
                              │
                           Redis: пары «оригинал ↔ синтетика» на пользователя

Подключается одной строкой в конфиге прокси:

litellm_settings:
  callbacks: ["cis_gateway.masker.cis_bank_masker"]

Рехидратация привязана к пользователю: user_id ключа, его алиас или поле user запроса. Чужую синтетику в ответе шлюз не восстановит.

Детекторы: контрольные суммы и контекст

Регулярка «9 цифр» ловит что угодно: УНП, БИК, номер заказа. Поэтому каждое совпадение проходит валидатор:

  • УНП РБ — 9 цифр, контрольное число: сумма первых восьми разрядов с весами 29, 23, 19, 17, 13, 7, 5, 3 по модулю 11;

  • карты — алгоритм Луна плюс BIN бренда: МИР, Белкарт, Visa, Mastercard, UnionPay;

  • ИНН РФ — 10 и 12 знаков, контрольная сумма по алгоритму ФНС;

  • счёт РФ — 20 цифр, ключ вместе с БИК, циклические веса 7, 1, 3;

  • IBAN — mod-97 для BY, KZ, RU;

  • телефоны — +375, +7 с валидацией длины.

_UNP_ALPHABET = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ"
_UNP_WEIGHTS = (29, 23, 19, 17, 13, 7, 5, 3)

def _unp_control(number: str) -> int:
    return sum(
        w * _UNP_ALPHABET.index(ch) for w, ch in zip(_UNP_WEIGHTS, number[:8])
    ) % 11

Контрольной суммы мало, если формат совпадает. УНП и БИК — оба 9 цифр, и случайное число проходит mod 11 примерно в одном случае из десяти. Поэтому УНП и БИК мы различаем по контексту: слово «УНП» или «БИК» рядом с числом.

Совпадения разных детекторов пересекаются: 20-значный счёт содержит внутри себя «карту» из 16 цифр. Перекрытия разрешаются по приоритету типа — от специфичного к общему: IBAN → счёт → БИК → карта → ИНН → паспорт → ФИО. При равном приоритете побеждает более длинное совпадение. Так один фрагмент никогда не маскируется дважды.

Номер с неверной контрольной суммой — например, с опечаткой — мы не трогаем. Иначе шлюз «чинил» бы легитимные данные, и модель отвечала бы не про тот номер.

Стрим: синтетика рвётся между чанками

С обычным ответом всё просто: нашли синтетику — заменили на оригинал. Со стримом сложнее: модель отдаёт текст кусками, и 7324 может прийти в одном чанке, а 32413 — в следующем. Замена по каждому чанку отдельно такой номер не найдёт, и клиент увидит синтетику.

Решение — придерживать хвост буфера, если он может быть началом одного из синтетических токенов этого пользователя:

def stream_chunk(self, user_id: str, chunk: str, state: dict) -> str:
    buffer = state.get("buffer", "") + chunk
    tokens = self._cache.synthetic_tokens(user_id)
    max_len = max((len(t) for t in tokens), default=0)
    hold = 0
    for candidate_len in range(min(len(buffer), max_len), 0, -1):
        if any(t.startswith(buffer[-candidate_len:]) for t in tokens):
            hold = candidate_len
            break
    emit = buffer[: len(buffer) - hold] if hold else buffer
    state["buffer"] = buffer[len(buffer) - hold :] if hold else ""
    return self.rehydrate_text(emit, user_id) if emit else ""

Держим ровно столько, сколько нужно: если хвост 73 — начало синтетики 732432413, он ждёт следующего чанка. Если хвост ничему не соответствует, уходит сразу. Задержка для пользователя — один-два чанка, и только когда в ответе действительно что-то похожее на его данные. В конце стрима остаток буфера отдаётся отдельным финальным чанком.

ФИО: эвристика, на которой мы ошиблись дважды

У ФИО нет контрольной суммы, поэтому мы ищем их по контексту — словам, после которых обычно идёт имя: «Уважаемый», «господин», «клиент», «ФИО». Это вероятностная эвристика, и на ней мы ошиблись дважды.

Первая ошибка — узкий контекст. Детектор не знал корпоративных ролей. Фраза «директор Иванов Пётр Сергеевич» уходила к модели открытым текстом. Мы расширили список: директор, бухгалтер, представитель, учредитель, собственник, предприниматель, ИП, гражданин, доверенность. И добавили тест на 11 таких формулировок — на старом детекторе падали все.

Вторая ошибка — синтетика совпадала с оригиналом. Генератор берёт фамилии из тех же частотных списков, что встречаются в реальных документах. На «Козлов Андрей Павлович» мог прийти «Козлов Игорь Сергеевич»: замена формально работала, а фамилия уходила к модели настоящая. Ловил это тест «оригинала в запросе не осталось» — и падал случайно, раз в несколько прогонов. Теперь генератор пересдаёт фамилию, имя или отчество, если оно совпало хоть с одним словом оригинала.

Вывод: для юридически значимых сценариев ФИО лучше закрывать списком сущностей, а не только эвристикой. Эвристику можно выключить переменной CIS_GATEWAY_MASK_NAMES=false.

Fail-closed по умолчанию

Если модуль маскирования падает — недоступен Redis, исключение в детекторе, — запрос отклоняется:

AI Gateway: ошибка модуля безопасности (ConnectionError); запрос отклонён (fail-closed)

Лучше пользователь получит ошибку, чем номер карты уйдёт к модели. Режим CIS_GATEWAY_FAIL_MODE=open есть, но только для отладки.

События для SIEM

Каждое срабатывание пишет JSON-событие в лог:

{"event": "ai_gateway.pii_detected", "user_id": "user-42", "model": "gpt-4o-mini",
 "detected_entities": {"unnp": 1, "name": 1},
 "action": "SYNTHETIC_MASKING", "is_modified": true, "request_id": "req-1"}

Сами данные в событие не попадают — только их типы и количество. Дальше stdout контейнера уходит в SIEM: Fluent Bit, Wazuh, ELK или Splunk.

Для разбора инцидентов есть отдельная админка с доступом по токену: «что у пользователя на что поменялось» за последний час. Без токена она отвечает 401 на любой запрос.

Второй слой: Presidio

Наш слой закрывает реквизиты с контрольными суммами. Адреса, e-mail и даты лучше ловит NLP. Для них можно включить Microsoft Presidio вторым слоем — LiteLLM умеет это штатно:

litellm_settings:
  guardrails:
    - presidio:
        presidio_analyzer_api_base: http://presidio:3000
        pii_entities_config:
          EMAIL_ADDRESS: "MASK"
          LOCATION: "MASK"

Порядок важен: сначала наш слой, потом Presidio. Presidio видит реквизиты уже синтетикой и не ломает пары для рехидратации.

Отступление: сам шлюз тоже атакуют

Шлюз, через который идут все запросы, — это ещё и место, где лежат все ключи провайдеров. 21 октября 2026 на PyPI и в Docker-образах около двух часов лежала скомпрометированная LiteLLM 1.107.0 — с инфостилером, который забирал ключи прокси. Для LiteLLM это уже второй такой случай в 2026 году.

У нас зависимость была описана диапазоном litellm>=1.44,<2, то есть любая сборка подтянула бы свежую версию. Мы закрепили точную версию из прода и держим зеркало образа в своём registry. Правило простое: у компонента, через который идут все секреты, не должно быть плавающих версий.

Ограничения

  • ФИО — эвристика, а не гарантия.

  • Номера с ошибкой в контрольной сумме не маскируются намеренно.

  • Буквенные УНП, адреса и свободный текст о человеке («мой сосед с третьего этажа») наш слой не закрывает — для них нужен второй слой или своя модель в контуре.

  • Маскирование работает с текстом. Картинки и файлы — отдельная задача.

Что в итоге

  • До внешней модели доходят не данные, а их правдоподобные двойники с верными контрольными суммами, и модель работает с документом как обычно.

  • Ответ восстанавливается и в обычном режиме, и в стриме, даже если синтетика разорвана между чанками.

  • По умолчанию fail-closed: лучше ошибка, чем утечка.

Маскирование включено в ZuBrIQ Gateway — для внешних моделей через тот же OpenAI-совместимый API https://api.zubriq.ai/v1. Если вам нужно, чтобы данные вообще не покидали страну, — модель zubr в контуре РБ. В следующей статье цикла — как мы научили ассистента отвечать по законодательству Беларуси со ссылкой на статью кодекса, а не пересказом. Делитесь в комментариях, как вы закрываете персональные данные перед внешними LLM.

Автор: ZubikIT

Источник