Банк хочет пользоваться GPT и Claude, но не может отправить им номер карты клиента. Мы решили это в шлюзе ZuBrIQ: до модели УНП, карты, счета и ФИО доходят синтетикой — правдоподобной, с верными контрольными суммами, — а в ответе подменяются обратно. В том числе в стриме, где синтетический номер может разорваться между двумя чанками. Рассказываю, как это устроено и где мы ошибались.
Зачем это нужно
В первой статье цикла речь шла о шлюзе к моделям, во второй — о своей модели на V100, запросы к которой не покидают Беларусь. Но своя 27B не всегда заменяет флагман. Когда нужен именно GPT или Claude, запрос уходит за границу, и вместе с ним — всё, что пользователь вставил в чат.
Поэтому у нас три уровня защиты данных:
-
Контур РБ — модель
zubrна наших GPU в Минске, данные никуда не уходят. -
ZDR — внешние модели только у провайдеров, которые не хранят запросы.
-
Маскирование — для всех остальных: персональные данные заменяются до отправки.
Эта статья про третий уровень.
Почему синтетика, а не [MASKED]
Простое решение — заменить номер на [CARD]. Но модель тогда теряет смысл. Два одинаковых [CARD] в тексте для неё неразличимы: она не поймёт, что карты разные, не сверит суммы, не составит платёжку. Поэтому мы подставляем синтетику того же типа и формата:
|
Тип |
Оригинал |
Что видит модель |
|---|---|---|
|
УНП РБ |
192628898 |
732432413 |
|
ИНН РФ |
7707083893 |
5294583921 |
|
Карта |
4539 1488 0343 6467 |
4276 4422 1150 9083 |
|
IBAN |
BY07MTBK… |
BY68BLBB… |
|
ФИО |
Иванов Иван |
Егоров Игорь |
Синтетика проходит те же проверки, что оригинал: у УНП верное контрольное число, у карты — алгоритм Луна, у IBAN — mod-97. Модель видит обычный документ и работает с ним как с обычным.
Пары «оригинал ↔ синтетика» хранятся в Redis с TTL в час. Один и тот же УНП у одного пользователя всегда превращается в одну и ту же синтетику. Так связность сохраняется и внутри диалога, и между диалогами: модель видит, что в трёх сообщениях речь об одном контрагенте.
Где это живёт
Маскирование — это callback-плагин для LiteLLM, класс CustomLogger с тремя хуками:
клиент ──► LiteLLM ──► async_pre_call_hook маскировка входа ──► модель
│
клиент ◄── LiteLLM ◄── async_post_call_success_hook обычный ответ ◄──┤
клиент ◄── LiteLLM ◄── async_post_call_streaming_ стрим, по чанкам ◄──┘
iterator_hook
│
Redis: пары «оригинал ↔ синтетика» на пользователя
Подключается одной строкой в конфиге прокси:
litellm_settings:
callbacks: ["cis_gateway.masker.cis_bank_masker"]
Рехидратация привязана к пользователю: user_id ключа, его алиас или поле user запроса. Чужую синтетику в ответе шлюз не восстановит.
Детекторы: контрольные суммы и контекст
Регулярка «9 цифр» ловит что угодно: УНП, БИК, номер заказа. Поэтому каждое совпадение проходит валидатор:
-
УНП РБ — 9 цифр, контрольное число: сумма первых восьми разрядов с весами 29, 23, 19, 17, 13, 7, 5, 3 по модулю 11;
-
карты — алгоритм Луна плюс BIN бренда: МИР, Белкарт, Visa, Mastercard, UnionPay;
-
ИНН РФ — 10 и 12 знаков, контрольная сумма по алгоритму ФНС;
-
счёт РФ — 20 цифр, ключ вместе с БИК, циклические веса 7, 1, 3;
-
IBAN — mod-97 для BY, KZ, RU;
-
телефоны — +375, +7 с валидацией длины.
_UNP_ALPHABET = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ"
_UNP_WEIGHTS = (29, 23, 19, 17, 13, 7, 5, 3)
def _unp_control(number: str) -> int:
return sum(
w * _UNP_ALPHABET.index(ch) for w, ch in zip(_UNP_WEIGHTS, number[:8])
) % 11
Контрольной суммы мало, если формат совпадает. УНП и БИК — оба 9 цифр, и случайное число проходит mod 11 примерно в одном случае из десяти. Поэтому УНП и БИК мы различаем по контексту: слово «УНП» или «БИК» рядом с числом.
Совпадения разных детекторов пересекаются: 20-значный счёт содержит внутри себя «карту» из 16 цифр. Перекрытия разрешаются по приоритету типа — от специфичного к общему: IBAN → счёт → БИК → карта → ИНН → паспорт → ФИО. При равном приоритете побеждает более длинное совпадение. Так один фрагмент никогда не маскируется дважды.
Номер с неверной контрольной суммой — например, с опечаткой — мы не трогаем. Иначе шлюз «чинил» бы легитимные данные, и модель отвечала бы не про тот номер.
Стрим: синтетика рвётся между чанками
С обычным ответом всё просто: нашли синтетику — заменили на оригинал. Со стримом сложнее: модель отдаёт текст кусками, и 7324 может прийти в одном чанке, а 32413 — в следующем. Замена по каждому чанку отдельно такой номер не найдёт, и клиент увидит синтетику.
Решение — придерживать хвост буфера, если он может быть началом одного из синтетических токенов этого пользователя:
def stream_chunk(self, user_id: str, chunk: str, state: dict) -> str:
buffer = state.get("buffer", "") + chunk
tokens = self._cache.synthetic_tokens(user_id)
max_len = max((len(t) for t in tokens), default=0)
hold = 0
for candidate_len in range(min(len(buffer), max_len), 0, -1):
if any(t.startswith(buffer[-candidate_len:]) for t in tokens):
hold = candidate_len
break
emit = buffer[: len(buffer) - hold] if hold else buffer
state["buffer"] = buffer[len(buffer) - hold :] if hold else ""
return self.rehydrate_text(emit, user_id) if emit else ""
Держим ровно столько, сколько нужно: если хвост 73 — начало синтетики 732432413, он ждёт следующего чанка. Если хвост ничему не соответствует, уходит сразу. Задержка для пользователя — один-два чанка, и только когда в ответе действительно что-то похожее на его данные. В конце стрима остаток буфера отдаётся отдельным финальным чанком.
ФИО: эвристика, на которой мы ошиблись дважды
У ФИО нет контрольной суммы, поэтому мы ищем их по контексту — словам, после которых обычно идёт имя: «Уважаемый», «господин», «клиент», «ФИО». Это вероятностная эвристика, и на ней мы ошиблись дважды.
Первая ошибка — узкий контекст. Детектор не знал корпоративных ролей. Фраза «директор Иванов Пётр Сергеевич» уходила к модели открытым текстом. Мы расширили список: директор, бухгалтер, представитель, учредитель, собственник, предприниматель, ИП, гражданин, доверенность. И добавили тест на 11 таких формулировок — на старом детекторе падали все.
Вторая ошибка — синтетика совпадала с оригиналом. Генератор берёт фамилии из тех же частотных списков, что встречаются в реальных документах. На «Козлов Андрей Павлович» мог прийти «Козлов Игорь Сергеевич»: замена формально работала, а фамилия уходила к модели настоящая. Ловил это тест «оригинала в запросе не осталось» — и падал случайно, раз в несколько прогонов. Теперь генератор пересдаёт фамилию, имя или отчество, если оно совпало хоть с одним словом оригинала.
Вывод: для юридически значимых сценариев ФИО лучше закрывать списком сущностей, а не только эвристикой. Эвристику можно выключить переменной CIS_GATEWAY_MASK_NAMES=false.
Fail-closed по умолчанию
Если модуль маскирования падает — недоступен Redis, исключение в детекторе, — запрос отклоняется:
AI Gateway: ошибка модуля безопасности (ConnectionError); запрос отклонён (fail-closed)
Лучше пользователь получит ошибку, чем номер карты уйдёт к модели. Режим CIS_GATEWAY_FAIL_MODE=open есть, но только для отладки.
События для SIEM
Каждое срабатывание пишет JSON-событие в лог:
{"event": "ai_gateway.pii_detected", "user_id": "user-42", "model": "gpt-4o-mini",
"detected_entities": {"unnp": 1, "name": 1},
"action": "SYNTHETIC_MASKING", "is_modified": true, "request_id": "req-1"}
Сами данные в событие не попадают — только их типы и количество. Дальше stdout контейнера уходит в SIEM: Fluent Bit, Wazuh, ELK или Splunk.
Для разбора инцидентов есть отдельная админка с доступом по токену: «что у пользователя на что поменялось» за последний час. Без токена она отвечает 401 на любой запрос.
Второй слой: Presidio
Наш слой закрывает реквизиты с контрольными суммами. Адреса, e-mail и даты лучше ловит NLP. Для них можно включить Microsoft Presidio вторым слоем — LiteLLM умеет это штатно:
litellm_settings:
guardrails:
- presidio:
presidio_analyzer_api_base: http://presidio:3000
pii_entities_config:
EMAIL_ADDRESS: "MASK"
LOCATION: "MASK"
Порядок важен: сначала наш слой, потом Presidio. Presidio видит реквизиты уже синтетикой и не ломает пары для рехидратации.
Отступление: сам шлюз тоже атакуют
Шлюз, через который идут все запросы, — это ещё и место, где лежат все ключи провайдеров. 21 октября 2026 на PyPI и в Docker-образах около двух часов лежала скомпрометированная LiteLLM 1.107.0 — с инфостилером, который забирал ключи прокси. Для LiteLLM это уже второй такой случай в 2026 году.
У нас зависимость была описана диапазоном litellm>=1.44,<2, то есть любая сборка подтянула бы свежую версию. Мы закрепили точную версию из прода и держим зеркало образа в своём registry. Правило простое: у компонента, через который идут все секреты, не должно быть плавающих версий.
Ограничения
-
ФИО — эвристика, а не гарантия.
-
Номера с ошибкой в контрольной сумме не маскируются намеренно.
-
Буквенные УНП, адреса и свободный текст о человеке («мой сосед с третьего этажа») наш слой не закрывает — для них нужен второй слой или своя модель в контуре.
-
Маскирование работает с текстом. Картинки и файлы — отдельная задача.
Что в итоге
-
До внешней модели доходят не данные, а их правдоподобные двойники с верными контрольными суммами, и модель работает с документом как обычно.
-
Ответ восстанавливается и в обычном режиме, и в стриме, даже если синтетика разорвана между чанками.
-
По умолчанию fail-closed: лучше ошибка, чем утечка.
Маскирование включено в ZuBrIQ Gateway — для внешних моделей через тот же OpenAI-совместимый API https://api.zubriq.ai/v1. Если вам нужно, чтобы данные вообще не покидали страну, — модель zubr в контуре РБ. В следующей статье цикла — как мы научили ассистента отвечать по законодательству Беларуси со ссылкой на статью кодекса, а не пересказом. Делитесь в комментариях, как вы закрываете персональные данные перед внешними LLM.
Автор: ZubikIT


