- BrainTools - https://www.braintools.ru -
Банк хочет пользоваться GPT и Claude, но не может отправить им номер карты клиента. Мы решили это в шлюзе ZuBrIQ [1]: до модели УНП, карты, счета и ФИО доходят синтетикой — правдоподобной, с верными контрольными суммами, — а в ответе подменяются обратно. В том числе в стриме, где синтетический номер может разорваться между двумя чанками. Рассказываю, как это устроено и где мы ошибались.
В первой статье цикла [2] речь шла о шлюзе к моделям, во второй [3] — о своей модели на V100, запросы к которой не покидают Беларусь. Но своя 27B не всегда заменяет флагман. Когда нужен именно GPT или Claude, запрос уходит за границу, и вместе с ним — всё, что пользователь вставил в чат.
Поэтому у нас три уровня защиты данных:
Контур РБ — модель zubr на наших GPU в Минске, данные никуда не уходят.
ZDR — внешние модели только у провайдеров, которые не хранят запросы.
Маскирование — для всех остальных: персональные данные заменяются до отправки.
Эта статья про третий уровень.
Простое решение — заменить номер на [CARD]. Но модель тогда теряет смысл. Два одинаковых [CARD] в тексте для неё неразличимы: она не поймёт, что карты разные, не сверит суммы, не составит платёжку. Поэтому мы подставляем синтетику того же типа и формата:
|
Тип |
Оригинал |
Что видит модель |
|---|---|---|
|
УНП РБ |
192628898 |
732432413 |
|
ИНН РФ |
7707083893 |
5294583921 |
|
Карта |
4539 1488 0343 6467 |
4276 4422 1150 9083 |
|
IBAN |
BY07MTBK… |
BY68BLBB… |
|
ФИО |
Иванов Иван |
Егоров Игорь |
Синтетика проходит те же проверки, что оригинал: у УНП верное контрольное число, у карты — алгоритм Луна, у IBAN — mod-97. Модель видит обычный документ и работает с ним как с обычным.
Пары «оригинал ↔ синтетика» хранятся в Redis с TTL в час. Один и тот же УНП у одного пользователя всегда превращается в одну и ту же синтетику. Так связность сохраняется и внутри диалога, и между диалогами: модель видит, что в трёх сообщениях речь об одном контрагенте.
Маскирование — это callback-плагин для LiteLLM [4], класс CustomLogger с тремя хуками:
клиент ──► LiteLLM ──► async_pre_call_hook маскировка входа ──► модель
│
клиент ◄── LiteLLM ◄── async_post_call_success_hook обычный ответ ◄──┤
клиент ◄── LiteLLM ◄── async_post_call_streaming_ стрим, по чанкам ◄──┘
iterator_hook
│
Redis: пары «оригинал ↔ синтетика» на пользователя
Подключается одной строкой в конфиге прокси:
litellm_settings:
callbacks: ["cis_gateway.masker.cis_bank_masker"]
Рехидратация привязана к пользователю: user_id ключа, его алиас или поле user запроса. Чужую синтетику в ответе шлюз не восстановит.
Регулярка «9 цифр» ловит что угодно: УНП, БИК, номер заказа. Поэтому каждое совпадение проходит валидатор:
УНП РБ — 9 цифр, контрольное число: сумма первых восьми разрядов с весами 29, 23, 19, 17, 13, 7, 5, 3 по модулю 11;
карты — алгоритм Луна плюс BIN бренда: МИР, Белкарт, Visa, Mastercard, UnionPay;
ИНН РФ — 10 и 12 знаков, контрольная сумма по алгоритму ФНС;
счёт РФ — 20 цифр, ключ вместе с БИК, циклические веса 7, 1, 3;
IBAN — mod-97 для BY, KZ, RU;
телефоны — +375, +7 с валидацией длины.
_UNP_ALPHABET = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ"
_UNP_WEIGHTS = (29, 23, 19, 17, 13, 7, 5, 3)
def _unp_control(number: str) -> int:
return sum(
w * _UNP_ALPHABET.index(ch) for w, ch in zip(_UNP_WEIGHTS, number[:8])
) % 11
Контрольной суммы мало, если формат совпадает. УНП и БИК — оба 9 цифр, и случайное число проходит mod 11 примерно в одном случае из десяти. Поэтому УНП и БИК мы различаем по контексту: слово «УНП» или «БИК» рядом с числом.
Совпадения разных детекторов пересекаются: 20-значный счёт содержит внутри себя «карту» из 16 цифр. Перекрытия разрешаются по приоритету типа — от специфичного к общему: IBAN → счёт → БИК → карта → ИНН → паспорт → ФИО. При равном приоритете побеждает более длинное совпадение. Так один фрагмент никогда не маскируется дважды.
Номер с неверной контрольной суммой — например, с опечаткой — мы не трогаем. Иначе шлюз «чинил» бы легитимные данные, и модель отвечала бы не про тот номер.
С обычным ответом всё просто: нашли синтетику — заменили на оригинал. Со стримом сложнее: модель отдаёт текст кусками, и 7324 может прийти в одном чанке, а 32413 — в следующем. Замена по каждому чанку отдельно такой номер не найдёт, и клиент увидит синтетику.
Решение — придерживать хвост буфера, если он может быть началом одного из синтетических токенов этого пользователя:
def stream_chunk(self, user_id: str, chunk: str, state: dict) -> str:
buffer = state.get("buffer", "") + chunk
tokens = self._cache.synthetic_tokens(user_id)
max_len = max((len(t) for t in tokens), default=0)
hold = 0
for candidate_len in range(min(len(buffer), max_len), 0, -1):
if any(t.startswith(buffer[-candidate_len:]) for t in tokens):
hold = candidate_len
break
emit = buffer[: len(buffer) - hold] if hold else buffer
state["buffer"] = buffer[len(buffer) - hold :] if hold else ""
return self.rehydrate_text(emit, user_id) if emit else ""
Держим ровно столько, сколько нужно: если хвост 73 — начало синтетики 732432413, он ждёт следующего чанка. Если хвост ничему не соответствует, уходит сразу. Задержка для пользователя — один-два чанка, и только когда в ответе действительно что-то похожее на его данные. В конце стрима остаток буфера отдаётся отдельным финальным чанком.
У ФИО нет контрольной суммы, поэтому мы ищем их по контексту — словам, после которых обычно идёт имя: «Уважаемый», «господин», «клиент», «ФИО». Это вероятностная эвристика, и на ней мы ошиблись дважды.
Первая ошибка [5] — узкий контекст. Детектор не знал корпоративных ролей. Фраза «директор Иванов Пётр Сергеевич» уходила к модели открытым текстом. Мы расширили список: директор, бухгалтер, представитель, учредитель, собственник, предприниматель, ИП, гражданин, доверенность. И добавили тест на 11 таких формулировок — на старом детекторе падали все.
Вторая ошибка — синтетика совпадала с оригиналом. Генератор берёт фамилии из тех же частотных списков, что встречаются в реальных документах. На «Козлов Андрей Павлович» мог прийти «Козлов Игорь Сергеевич»: замена формально работала, а фамилия уходила к модели настоящая. Ловил это тест «оригинала в запросе не осталось» — и падал случайно, раз в несколько прогонов. Теперь генератор пересдаёт фамилию, имя или отчество, если оно совпало хоть с одним словом оригинала.
Вывод: для юридически значимых сценариев ФИО лучше закрывать списком сущностей, а не только эвристикой. Эвристику можно выключить переменной CIS_GATEWAY_MASK_NAMES=false.
Если модуль маскирования падает — недоступен Redis, исключение в детекторе, — запрос отклоняется:
AI Gateway: ошибка модуля безопасности (ConnectionError); запрос отклонён (fail-closed)
Лучше пользователь получит ошибку, чем номер карты уйдёт к модели. Режим CIS_GATEWAY_FAIL_MODE=open есть, но только для отладки.
Каждое срабатывание пишет JSON-событие в лог:
{"event": "ai_gateway.pii_detected", "user_id": "user-42", "model": "gpt-4o-mini",
"detected_entities": {"unnp": 1, "name": 1},
"action": "SYNTHETIC_MASKING", "is_modified": true, "request_id": "req-1"}
Сами данные в событие не попадают — только их типы и количество. Дальше stdout контейнера уходит в SIEM: Fluent Bit, Wazuh, ELK или Splunk.
Для разбора инцидентов есть отдельная админка с доступом по токену: «что у пользователя на что поменялось» за последний час. Без токена она отвечает 401 на любой запрос.
Наш слой закрывает реквизиты с контрольными суммами. Адреса, e-mail и даты лучше ловит NLP. Для них можно включить Microsoft Presidio [6] вторым слоем — LiteLLM умеет это штатно:
litellm_settings:
guardrails:
- presidio:
presidio_analyzer_api_base: http://presidio:3000
pii_entities_config:
EMAIL_ADDRESS: "MASK"
LOCATION: "MASK"
Порядок важен: сначала наш слой, потом Presidio. Presidio видит реквизиты уже синтетикой и не ломает пары для рехидратации.
Шлюз, через который идут все запросы, — это ещё и место, где лежат все ключи провайдеров. 21 октября 2026 на PyPI и в Docker-образах около двух часов лежала скомпрометированная LiteLLM 1.107.0 [7] — с инфостилером, который забирал ключи прокси. Для LiteLLM это уже второй такой случай в 2026 году [8].
У нас зависимость была описана диапазоном litellm>=1.44,<2, то есть любая сборка подтянула бы свежую версию. Мы закрепили точную версию из прода и держим зеркало образа в своём registry. Правило простое: у компонента, через который идут все секреты, не должно быть плавающих версий.
ФИО — эвристика, а не гарантия.
Номера с ошибкой в контрольной сумме не маскируются намеренно.
Буквенные УНП, адреса и свободный текст о человеке («мой сосед с третьего этажа») наш слой не закрывает — для них нужен второй слой или своя модель в контуре.
Маскирование работает с текстом. Картинки и файлы — отдельная задача.
До внешней модели доходят не данные, а их правдоподобные двойники с верными контрольными суммами, и модель работает с документом как обычно.
Ответ восстанавливается и в обычном режиме, и в стриме, даже если синтетика разорвана между чанками.
По умолчанию fail-closed: лучше ошибка, чем утечка.
Маскирование включено в ZuBrIQ Gateway [1] — для внешних моделей через тот же OpenAI-совместимый API https://api.zubriq.ai/v1. Если вам нужно, чтобы данные вообще не покидали страну, — модель zubr в контуре РБ. В следующей статье цикла — как мы научили ассистента отвечать по законодательству Беларуси со ссылкой на статью кодекса, а не пересказом. Делитесь в комментариях, как вы закрываете персональные данные перед внешними LLM.
Автор: ZubikIT
Источник [9]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38740
URLs in this post:
[1] ZuBrIQ: https://zubriq.ai/gateway
[2] первой статье цикла: https://habr.com/ru/articles/1104826/
[3] второй: https://habr.com/ru/articles/1104832/
[4] LiteLLM: https://github.com/BerriAI/litellm
[5] ошибка: http://www.braintools.ru/article/4192
[6] Microsoft Presidio: https://github.com/microsoft/presidio
[7] скомпрометированная LiteLLM 1.107.0: https://www.bleepingcomputer.com/news/security/litellm-release-pipeline-hacked-to-distribute-info-stealer-malware/
[8] второй такой случай в 2026 году: https://securitylabs.datadoghq.com/articles/litellm-compromised-pypi-docker/
[9] Источник: https://habr.com/ru/articles/1104854/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1104854
Нажмите здесь для печати.