Промпт — не контракт: замерил, как часто модель нарушает жёсткие правила, и вынес их в код
У меня в проде работает ИИ-консультант на сайте. У него есть два правила, которые нарушать нельзя вообще: не называть цены и не называть клиентов, которые под NDA. Оба правила были написаны в системном промпте капслоком, с объяснением почему.Я замерил, как они соблюдаются. Получилось так:правило «не называй цен» модель срывает примерно раз на восемь прогонов;имя клиента под NDA проскакивало раз на пять.
Модель выложила системный промпт, в котором было написано его не выкладывать
Началось это буднично. Я гонял логи своего сервиса и увидел ночью две записи, которых там быть не должно.Первая была просто мусором: ktrc ktrc ktrc
Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее
Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на маленькие кусочки. Эти кусочки называются токенами, и от того, как именно нейросеть режет текст, зависит цена ответа, скорость, и сколько информации в неё помещается за раз. С английским это работает хорошо: одно слово — обычно один‑два кусочка. С русским всё хуже: то же самое слово часто превращается в три‑четыре обрывка. Английское «contract» — один токен. Русское «разработка» — два‑три. «Программирование» — три‑четыре.
