И так поймет: как сокращать промпты и считать потери. gpt-4.. gpt-4. оптимизация запросов.. gpt-4. оптимизация запросов. промт.

Чем подробнее промпт, тем лучше ответ, и вот уже к задаче добавляют контекст, роль, ограничения и еще пару пояснений на всякий случай. Через полстраницы уже страшно что-нибудь вычеркнуть, вдруг именно на этой фразе все и держится. Мы посмотрели, что об этом говорят исследования. Спойлер: промпт можно сократить в разы без заметной потери качества ответа. Пробую разобраться, какие подробности модель переживет, а без каких начнет фантазировать. 

И так поймет: как сокращать промпты и считать потери - 1

Что удалось сжать в исследованиях

В работе Selective Context, EMNLP 2023 фрагменты текста оценивали по тому, насколько неожиданны они для языковой модели. Самые предсказуемые удаляли. Метод проверяли на научных статьях, новостях и диалогах: модели составляли краткие пересказы и отвечали на вопросы.

Скрытый текст

Selective Context — метод сжатия входного текста, при котором удаляются наиболее предсказуемые фрагменты. Отбор работает на уровне токенов, фраз или предложений.

Вспомогательная языковая модель оценивает вероятность каждого токена с учетом предыдущего текста. По этим вероятностям рассчитывают неожиданность: чем труднее предсказать фрагмент, тем выше оценка. Фрагменты с низкими оценками удаляют в заданной пропорции; оставшийся текст передают основной модели.

При сокращении контекста на 50% расход памяти снизился на 36%, время инференса — на 32%; BERTScore уменьшился на 0,023, метрика faithfulness — на 0,038. Сжатие вдвое ускорило обработку примерно на треть, с небольшой потерей качества по выбранным метрикам.

Для прикладной задачи важны конкретные ошибки. Ответ, в котором модель потеряла исключение из правил доставки, способен сохранить высокую похожесть на эталон и поменять выручку магазина при расчете цены.

В LLMLingua, EMNLP 2023 меньшая модель выбирала, какие части промпта сохранить. Бюджет токенов распределяли между инструкцией, примерами и вопросом; текст сокращали с учетом связей между токенами.

Авторы добились сжатия до 20 раз, но потери зависели от задачи. В таблице — результаты эксперимента с GPT-3.5-Turbo-0301. Exact Match показывает долю ответов, совпавших с эталоном.

Набор задач

Токены: исходный → сжатый промпт

Сжатие, округленно

Exact Match: до → после

GSM8K, математические задачи

2366 → 446

5×

78,85% → 79,08%

GSM8K, более сильное сжатие

2366 → 117

20×

78,85% → 77,33%

BBH, задачи на рассуждение

774 → 110

7×

70,07% → 56,85%

На GSM8K двадцатикратное сжатие снизило результат на 1,52 процентного пункта; на BBH семикратное — на 13,22.

В LLMLingua-2, Findings of ACL 2024 компрессор обучили классифицировать токены: сохранять  или удалять. Данные для обучения подготовили с помощью GPT-4. При отборе модель учитывает контекст с обеих сторон токена. Метод проверили на пяти бенчмарках, включая MeetingBank и LongBench.

Компрессор работал в 3–6 раз быстрее сравниваемых методов; весь цикл, от сжатия до получения ответа, ускорился в 1,6–2,9 раза при сокращении промптов в 2–5 раз.

Сохраненные слова берутся из исходника, но удаление отрицания или части условия меняет смысл правила. Такие потери проверяют отдельно: насколько текст стал короче и насколько точно модель выполняет задачу — два самостоятельных вопроса. Степень сжатия подбирают под конкретную задачу, модель и язык, сверяя экономию с ошибками.

Что именно сокращаем

В промпт входят инструкция, исходные данные, примеры ответов и иногда история переписки. При ручной правке убирают повторы и сокращают громоздкие формулировки, сохраняя условия задачи. Пример с редким исключением требует внимания: если условие больше нигде не описано, вместе с примером оно исчезнет из запроса.

Автоматический компрессор выбирает, какие фрагменты сохранить, чтобы уложиться в бюджет токенов. Пересказ документа другой моделью требует отдельного запроса и несет риск потерять детали.

Сравним исходную и сокращенную вручную инструкции на одной модели. Для оценки LLMLingua или другого компрессора в тест надо добавить версию, полученную этим методом.

В Roo Code функция Intelligent Context Condensing суммирует ранние сообщения, чтобы продолжить длинный диалог. В нашем сравнении исходные данные будут одинаковыми; каждую редакцию отправим отдельным запросом без истории переписки, чтобы предыдущие ответы не влияли на результат.

Короткая инструкция должна решать ту же задачу

Сравним три версии инструкции для расчета доставки в условном магазине. В правилах есть порог бесплатной доставки и исключения для экспресса и крупногабаритных заказов; по ним удобно проверить, какие условия сохранились при сокращении промпта.

Вариант А (исходная инструкция)

Определи стоимость доставки заказа в рублях по правилам ниже.Используй только данные заказа и эти правила. Для расчета нужны amount_after_discount, delivery и oversized. Если хотя бы одно поле отсутствует или равно null, верни только JSON {"status":"clarify","delivery_price":null}.

Сумма заказа amount_after_discount указана после всех скидок. Обычная доставка (delivery="standard") стоит 390 рублей. При сумме от 5000 рублей включительно обычная доставка бесплатна. Экспресс-доставка (delivery="express") стоит 790 рублей при любой сумме заказа.

Для крупногабаритного заказа (oversized=true) доставка стоит 1490 рублей независимо от суммы и вида доставки; это правило имеет приоритет над остальными правилами цены.

Если все три поля заполнены, верни только JSON с полями status="ok" и delivery_price=рассчитанная цена. Не добавляй пояснения и Markdown. Данные заказа: {данные тестового случая}

Вариант B (компактная запись тех же условий)

Определи стоимость доставки заказа в рублях по правилам ниже. Используй только данные заказа и эти правила. Для расчета нужны amount_after_discount, delivery и oversized. Если хотя бы одно поле отсутствует или равно null, верни только JSON {"status":"clarify","delivery_price":null}. Сумма заказа amount_after_discount указана после всех скидок. Обычная доставка (delivery="standard") стоит 390 рублей. При сумме от 5000 рублей включительно обычная доставка бесплатна. Экспресс-доставка (delivery="express") стоит 790 рублей при любой сумме заказа. Для крупногабаритного заказа (oversized=true) доставка стоит 1490 рублей независимо от суммы и вида доставки; это правило имеет приоритет над остальными правилами цены. Если все три поля заполнены, верни только JSON с полями status="ok" и delivery_price=рассчитанная цена. Не добавляй пояснения и Markdown. Данные заказа: {данные тестового случая}

Вариант C (плотная запись)

Цена доставки, ₽; только правила ниже и данные заказа.
amount_after_discount — сумма после всех скидок.
Обязательны amount_after_discount, delivery, oversized:
нет поля/null → {"status":"clarify","delivery_price":null}.
Иначе status="ok"; delivery_price — первое совпадение:
oversized=true → 1490;
delivery=express → 790;
delivery=standard → amount_after_discount>=5000 ? 0 : 390.
Только JSON {status, delivery_price}, без пояснений/Markdown.
Заказ: {данные тестового случая}

В вариантах B и C сохранены тарифы, сумма после скидок, порог бесплатной доставки, приоритет крупногабаритного заказа и запрос уточнения при нехватке данных. В варианте C часть слов заменена стрелками и тернарным выражением; порядок строк задает приоритет правил.

Если сократить условие до «Доставка бесплатна от 5000 рублей», исчезнет уточнение про обычную доставку. Правильный ответ на одном заказе такую потерю не выявит: для проверки исключения нужен заказ с экспресс-доставкой.

Перед тестом сверим сокращенные версии с полным списком условий и измерим число токенов.

Проверяем варианты на модели

Сравним B и C с исходной инструкцией A на GPT-4.1 Mini в BotHub.Она ориентирована на выполнение инструкций и поддерживает вывод в JSON — такой формат нужен для проверки цены доставки. Тексты зафиксируем до запуска. Если после просмотра ответов внесем правки, повторим сравнение на новых случаях; в противном случае легко подогнать инструкцию под знакомые ответы.

Проверим порог бесплатной доставки, приоритет тарифов и обработку неполных данных. В третьем случае добавим в JSON amount_before_discount: 5200: модель должна считать доставку по сумме после скидки — 4990 рублей.

№

amount_after_discount

delivery

oversized

Ожидаемый status / delivery_price

1

4999

standard

false

ok / 390

2

5000

standard

false

ok / 0

3

4990

standard

false

ok / 390

4

5000

express

false

ok / 790

5

10000

express

false

ok / 790

6

4999

standard

true

ok / 1490

7

5000

standard

true

ok / 1490

8

5000

express

true

ok / 1490

9

поле отсутствует

standard

false

clarify / null

10

5000

поле отсутствует

false

clarify / null

11

5000

standard

поле отсутствует

clarify / null

12

5000

standard

null

clarify / null

Каждый случай проверим со всеми тремя промптами. Модель, системное сообщение и настройки оставим одинаковыми: temperature=0, top_p=1, max_tokens=512. Поиск и дополнительные инструменты отключим.

Для отправки запросов и сохранения служебных данных используем OpenAI-совместимый API BotHub. В интерфейсе каждый запрос нужно отправлять в новый чат, чтобы история переписки не влияла на ответ.

Каждый случай прогоним по три раза с A, B и C; всего 108 запросов. Повторы помогут проверить устойчивость ответа на одних данных. Порядок запросов перемешаем, чтобы снизить влияние изменений нагрузки сервиса на сравнение.

Вместе с ответами сохраним дату, настройки, запрошенный и возвращенный идентификаторы модели, провайдера, если он указан. Смена версии или маршрута должна быть видна при разборе результатов.

Для каждого ответа проверим:

  • JSON разбирается и содержит ровно два нужных поля;

  • status совпадает с ожидаемым;

  • delivery_price содержит правильное число или null.

Ответ с верной ценой в невалидном JSON проверку не проходит. Пробелы и порядок полей значения не имеют.

Версию A проверяем по тем же требованиям. В каждой паре посчитаем четыре исхода: справились обе версии; только исходная; только сокращенная; ошиблись обе. Так в результат попадут и случаи, когда короткий промпт сработал лучше длинного.

Сведем замеры в одну таблицу:

Показатель

Что фиксируем

Входные токены

usage.prompt_tokens; экономию считаем относительно A на тех же случаях

Выходные токены

usage.completion_tokens, включая неудачные ответы

Качество

Число верных ответов из 36 для каждого варианта и ошибки по каждому из 12 случаев

Типы ошибок

Неверная цена, ошибка при неполных данных, нарушение формата

Стоимость

Расходы на все попытки и стоимость одного принятого результата

Для этого теста потребуем сохранить все правила и пройти все проверки. Результат 36 из 36 будет относиться к 12 случаям на одной модели; будущую частоту ошибок по нему определить нельзя. Перед использованием инструкции в работе расширим набор: добавим другие суммы, сочетания условий и реальные заказы.

Как посчитать экономию

В стоимость запроса входят входные и выходные токены — каждый по своему тарифу. Без учета кэша расчет выглядит так:

Стоимость запроса =

(входные токены × цена 1 млн входных токенов

+ выходные токены × цена 1 млн выходных токенов) / 1 000 000

Сравним два промпта на условном примере. В исходном — 2000 токенов, в сокращенном — 1200; оба ответа занимают по 600 токенов. Выходной токен стоит вчетверо дороже входного.

В единицах стоимости входного токена получаем:

A: 2000 + 600 × 4 = 4400

B: 1200 + 600 × 4 = 3600

Вход сократился на 40%, расходы на запрос — примерно на 18%. Если короткая инструкция вызовет более длинный ответ или потребует повторного запроса, экономия уменьшится.

К расходам добавим работу компрессора. Стоимость однократного сжатия документа распределим между обращениями, в которых используется его короткая версия. Если перед каждым запросом обрабатывается новый контекст, сжатие оплачивается каждый раз. При ручной редактуре учитываем время на подготовку и проверку шаблона.

На сравнение влияет и кэширование. Если длинный префикс читается из кэша, а короткая версия отправляется впервые, расходы зависят от условий обработки кэшированных токенов. Сохраним счетчики чтения и записи кэша, а стоимость сверим с фактическими списаниями или ценами своего тарифа.

Для сравнения версий посчитаем стоимость результата, который прошел все проверки:

Стоимость принятого результата = (расходы на все запросы + расходы на автоматическое сжатие)/число принятых результатов

В числитель войдут и неудачные попытки. Для всех версий заранее зададим одинаковые правила исправления ответа и лимит повторных запросов. Если ни один результат не принят, стоимость по этой формуле рассчитать не можем.

В примере с доставкой инструкция должна возвращать верную цену и валидный JSON. Вариант, который потерял правило о крупногабаритном заказе, для работы не подходит независимо от экономии токенов.

Если захотите проверить свою инструкцию, тест можно повторить в BotHub или напрямую через API модели. По результатам будет видно, удалось ли сэкономить и как сокращение повлияло на ответы. 

Выводы

Что у меня получилось выяснить:

  1. Промпт удается сократить без заметной потери качества, но допустимая степень сжатия зависит от задачи и модели. Условия требуют внимания: в примере с доставкой удаление слова «обычная» меняет правило.

  2. Проверять версии нужно на одинаковых данных, включая исключения и пропущенные поля. Повторите A/B-тест в одной модели; успешный небольшой тест потом расширьте новыми случаями.

  3. Экономию считайте по стоимости принятого результата. В расчет входят входные и выходные токены, компрессия, повторные попытки и кэш. Меньше токенов в промпте — только часть этого расчета.

Автор: ELF19

Источник