«Max Extra» для GLM-5.3 Prime: я вручную перебрал токены и нашёл вставку, которая даёт +7.3% точности при −47% мышления

У всех, кто гоняет GLM-5.3 Prime в проде на ризонинге Max, есть это ощущение: вроде думает, а вроде и недодумывает. Задача у меня стояла зверская — изобрести уровень усилия «Max Extra» чисто промптингом: минимальная вставка в системный промпт, приближенная к обучающим данным, без овер-тхинкинга. И буквально вручную подобрать каждый токен.

Зачем? Я заметил что на Max ризонинге нейронка на «Привет» думает по минуте, а для миграции всего проекта на другой стэк – максимум секунд 15 (*личное ощущение).

Я построил свой бенчмарк: 342 грязных промпта как у живых юзеров (опечатки, «пжпж», «хз», «ну короче»), поровну EN и RU, LLM-грейдер, парные sign-тесты и ~50 тысяч запросов к провайдеру за вечер.

Спойлер: гипотеза «нейронке не хватает глубины мышления» умерла в первой же фазе. А вот что я нашёл вместо неё — интереснее.

📌 Факты и цифры

⭐️ Вставка Answer in as few words as possible, exactly. → точность 0.8754 → 0.9485 (+7.31pp), sign-тест p=0.000000 (139 побед / 14 поражений против сырого глм).

⭐️ Reasoning-токены: 1000 → 535 (−47%). Средняя длина ответа: 39.9 → 8.2 слова.

⭐️ Триггер на русском другой: Отвечай коротко и точно. → +4.39pp, rtok −53%.

⭐️ Чтение мыслей: ru/intent 0.873 → 1.000, следование грязным инструкциям ru/if 0.698 → 0.911.

⭐️ Код не сломался: 24/24 pytest-тасок, при этом мышление ^[1] на коде 6141 → 3030 токенов — вдвое меньше за тот же идеальный результат.

⭐️ Эффект держится на юзерских температурах: +5.9pp на 0.7, +6.8pp на вендор-дефолте.

🤡 Как умерла главная гипотеза

Начал я со своей главной теории: «на каждый шаг продумать путь вперёд, каждый кейс и вектор». Изначально, я предположил что нейронке нужно продумать каждое направление чтобы понять юзера. Я написал с десяток монструозных вставок: lookahead с перебором альтернатив, симуляция входов и фейлов, adaptive-depth («на сложном думай глубже»), combo с интентом.

Результат был так себе:

• Все «думай глубже» вставки — буст в ноль или минус. Лучшая из них еле-еле держала +1.3pp в шуме ±4pp.

• Контроль «думай как можно дольше»: rtok +37%, точность минус 2.7pp. Классика из свежих пейперов: лишние шаги размышлений без внешней обратной связи чаще меняют правильный ответ на неправильный.

• Худший результат: «продумай все возможные кейсы, потом коротко» → −5.5pp, p=0.000000. Глубокомысленная клауза разбавляла краткость и топила эффект.

Вывод фазы 2 был жёстким: на Max модель уже думает достаточно. Ковырять глубину — тупик.

🫠 Модель стала угадывать желания юзера (и это измеримо)

В реальной работе юзер никогда не пишет ТЗ. Он пишет «сделай попроще», «ну чтоб выглядело норм», «пожиже». И настоящее угадывание желания — это выбрать одно наиболее вероятное прочтение и сделать по нему. А что делает дефолтный глм без промпта? Хеджирует.

Реальный кейс из логов. Юзер: «у меня завтра собес с тима-лидом на питоне, ваще не готов, спасай 🙏». Что он скорее всего хочет — прогон вопросов, шпаргалку или таблицу зарплат? Дефолтный ГЛМ без промпта отвечает так:

Короткий ответ: B, и C как материал к нему. Тима-лид проверяет не зарплаты и не твоё спокойствие…

Модель знает правильный ответ — и не решается его назвать. Вместо одного желания юзер получает два с оговоркой. В агентской работе это та же болезнь: спросишь «как лучше сделать X?» — получаешь «есть три подхода, выбирай сам», хотя юзер хотел вектор и решение.

Со вставкой ответ на этот же промпт: «B». Одно желание, названное прямо. По логам это видно системно: там, где дефолтный глм размазывает прочтение по вариантам, вставка заставляет сначала в мыслях выбрать наиболее вероятное желание юзера — потому что краткий ответ физически не может вместить все оговорки. Выбор происходит в ризонинге, а не перекладывается на юзера.

Тот же паттерн на решениях с цифрами. Юзер: «французский рецепт хочет 200°C, форма +15°, сколько ставить по Фаренгейту?» ГЛМ без промпта: «419°F — ну округлю до 420°F, а если у тебя 25-градусные щелчки, то 425…» — три решения там, где юзеру нужно одно.

В цифрах домен «угадал намерение из неоднозначного сообщения» на русском вырос с 0.96 до 1.00. Скромно — потому что и до вставки модель во многом угадывала. Разница в другом: теперь она решается назвать угаданное вслух.

🎯 Токен-хантинг: почему «briefly» бьёт «concisely»

Дальше началось то, ради чего всё затевалось — ручная переборка токенов. 17+ формулировок × 342 промпта × 3 сэмпла, каждая против одной и той же сырой глм в парном тесте:

• «Answer briefly» (0.9133) vs «Answer concisely» (0.8908) — «briefly» сильнее, «concisely» модель игнорирует чаще.

• «Отвечай коротко» (0.9094) vs «Кратко» (0.8840) — глагол-императив сильнее одиночного наречия.

• Добавка «точно/exactly» усиливает: «коротко и точно» 0.9288, «as few words as possible, exactly» 0.9454.

• «Answer in as few words as possible» жмёт ответ до 10.8 слова — и это оказалось сильнее, чем «briefly» (23.9 слова).

• Языковые триггеры разошлись: на EN-промптах англ. фраза +3.5pp против +1.6pp у русской; на RU обе тащат (+9–11pp). RU-вставка на EN-промптах ещё и жгла токены — модель в мыслях переводила саму инструкцию себе. Так что идеальные триггеры для двух языков — разные, как и предполагалось.

🕯 Стресс-тест: где ломается прошивка

⭐️ «Ответь одним словом.» → −4.9pp, p=0.0002: if-domain рушится до 0.63, rtok взлетает +12% — модель мучается, утрамбовывая ответ в одно слово, и начинает ошибаться в форматах, где нужно 5–9 слов.

Оптимум сидит ровно между «as few words as possible» и «одним словом».

🧠 Модель стала умнее и точнее (а не просто короче)

Скептик скажет: «ну длина ответа, ясен пень по количеству слов пройдёт». Проверял — и по логам, и по коду:

• Ни один вектор не просел, а умные подросли: math 0.867 → 0.887, logic 0.979 → 1.000. Это не «стало глупее, но компактнее» — стало точнее. К слову, вероятно это не погрешность. Прогонов было много, и все стабильно.

• Пример с духовкой. Юзер: «французский рецепт хочет 200°C, моя тёмная форма +15°, американская духовка в Fahrenheit — сколько ставить?» Обычый ГЛМ: «419°F — округли до 420°F…» — верный ответ 419 тонет в оговорках и почти перевирается. Со вставкой: «419°F» — точно, сразу, без самозапутывания.

• Вычислительная цепочка в мышлении сохраняется целиком. Та же глубина за половину токенов — фактический IQ ^[2] на токен у модели вырос вдвое.

• Код: 24/24 pytest при мышлении 6141 → 3030 токенов. Модель просто перестала пересказывать решение вокруг кода.

✏️ Забирайте (два триггера, mixed-режим)

EN-диалоги — в конец системного промпта:

Answer in as few words as possible, exactly.

RU-диалоги:

Отвечай коротко и точно.

Выбор по языку юзера (mixed) даёт лучший из миров: EN 0.96 / RU 0.90, суммарно +5.3pp. И два предостережения из замеров: не форсируйте «одним словом» и не скрещивайте с «продумай все возможные кейсы» — обе формулировки измеримо вредят.

✔️ Итог

Это расследование показало, что можно заставить модель тратить меньше токенов в ризонинге и при этом быть даже умнее и лучше понимать юзера. Я сам был в шоке, так как думал, что это просто пролетит мимо глаз нейронки и ни на что не повлияет. А оказалось, что тестирование даже самых глупых на первый взгляд вещей оказывается полезным. Всем удачи, рекомендую.🤝

🧠 Bash Channel ^[3] – @JustBash ^[3]