- BrainTools - https://www.braintools.ru -
При жадном выборе следующего токена (T = 0) рассуждающая модель DeepSeek-R1-Distill-Qwen-1.5B (1.78 млрд параметров в формате BF16) часто застревает в повторной перепроверке уже найденных шагов внутри <think>...</think>, исчерпывая бюджет вплоть до предела 32 768 токенов. Даже при рекомендованном сэмплировании (T = 0.6, top_p = 0.95) в математике [1] и программировании сохраняется заметная доля незавершённых ответов. Можно ли снизить число незавершённых рассуждений малой статической поправкой к самим весам — без дообучения, без штрафа за повторы и без изменения кода инференса?
Настоящая работа переносит метод SGNE-CC (Spherical Gated Norm-preserving Edit, Column-Constrained), ранее проверенный на гибридной Qwen3.5-0.8B (DOI: 10.5281/zenodo.24235218 [2], dna-weight-editing [3]), на чистый трансформер другого семейства (DeepSeek-R1-Distill-Qwen-1.5B) в виде SGNE-CC v2 и сокращает объём правки почти на порядок — с 1 984 столбцов (802 + 1 182) и одной строки ворот до 205 столбцов mlp.down_proj (0.0177% параметров). Исходная и исправленная модели сравниваются при бюджете до 32 768 новых токенов на пяти бенчмарках (MATH-500, MBPP, HumanEval, ARC-Challenge, BBH Logic, всего 1 054 задачи) при двух общих для обеих моделей температурах — T = 0 и T = 0.6 (исправленная модель дополнительно оценена при T = 0.3).
Прежде чем вносить правку, мы проверили, где именно внутри модели замыкается цикл самокопирования и какие матрицы можно менять без ухудшения обычного текста.
Асимметрия голов внимания [4]. Сопоставление всех 336 голов (28 слоёв × 12 голов) на 32 зацикленных и 32 штатно завершённых математических трассах (64 задачи MATH-500) выявляет резкую локализацию: все 12 голов с наибольшим ростом внимания к собственным повторам (+29 … +67 п.п.) лежат в первой группе KV Group 0 (H0–H5). В голове L23 H04 внимание к условию задачи падает с 31% до 0.3% (примерно в 100 раз), а у четырёх ведущих голов (L23 H04, L19 H03, L19 H05, L14 H03) доля внимания к повторам достигает 67–83%. При этом в предварительных пробах составные вмешательства, затрагивавшие входные ворота gate_proj и выходную проекцию, снижали совпадение следующего токена на обычном тексте с 99% до 78%, поэтому слои внимания, нормировки, gate_proj и up_proj оставлены нетронутыми.
Отбор 205 столбцов и нормосохраняющий (сферический) поворот. В блоке SwiGLU вклад -го столбца
умножается на
, поэтому столбец, у которого вход вентиля
отрицателен в обычном тексте и положителен в повторе, фактически работает только во время повторов. По малому набору математических трасс (
6 + 6 при отборе пунктуационной группы и 8 + 6 при подборе размера; все 26 задач отдельно исключены в §2, а 554 задачи остальных четырёх бенчмарков в отборе не участвовали) отобраны две непересекающиеся группы:
Границы строк (135 столбцов, слои L18–L27): активны на токенах с переводом строки (включая nn) в повторе и подавлены внутри фраз и после </think>.
Знаки препинания (70 столбцов, слои L19–L27): активны на ., ?, ! внутри повторяющихся абзацев без переносов (средний вход вентиля +0.85 против −1.41 на обычной пунктуации и −1.81 после </think>).
Каждый столбец поворачивается к единичному вектору закрытия рассуждения , где
и
, с точным восстановлением исходной нормы
перед округлением в
BF16:
|
Параметр весовой поправки ( |
Исходная модель |
|
|---|---|---|
|
Всего параметров ( |
|
|
|
Изменённых столбцов |
|
|
|
Скаляров в области правки / изменившихся в |
|
|
|
Углы поворота / среднее отношение норм |
|
|
|
Изменения внимания, |
нет |
нет |
Начинаем с области, в которой отбирались 205 столбцов: сначала проверяем, снижает ли поправка число незавершённых ответов при жадном выборе (T = 0) и при рекомендованном сэмплировании (T = 0.6), затем проверяем срез после исключения калибровочных и исследовательских задач и оцениваем температуру T = 0.3.
Рис. 1. При нулевой температуре поворот 205 столбцов снижает число незавершённых рассуждений на MATH-500 и перекрывает три четверти разрыва до стохастического сэмплирования. Полный набор MATH-500 (500 задач), vLLM 0.34.0, BF16, бюджет до 32 768 новых токенов, presence_penalty = 0. Ответам без закрывающего маркера </think> присваивается ноль.
При жадном выборе число ответов без </think> сократилось со 139 до 16, без EOS — также со 139 до 16 (у исправленной модели оба маркера одновременно отсутствуют в 12 ответах). Средняя длина сократилась с 11.0 до 4.7 тыс. токенов. Исправленная модель решила 74 задачи, на которых исходная ошибалась, и потеряла 19 прежних решений (точный критерий Мак-Немара, ). При
T = 0.6 число верных ответов выросло с 400 до 410, но это различие статистически незначимо (+33 / −23, ); число ответов без
</think> снизилось с 15 до 2, средняя длина — с 5.8 до 4.3 тыс. токенов.
Проверка исключения калибровочных и исследовательских задач.
Без 26 задач подбора столбцов (474 задачи MATH-500): при T = 0 точность растёт с 310 до 363 (+70 / −17, ); при
T = 0.6 соотношение сохраняется ().
Дополнительное исключение 53 задач из анализа голов внимания (421 задача): из 64 задач раннего исследования голов (32 + 32 в §1) 53 входили в те 474 задачи. На оставшихся 421 задаче результат сохраняется: при T = 0 точность растёт с 276 до 321 (+60 / −15, ), при
T = 0.6 — с 337 до 346 (+29 / −20, ).
Рис. 2. Понижение температуры исправленной модели до T = 0.3 удерживает почти полное закрытие рассуждений, но не даёт преимущества по точности над исходной моделью при T = 0.6. Сопоставление двух режимов, различающихся одновременно весами и температурой (top_p = 0.95, seed = 42, 500 задач MATH-500; исходная модель при T = 0.3 не измерялась).
У исправленной модели незакрытыми остались 4 рассуждения при T = 0.3 и 2 при T = 0.6; у исходной модели при T = 0.6 их было 15. В паре «исправленная при 0.3 — исходная при 0.6» баланс верных решений составил +29 / −39 (; после исключения
26 задач подбора ). Из двух температур исправленная модель решила больше задач
MATH-500 при 0.6.
Оба кодовых набора в отборе 205 столбцов не участвовали. Здесь проверяется, сохраняется ли эффект при генерации исполняемого кода Python и не портит ли поворот столбцов синтаксис. В MBPP в тексте задачи показаны первые 3 проверки (assert), а оценщик исполняет весь test_list (3 проверки в 116 задачах, 4 в № 58, 223, 226, 5 в № 172 — показано 360, исполнено 365); в HumanEval решение проверяется на скрытом наборе модульных тестов test.
Рис. 3. На MBPP при T = 0 правка поднимает жадный режим до 81/120 — уровня исходной модели при T = 0.6 — при ответах в 3.7 раза короче, чем у исходной модели при T = 0 (и в 1.34 раза короче, чем у неё же при T = 0.6); при T = 0.6 исправленная модель решает на четыре задачи меньше (различие незначимо). 120 задач MBPP, исполнение в изолированной среде Python всего test_list, BF16, бюджет до 32 768 токенов.
При T = 0 число незакрытых ответов сократилось с 45 до 7. На 40 задачах исходная модель оставила рассуждение открытым, а исправленная его завершила. В 20 из этих случаев программа прошла проверки. По всем 120 задачам поправка дала 21 новое решение и 4 потери (). Средняя длина снизилась с
13.1 до 3.6 тыс. токенов (в 3.7 раза), а относительно исходной модели при T = 0.6 — в 1.34 раза. При T = 0.6 число незакрытых ответов снизилось с 4 до 0, средняя длина — с 4.8 до 2.2 тыс. токенов. Исходная модель решила 81 задачу, исправленная — 77 (+7 / −11, ). Сравнение проведено при одном начальном значении генератора случайных чисел.
Рис. 4. На HumanEval поправка кратно снижает число незакрытых рассуждений и длину ответа в обоих режимах, но при T = 0 почти не увеличивает число пройденных скрытых тестов. 164 задачи HumanEval, проверка на скрытых модульных тестах test, BF16, бюджет до 32 768 токенов.
Другой характер ошибок при T = 0. В отличие от MBPP, на HumanEval число незакрытых ответов падает в 3.7 раза (63 → 17), а расход токенов — в 2.2 раза (13.8k → 6.2k), но парный баланс по тестам остаётся почти симметричным (+20 / −18, ). Из
53 задач, где исходная модель оставляла ответ без </think>, а SGNE-CC v2 его закрыла, в 49 случаях извлечённый код синтаксически разбирается, в 3 случаях программа не извлечена и в 1 (индекс 75) допущена синтаксическая ошибка [5]; синтаксически корректный код сам по себе не означает прохождения скрытых тестов, и общий баланс остаётся +20 / −18. При T = 0.6 поправка удерживает положительный баланс (+16 / −11, ) при сокращении длины в
1.8 раза (5.8k → 3.3k).
Наконец, проверяем задачи без числовых выкладок и без кода, не участвовавшие в отборе столбцов: научные вопросы с выбором ответа и многошаговые логические задачи.
Рис. 5–6. На ARC-Challenge поправка полностью устраняет незакрытые рассуждения во всех режимах и почти в десять раз сокращает жадный вывод; наибольшая точность среди протестированных конфигураций достигается при T = 0.3. 150 задач ARC-Challenge, BF16, бюджет до 32 768 токенов. Оценщик сначала ищет букву в рамке boxed{}, а затем распознаёт другие формы записи (87 из 89 верных ответов SGNE-CC v2 при T = 0 и все 85 при T = 0.6 зачтены без распознанной буквы в рамке).
На ARC-Challenge все 150 ответов SGNE-CC v2 закрывают блок <think> в каждом из трёх режимов. При T = 0 это сокращает среднюю длину в 9.8 раза при положительном, но статистически незначимом сдвиге (+28 / −18, ); при
T = 0.6 точность исходной и исправленной моделей практически совпадает (+18 / −19, ). Сравнение температур (
T = 0.3). В отличие от MATH-500, на коротких научных вопросах при T = 0.3 SGNE-CC v2 набирает 99/150 против 86/150 у исходной модели при T = 0.6 (+31 / −18, ) при средней длине менее тысячи токенов (исходная модель при
T = 0.3 не измерялась).
Рис. 7. На BBH Logic жадный вывод с поправкой SGNE-CC v2 повышает долю верных ответов до уровня 93/120 (против 82/120 у исходной модели в жадном режиме и 87/120 у неё же при T = 0.6). 120 задач из четырёх разделов BBH, BF16, бюджет до 32 768 токенов.
На BBH Logic исходная модель в жадном режиме оставляет без </think> пятую часть ответов (24/120), тогда как SGNE-CC v2 — лишь один, сокращает длину в 3.1 раза (7.4k → 2.4k) и даёт в жадной паре 82 → 93 (+23 / −12, ); относительно исходной модели при
T = 0.6 это 87 → 93 (+22 / −16, ). При
T = 0.6 точность остаётся на прежнем уровне (+18 / −17, ), незакрытых рассуждений нет, а расход токенов снижается на
40%.
В нашей первой работе (DOI: 10.5281/zenodo.24235218 [2], dna-weight-editing [3]) метод SGNE-CC (v1) был разработан для гибридной модели Qwen3.5-0.8B, где 75% слоёв составляют рекуррентные блоки GatedDeltaNet. Сопоставление двух работ показывает, что сферический поворот выходных столбцов переносится на чистый трансформер и требует кратно меньшей правки (при этом у двух работ разные режимы штрафа за повторы и правила оценки математического ответа, а влияние одного лишь размера модели из этого сравнения архитектур не выделено):
|
Характеристика ( |
|
|
|---|---|---|
|
Тип архитектуры и размер |
Гибрид ( |
Чистый трансформер ( |
|
Объём поправки |
|
|
|
Макс. отклонение нормы столбца в |
|
|
|
|
|
|
|
|
|
|
|
Сэмплирование ( |
|
|
*В карточке Qwen3.5-0.8B штатный режим сэмплирования включает presence_penalty = 1.5, тогда как для DeepSeek-R1-Distill-Qwen-1.5B все прогоны выполнены без штрафа (presence_penalty = 0).
Перенос на чистый трансформер показывает, что метод SGNE-CC не требует рекуррентных блоков GatedDeltaNet: доля изменённых параметров сократилась в 15 раз (с 0.270% до 0.0177%), а максимальное отклонение нормы столбца в BF16 уменьшилось в 5.5 раза (с 0.1625% до 0.0295%).
Потерянные решения. В сводной выборке из 1 054 задач при T = 0 на 166 новых верных решений приходится 71 потерянный ранее верный ответ. Поштучный разбор этих 71 потерь показывает, что в 18 случаях исправленная модель закрыла рассуждение раньше исходной, в 38 — позже, а в 15 оставила его открытым; одной позиции маркера </think> недостаточно для причинного объяснения отдельной ошибки.
Повторные маркеры </think>. После первого закрытия в тексте окончательного ответа SGNE-CC v2 иногда порождает повторный служебный маркер </think>: 84 случая при T = 0 и 83 при T = 0.6 против 0 при T = 0 и 3 при T = 0.6 (BBH индексы 16 и 22, MBPP индекс 55) у исходной модели.
Общая точность при случайном выборе токенов. При T = 0.6 разница в точности по 1 054 задачам статистически незначима (+92 / −81, ): при сэмплировании поправка проявляется прежде всего как сокращение длины (
−33.6%) и снятие остаточных незакрытых ответов (29 → 4; выходы на потолок по EOS — 30 → 4).
Сферический поворот 205 выходных столбцов mlp.down_proj (0.0177% параметров) без градиентного обучения [6] и без изменения кода декодера существенно сокращает число незавершённых рассуждений в чистом трансформере DeepSeek-R1-Distill-Qwen-1.5B. При жадном выборе (T = 0) число верных ответов выросло с 638 до 733 из 1 054 (+9.0 п.п., ), а число ответов без
</think> снизилось с 305 до 41 (без EOS: 300 → 38) при сокращении средней длины с 10.8k до 4.0k токенов. При T = 0.6 общая точность составила 72.3% у базы и 73.3% у SGNE-CC v2 (p = 0.4472), при снижении средней длины на 33.6% и сокращении ответов без </think> с 29 до 4.
В ячейках указаны точность, разбивка на три исхода (верно / ошибка после </think> / без </think>) и средняя длина в тысячах токенов; seed = 42 при T = 0.6, вероятности вычислены точным двусторонним тестом Мак-Немара.
|
Набор ( |
Режим |
Исходная модель: Точн. ( |
|
Приобретено / потеряно и |
|---|---|---|---|---|
|
MATH-500 ( |
Жадный ( |
|
|
|
|
MATH-500 ( |
Сэмплирование ( |
|
|
|
|
MBPP ( |
Жадный ( |
|
|
|
|
MBPP ( |
Сэмплирование ( |
|
|
|
|
HumanEval ( |
Жадный ( |
|
|
|
|
HumanEval ( |
Сэмплирование ( |
|
|
|
|
ARC-Challenge ( |
Жадный ( |
|
|
|
|
ARC-Challenge ( |
Сэмплирование ( |
|
|
|
|
BBH Logic ( |
Жадный ( |
|
|
|
|
BBH Logic ( |
Сэмплирование ( |
|
|
|
|
Все ( |
Жадный ( |
|
|
|
|
Все ( |
Сэмплирование ( |
|
|
|
(Суммарно по четырём нематематическим наборам при T = 0: 311 → 351 из 554, ; сокращение средней длины по всей выборке —
63.1% при T = 0 и 33.6% при T = 0.6.)
Бюджет 32 768 токенов и 316 продолжений: все 25 прогонов (5 270 ответов) исполнены в BF16 на vLLM 0.34.0 при presence_penalty = 0. Целевой бюджет составлял 32 768 новых токенов; для 316 возобновлённых жадных ответов исходной модели (T = 0) исходный текст повторно токенизировали и выделяли 24 576 токенов продолжения (в одном случае — BBH Logic, индекс 11, 8 193 + 24 576 — сумма при исполнении составила 32 769). Поле total_tokens сверено повторной токенизацией всего сохранённого текста (446 точных совпадений, 4 771 с разницей 1 токен, 53 с разницей 2 токена; счётчики шагов возобновлённой генерации сохранены отдельно в сертификате).
Веса, наборы данных и лицензии: см. DATASETS_AND_LICENSES.md [7]. Исходные тексты условий MATH-500 в публичном репозитории не перераспространяются (вместо них приложены datasets/math500_ids_manifest.json и traces/math500_per_item_results.json с построчными оценками и text_sha256). Базовая модель deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B (model.safetensors, SHA-256: 58858233513d76b8703e72eed6ce16807b523328188e13329257fb9594462945), поправка FINAL_SGNE_CC_V2_205_PATCH.npz [8] (SHA-256: 6f435a63eb306047fe55353b7a911d32a17dd999efa65f082dd1d7c3779a0b2c), сертификат SHA256_AND_METRICS_CERTIFICATE.json [9] и манифест SHA256_MANIFEST.json [10] (42/42 совпадающих SHA-256).
Команды проверки целостности и наложения поправки из корня репозитория:
# Требует: numpy
python3 verification/verify_repo_integrity.py
# Требует: numpy, torch, safetensors
python3 patch/apply_sgne_cc_v2_205_to_safetensors.py
--base-dir /path/to/DeepSeek-R1-Distill-Qwen-1.5B
--patch patch/FINAL_SGNE_CC_V2_205_PATCH.npz
--out-dir /path/to/DeepSeek-R1-Distill-Qwen-1.5B-SGNE-CC-v2
Примечание: работа выполнена в сотрудничестве с ИИ — как в самом исследовании, так и в подготовке кода, графиков и текста. Полную ответственность за выводы несёт автор, а все числа и замеры проверяются локально по открытой поправке, трассам и скриптам на процессоре.
Статья, поправка и трассы (GitHub) [11] · Релиз v2.0.0 (.npz) [12] · Архив DOI (Zenodo) [13]
Код, весовая поправка и текст автора открыты под лицензией Apache-2.0; сторонние данные и базовые веса сохраняют исходные лицензии.
Автор: igorzhuk
Источник [14]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38890
URLs in this post:
[1] математике: http://www.braintools.ru/article/7620
[2] DOI: 10.5281/zenodo.24235218: https://doi.org/10.5281/zenodo.24235218
[3] dna-weight-editing: https://github.com/Nondual-Observer/dna-weight-editing
[4] внимания: http://www.braintools.ru/article/7595
[5] ошибка: http://www.braintools.ru/article/4192
[6] обучения: http://www.braintools.ru/article/5125
[7] DATASETS_AND_LICENSES.md: https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2/blob/main/DATASETS_AND_LICENSES.md
[8] FINAL_SGNE_CC_V2_205_PATCH.npz: https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2/blob/main/patch/FINAL_SGNE_CC_V2_205_PATCH.npz
[9] SHA256_AND_METRICS_CERTIFICATE.json: https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2/blob/main/verification/SHA256_AND_METRICS_CERTIFICATE.json
[10] SHA256_MANIFEST.json: https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2/blob/main/verification/SHA256_MANIFEST.json
[11] Статья, поправка и трассы (GitHub): https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2
[12] Релиз v2.0.0 (.npz): https://github.com/Nondual-Observer/deepseek-r1-1.5b-sgne-cc-v2/releases/tag/v2.0.0
[13] Архив DOI (Zenodo): https://doi.org/10.5281/zenodo.24398165
[14] Источник: https://habr.com/ru/articles/1110462/?utm_campaign=1110462&utm_source=habrahabr&utm_medium=rss
Нажмите здесь для печати.