Новая правка SGNE-CC опережает MIT-p50c в 8.6 раза на MATH-500 (T=0), расходуя в 3.7 раза меньше токенов. GatedDeltaNet.. GatedDeltaNet. llm.. GatedDeltaNet. llm. MATH-500.. GatedDeltaNet. llm. MATH-500. PyTorch.. GatedDeltaNet. llm. MATH-500. PyTorch. Qwen3.5-0.8B.. GatedDeltaNet. llm. MATH-500. PyTorch. Qwen3.5-0.8B. weight-space programming.. GatedDeltaNet. llm. MATH-500. PyTorch. Qwen3.5-0.8B. weight-space programming. редактирование весов.

Компактная рассуждающая модель Qwen3.5-0.8B (752 млн параметров в текстовой части, 18 рекуррентных слоёв GatedDeltaNet и 6 слоёв внимания) умеет решать математические и логические задачи, но в проверенных опытах часто не доводит ответ до конца. Даже получив верный промежуточный результат, она может повторять самопроверки вплоть до предела генерации в 32 768 новых токенов.

В недавней работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) была предложена правка весов без дообучения MIT-p50c, повысившая точность на MATH-500 с 7.9% до 48.1% (в среднем по четырём прогонам vLLM; базовая модель в этом эталоне достигает предела длины в 93.0% генераций). Этот результат получен с температурой T = 0.6 и штрафом присутствия pp = 1.5, который снижает вероятность уже использованных токенов.

Моей целью было снизить зацикливание и добиться завершения рассуждений за счёт изменения весов, без штрафа за повторы. Так была получена открытая весовая поправка SGNE-CC (Spherical Gated Norm-preserving Edit, Column-Constrained, 3.13 МиБ) — направленные повороты выходных столбцов матриц с сохранением их исходной евклидовой нормы.

Я сравнил базовую Qwen3.5-0.8B, MIT-p50c и SGNE-CC на едином движке PyTorch с исходными весами BF16, при лимите генерации 32 768 новых токенов в двух режимах:

  1. Жадный режим (T = 0, pp = 0) — выбор наиболее вероятного токена без случайности и без штрафа присутствия.

  2. Режим карточки модели (T = 0.6, pp = 1.5) — вероятностный выбор токена с включённым штрафом присутствия. С этими настройками получена приведённая выше оценка MIT на MATH-500.

Проверка проведена в полном объёме по пяти тестовым наборам (MATH-500, MGSM-240, BBH-160, HumanEval-164 и MultiSpeech-64 — 30 прогонов с размышлением, по 1 128 заданий на модель в каждом режиме). При создании SGNE-CC для настройки использовались только 200 задач из MATH-500; остальные 300 задач MATH-500 и все четыре других тестовых набора при подборе весов не затрагивались.

1. Как устроена правка весов: SGNE-CC против MIT-p50c

Правки затрагивают разные слои и по-разному меняют геометрию весовых матриц (нумерация слоёв везде начинается с нуля):

  • MIT-p50c изменяет только две выходные матрицы полносвязных блоков в слоях с индексами 15 и 19 (всего 128 столбцов). Все 18 рекуррентных слоёв GatedDeltaNet, составляющие 75% глубины сети и отвечающие за удержание контекста по шагам, остались нетронутыми. В каждой из двух изменённых матриц MIT-p50c на первую сингулярную моду приходится свыше 99.999% энергии приращения, а нормы отдельных выходных столбцов увеличены на величину до +114.3%.

  • SGNE-CC распределяет поправку по глубине сети: поворачиваются направления 802 выходных столбцов в 15 полносвязных слоях и 1 182 столбцов в 9 рекуррентных слоях GatedDeltaNet, а в слое с индексом 16 дополнительно изменена одна строка ворот затухания (механизма, регулирующего сброс накопленного рекуррентного состояния; всего изменено 2 031 616 скаляров в столбцах и 1 024 в строке ворот — 2 032 640 параметров). Слои внимания не изменяются. Максимальное отклонение нормы любого изменённого столбца после округления в BF16 не превышает 0.1625% (около 0.16%, медианный угол поворота — 8.8°, максимальный — 93.7°), а доля первой сингулярной моды в матрицах слоёв 15 и 19 составляет 67.6% и 73.4%.

В проверенных опытах с SGNE-CC модель заметно реже обрывает рассуждение на лимите, в том числе без штрафа за повторы. Архитектура, токенизатор и код исполнения остаются штатными.

2. Жадный режим (T = 0, pp = 0) и режим карточки на MATH-500

В жадном режиме без штрафа присутствия MIT-p50c достигает предела генерации в 85.1% случаев: 960 обрывов на 1 128 заданиях пяти наборов. У SGNE-CC доля обрывов составляет 18.8% (212 из 1 128), у базы — 98.0%. Средняя длина ответа SGNE-CC в 3.5 раза меньше, чем у MIT-p50c: 8.0 тыс. против 28.5 тыс. токенов; у базы — 32.1 тыс. Результаты отдельных наборов приведены ниже.

MATH-500 — жадный режим (T=0, pp=0)

MATH-500 — жадный режим (T = 0, pp = 0)

Рис. 1. В жадном режиме (T = 0, pp = 0) SGNE-CC решает 43% задач полного набора MATH-500 против 5% у MIT-p50c (в 8.6 раза больше), расходуя в 3.7 раза меньше токенов. Все 500 задач без штрафа присутствия; единый движок PyTorch, лимит генерации 32 768 токенов. Строгий зачёт требует корректного завершения генерации и верного ответа в итоговой рамке.

На полном наборе MATH-500 (500 задач) в жадном режиме базовая модель при строгом зачёте не завершает ни одной задачи (0%, 100% обрывов на 32k), MIT-p50c решает 25 из 500 (5.0%) при 95.0% обрывов и средней длине 31.4 тыс. токенов, а SGNE-CC решает 215 из 500 (43.0%) при 18.4% обрывов и средней длине 8.6 тыс. токенов (парный критерий МакНемара: +195 побед против 5 потерь, p < 0.0001).

На 300 нетронутых задачах MATH-500, которые не участвовали в подборе весов, отрыв в жадном режиме ещё заметнее: SGNE-CC решает 154 из 300 (51.3%) против 20 из 300 (6.7%) у MIT-p50c и 0 из 300 у базы (p < 0.0001), а на выделенной подвыборке из 49 нетронутых задач — 24 из 49 (49.0%) против 2 из 49 у MIT-p50c и 0 из 49 у базы (p < 0.0001).

В записях генераций встречается такой сценарий: модель получает верный промежуточный результат, но не переходит к итоговому ответу. Например, в задаче о переводе декартовых координат в полярные MIT-p50c в начале рассуждения получает правильную пару координат, после чего сотни раз повторяет один и тот же абзац проверки вплоть до обрыва на 32 768 токенах. SGNE-CC записывает итоговый ответ в рамку и штатно останавливается на 2 394 токенах.

Даже если отказаться от строгого требования завершения генерации и оценивать ответы по правилам из репозитория MIT, перевес сохраняется:

  • по основному правилу MIT (засчитывающему ответ в рамке без проверки закрытия размышления) счёт составляет 215 у SGNE-CC против 32 у MIT-p50c и 14 у базы;

  • по резервному правилу MIT, допускающему извлечение последнего числа из ответа, SGNE-CC всё равно выигрывает более чем вдвое: 221 против 93 у MIT-p50c и 71 у базы.

MATH-500 — режим карточки модели (T=0.6, pp=1.5)

MATH-500 — режим карточки модели (T = 0.6, pp = 1.5)

Рис. 2. В режиме карточки модели (T = 0.6, pp = 1.5) MIT-p50c получает более высокую точность в прямом прогоне PyTorch (51.8% против 47.0%), но ответы SGNE-CC вчетверо короче и упираются в лимит в 17.6 раза реже (1.6% против 28.2%). Все 500 задач MATH-500 на едином движке PyTorch.

В режиме карточки модели (T = 0.6, pp = 1.5) соотношение результатов меняется. В прямом прогоне на PyTorch по всем 500 задачам база решает 39 (7.8%), MIT-p50c — 259 (51.8%), а SGNE-CC — 235 (47.0%) (номинальное p = 0.048 в пользу MIT). Относительно первого внешнего запуска самих авторов MIT в vLLM (48.2%, или 241 из 500; среднее четырёх прогонов vLLM — 48.1% при 33.1% обрывов и 22.0 тыс. токенов) статистически значимого различия по точности с SGNE-CC не выявлено (p = 0.67), что не доказывает равенства моделей. При этом ответы SGNE-CC в 4.0 раза короче в прямом прогоне PyTorch (5.3 тыс. против 21.1 тыс. токенов; в 4.1 раза короче среднего vLLM), а обрывы на пределе 32k происходят в 17.6 раза реже (1.6% против 28.2% в PyTorch; в 20.7 раза реже относительно 33.1% в vLLM).

По уровням сложности MATH-500 виден характерный компромисс:

  • На простых задачах (уровни 1–2, 133 задачи) в режиме карточки со штрафом MIT-p50c решает 103 задачи (77.4%) против 92 (69.2%) у SGNE-CC, но в жадном режиме (T = 0, pp = 0) результат SGNE-CC составляет 95 из 133 (71.4%), тогда как MIT-p50c решает 13 из 133 (9.8%).

  • На сложных задачах (уровни 3–5, 367 задач) в режиме карточки точность близка — 143 из 367 (39.0%) у SGNE-CC против 156 из 367 (42.5%) у MIT-p50c (p = 0.24; у базы 17 из 367, или 4.6%), однако MIT-p50c достигает лимита 32 768 токенов в 124 ответах из 367 (33.8%), а SGNE-CC — лишь в 7 ответах (1.9%), то есть в 17.7 раза реже при длине в 3.7 раза меньше (6.3 тыс. против 23.5 тыс. токенов). В жадном режиме (T = 0) на уровнях 3–5 SGNE-CC решает 120 из 367 (32.7%) против 12 из 367 (3.3%) у MIT-p50c.

3. Перенос на многоязычную математику, логику, код и тексты (таблица 5 × 2)

Обе правки настраивались только на англоязычных математических задачах. Ниже — результаты на четырёх других наборах, которые не участвовали в подборе весов.

MGSM-240 — жадный режим (T=0, pp=0)

MGSM-240 — жадный режим (T = 0, pp = 0)

Рис. 3. В жадном режиме (T = 0, pp = 0) на многоязычных текстовых задачах MGSM-240 SGNE-CC опережает MIT-p50c на всех шести языках (38.3% против 21.3% в сумме). По 40 задач на русском, китайском, японском, французском, испанском и немецком языках.

BBH-160 — жадный режим (T=0, pp=0)

BBH-160 — жадный режим (T = 0, pp = 0)

Рис. 4. На символической логике BBH-160 SGNE-CC получает 41.3% в обоих прогонах. У MIT-p50c результат составляет 3.8% в жадном режиме и 50.6% в режиме карточки. Восемь логических подтестов BIG-Bench Hard по 20 задач.

HumanEval-164 — жадный режим (T=0, pp=0)

HumanEval-164 — жадный режим (T = 0, pp = 0)

Рис. 5. На генерации кода Python (HumanEval-164) в жадном режиме (T = 0) SGNE-CC показывает лучший результат всей серии — 32.3% (53 из 164), сокращая общую длину ответа в 5.2 раза (5.1 тыс. против 26.3 тыс. токенов), а само размышление — в 12.5 раза. Зачёт по модульным тестам при T = 0, pp = 0.

Ниже сведены результаты трёх моделей в 10 сочетаниях тестового набора и режима генерации (5 наборов × 2 режима), с лимитом 32 768 токенов:

Тестовый набор (лимит 32 768 токенов)

Режим декодирования

Qwen3.5-0.8B

MIT-p50c

SGNE-CC

Длина, обрывы 32k и значимость (SGNE к MIT)

MATH-500 (500 задач)

Жадный (T = 0, pp = 0)

0/500 (0.0%)

25/500 (5.0%)

215/500 (43.0%)

В 3.7 раза короче (8.6 против 31.4 тыс.), обрывы 18.4% против 95.0%, p < 0.0001

MATH-500 (500 задач)

Карточка (T = 0.6, pp = 1.5)

39/500 (7.8%)

259/500 (51.8%)

235/500 (47.0%)

В 4.0 раза короче (5.3 против 21.1 тыс.), обрывы 1.6% против 28.2%, p = 0.048 (в пользу MIT; к vLLM 48.2% p = 0.67)

MGSM-240 (6 языков)

Жадный (T = 0, pp = 0)

5/240 (2.1%)

51/240 (21.3%)

92/240 (38.3%)

В 2.9 раза короче (8.2 против 24.0 тыс.), обрывы 20.4% против 70.8%, p < 0.0001 (40 блоков)

MGSM-240 (6 языков)

Карточка (T = 0.6, pp = 1.5)

62/240 (25.8%)

137/240 (57.1%)

100/240 (41.7%)

В 2.8 раза короче (3.1 против 8.6 тыс.), обрывы 2.1% против 3.8%, p < 0.0001 (40 блоков, в пользу MIT)

BBH-160 (логика)

Жадный (T = 0, pp = 0)

0/160 (0.0%)

6/160 (3.8%)

66/160 (41.3%)

В 4.4 раза короче (7.2 против 31.7 тыс.), обрывы 16.9% против 94.4%, p < 0.0001

BBH-160 (логика)

Карточка (T = 0.6, pp = 1.5)

3/160 (1.9%)

81/160 (50.6%)

66/160 (41.3%)

В 6.9 раза короче (2.4 против 16.9 тыс.), обрывы 0.6% (1) против 14.4% (23), p = 0.058

HumanEval-164 (код Python)

Жадный (T = 0, pp = 0)

9/164 (5.5%)

23/164 (14.0%)

53/164 (32.3%)

Ответ в 5.2 раза короче (5.1 против 26.3 тыс.; размышление в 12.5 раза короче: 1.8 против 22.1 тыс.), обрывы 13.4% против 78.0%, p < 0.0001

HumanEval-164 (код Python)

Карточка (T = 0.6, pp = 1.5)

26/164 (15.9%)

51/164 (31.1%)

46/164 (28.0%)

Ответ в 8.3 раза короче (1.1 против 8.8 тыс.; размышление в 14.1 раза короче: 449 против 6 334 ток.), обрывы 0.0% против 13.4%, p = 0.47

MultiSpeech-64 (8 яз., автофильтр)

Жадный (T = 0, pp = 0)

2/64 (3.1%)

17/64 (26.6%)

23/64 (35.9%)

Незакрытое размышление: 5 против 22, медиана длины 2 235 против 32 768 ток. (средняя 13.0 против 20.2 тыс.), p = 0.21

MultiSpeech-64 (8 яз., автофильтр)

Карточка (T = 0.6, pp = 1.5)

43/64 (67.2%)

58/64 (90.6%)

57/64 (89.1%)

Медиана длины 1 861 против 2 311 ток. (средняя 2.9 против 2.5 тыс.), обрывы 3.1% против 0.0%, p = 1.00

Сопоставление всей матрицы 5 на 2 показывает чёткое разделение режимов:

  • На многоязычной арифметике MGSM-240 в режиме карточки более короткая генерация SGNE-CC (3.1 тыс. против 8.6 тыс. токенов) сопровождается уступкой по точности относительно MIT-p50c: 100 против 137 решённых задач; различие значимо с учётом объединения переводов в 40 шестиязычных блоков. В жадном режиме результат MIT-p50c составляет 21.3% вместо 57.1%. SGNE-CC получает 38.3% в сумме и опережает MIT-p50c на каждом из шести языков. На китайском MIT-p50c решает 7.5% задач против 57.5% в режиме карточки, при 90.0% обрывов.

  • В символической логике BBH-160 SGNE-CC решает 66 из 160 задач (41.3%) в каждом из двух прогонов. У MIT-p50c результат составляет 50.6% в режиме карточки и 3.8% в жадном режиме. На подтесте булевой дедукции Web of Lies (20 задач) SGNE-CC решает 7 из 20 (35.0%) против 0 из 20 у MIT-p50c и базы при T = 0, а в режиме карточки — 9 из 20 (45.0%) против 7 из 20 (35.0%) у MIT-p50c и 0 из 20 у базы при 0.0% обрывов.

  • В генерации кода Python (HumanEval-164) SGNE-CC получает 32.3% (53 из 164) в жадном режиме и 28.0% в режиме карточки. Первый результат — лучший среди трёх моделей в обоих режимах; размышление при этом в 12.5 раза короче, чем у MIT-p50c при T = 0 (1.8 тыс. против 22.1 тыс. токенов).

  • В текстовой генерации на 8 языках (MultiSpeech-64) автоматический фильтр проверяет только структурное завершение ответа и пороги повторов (не оценивая фактическую достоверность содержания). При T = 0 SGNE-CC вчетверо реже оставляет незакрытым блок размышления (5 случаев против 22 у MIT-p50c), хотя в режиме карточки у обеих правок встречаются единичные иероглифические вставки, а на немецком языке у SGNE-CC сохраняются повторы в 4 из 8 заданий.

4. Ограничения и как проверить у себя

Сохранение норм столбцов проверено непосредственно на весах. Но какая часть улучшения связана именно с ним, а какая — с выбором слоёв и другими изменениями, ещё предстоит установить. На каждую задачу в каждом режиме опубликован один прогон. Разбиение MATH-500 на 200 калибровочных и 300 нетронутых задач открыто; их разделение до анализа результатов опирается на протокол автора. Значения p приведены без поправки на множественные сравнения.

Процедура поиска углов поворота не публикуется. Файл весовой поправки (sgne_cc_dna_delta.npz, 3.13 МиБ), готовые веса BF16, разбиение задач, все 38 файлов с записями генераций и программы проверки открыты:

python3 apply_dna_patch.py --verify-only
python3 scripts/verify_paper_metrics.py

Примечание: работа выполнена И. М. Жуком в сотрудничестве с ИИ — как в самом исследовании, так и в подготовке кода, графиков и текста. Полную ответственность за выводы несёт автор. Данные и расчёты доступны в открытом репозитории.

Статья, записи генераций и проверки (GitHub) · Архив DOI (Zenodo) · Веса BF16 и поправка SGNE-CC (Hugging Face)

Код, весовая поправка и текст автора открыты под лицензией Apache-2.0; сторонние данные, код и журналы сохраняют исходные лицензии.

Автор: igorzhuk

Источник