Аудит MIT-p50c для Qwen3.5-0.8B и редактирование весов с сохранением норм (SGNE-CC) при лимите 32 768 токенов

Qwen3.5-0.8B — модель с 752 млн параметров, 18 рекуррентными слоями GatedDeltaNet и 6 слоями внимания ^[1]. В проверенных прогонах с весами BF16 она часто не завершает размышление до лимита в 32 768 новых токенов. В работе MIT CSAIL Sparks of Weight-Space Programming ^[2] (Takehi et al., 2026) правка весов без дообучения MIT-p50c повышает точность на MATH-500 с 7.9% до 48.1% — в среднем по четырём прогонам vLLM с настройками из карточки модели: температурой 0.6 и штрафом 1.5 за уже использованные токены. Базовая модель в этом эталоне достигает предела длины в 93.0% генераций. Сохраняется ли сокращение зацикливания без случайного выбора токенов и штрафа за повторы? Какие различия в геометрии весов сопровождают изменение поведения ^[3]?

В исследовании сопоставлены геометрия и поведение ^[4] MIT-p50c и SGNE-CC (Spherical Gated Norm-preserving Edit, Column-Constrained — сферической весовой поправки с сохранением норм и рекуррентными воротами объёмом 3.13 МиБ), полученной без дообучения поворотами выходных столбцов с сохранением их исходной длины. Этот способ назван ДНК-редактированием весов.

1. Геометрия весовых правок: MIT-p50c против SGNE-CC

В каждой из двух изменённых выходных матриц полносвязных блоков MIT-p50c — слои с индексами 15 и 19, всего 128 столбцов — на первую сингулярную моду приходится свыше 99.999% энергии приращения. Нормы отдельных столбцов увеличены на величину до 114.3%. Все 18 рекуррентных слоёв GatedDeltaNet, составляющие 75% глубины сети, остались нетронутыми.

SGNE-CC изменяет направления 802 выходных столбцов в 15 полносвязных слоях и 1 182 столбцов в 9 рекуррентных слоях. Слои внимания не изменены; дополнительно изменена одна строка ворот затухания в слое с индексом 16. Максимальное отклонение нормы изменённого столбца после округления BF16 — около 0.16%, медианный угол поворота — 8.8°. В матрицах слоёв 15 и 19 на первую сингулярную моду приходится соответственно 67.6% и 73.4% энергии приращения. Нумерация слоёв начинается с нуля. Архитектура, токенизатор и программа исполнения модели остаются прежними.

2. Математические тесты при лимите генерации 32 768 токенов (MATH-500)

Рис. 1. При нулевой температуре и без штрафа повторов SGNE-CC чаще завершает генерацию, чем MIT-p50c. Стратифицированная выборка из 100 задач семи разделов MATH-500; A100, BF16. Строгий зачёт требует завершения генерации и верного результата в итоговой рамке.

При строгом зачёте базовая модель не решает ни одной задачи из 100, MIT-p50c решает 4, а SGNE-CC — 44 (парный критерий МакНемара, p < 0.0001). Средняя длина ответов SGNE-CC и MIT-p50c составляет 6.0 тыс. и 31.6 тыс. токенов, доля достижения лимита — 10% и 96%. У MIT-p50c в 96 задачах из ста размышление остаётся незавершённым; у SGNE-CC таких случаев 4.

В задаче о переводе декартовых координат в полярные MIT-p50c рано получает правильный результат, но затем 451 раз повторяет абзац проверки до лимита генерации. SGNE-CC выдаёт итоговый ответ и останавливается на 2 394 токенах. При резервном извлечении ответа из незавершённых рассуждений по правилу MIT преимущество SGNE-CC сохраняется: 45 из 100 против 20 из 100, у базы — 7 (p < 0.0001). Основное правило MIT, не требующее окончания генерации, даёт соответственно 44, 5 и 1.

По протоколу автора, после заморозки весов из 300 задач вне калибровочного набора отобраны 49 задач для отдельной проверки. При нулевой температуре SGNE-CC решает 24 из 49, база — ни одной (p < 0.0001).

Рис. 2. В режиме карточки модели SGNE-CC генерирует вчетверо короче внешнего эталона MIT-p50c, тогда как сравнение точности зависит от движка. Столбики базовой модели и MIT-p50c на графике показывают среднее четырёх запусков vLLM из репозитория MIT; SGNE-CC — один прогон генератора на PyTorch.

Режим карточки модели меняет результат MIT-p50c на той же сотне задач с 4 до 45, а суммарный счёт SGNE-CC остаётся прежним — 44 из 100. В прямом прогоне на PyTorch по всем 500 задачам база решает 39 (7.8%), MIT-p50c — 259 (51.8%), SGNE-CC — 235 (47.0%); номинальное p = 0.048. Средняя длина у SGNE-CC в 4.0 раза меньше: 5.3 тыс. против 21.1 тыс. токенов. Лимит генерации достигается в 17.6 раза реже: 1.6% против 28.2%.

При сравнении с первым внешним запуском MIT в vLLM — 241 из 500, или 48.2% — статистически значимого различия с SGNE-CC не выявлено (p = 0.67). Это не устанавливает эквивалентности моделей. Относительно среднего четырёх прогонов vLLM ответы SGNE-CC короче в 4.1 раза, а достижения лимита реже в 20.7 раза.

Рис. 3. На задачах уровней трудности 3–5 SGNE-CC значительно реже достигает лимита генерации; больше задач решает MIT-p50c. Прямой прогон 367 задач MATH-500 в режиме карточки модели.

На уровнях трудности 3–5 лимита в 32 768 токенов достигают 124 ответа MIT-p50c из 367 (33.8%) и 7 ответов SGNE-CC (1.9%) — разница в 17.7 раза. Средняя длина у SGNE-CC в 3.7 раза меньше: 6.3 тыс. против 23.5 тыс. токенов. Правильных ответов 143 (39.0%) против 156 (42.5%) у MIT-p50c, p = 0.24; база решает 17 из 367 (4.6%). В элементарной и школьной алгебре выше результат MIT-p50c: 96 из 142 против 77 из 142 у SGNE-CC. По сумме четырёх разделов — углублённой алгебры, начал анализа, геометрии и комбинаторики с теорией вероятностей — счёт обратный: 37 из 178 у MIT-p50c против 46 из 178 у SGNE-CC.

3. Перенос на другие задачи и границы метода

По протоколу исследования обе правки подбирались на математических задачах. Таблица показывает их перенос на другие области. Значения p относятся к сравнению доли зачтённых ответов SGNE-CC и MIT-p50c.

На MGSM-240 более короткая генерация SGNE-CC сопровождается значимой потерей точности относительно MIT-p50c: 100 правильных ответов против 137, с учётом объединения переводов в 40 задач. В логике и написании кода обе правки дают больше правильных ответов, чем база; SGNE-CC при этом генерирует короче MIT-p50c и редко достигает лимита. В многоязычной генерации автоматический фильтр проверяет завершение ответа и пороги повторов, но не достоверность содержания. В режиме карточки у обеих правок встречаются единичные иероглифические вставки; у SGNE-CC сохраняются повторы на немецком языке — 4 случая из 8.

Сохранение норм столбцов проверено на весах. Для отделения его причинного вклада от ранга поправки, набора слоёв и строки ворот в слое с индексом 16 нужны отдельные опыты. На каждую задачу опубликован один прямой прогон; привязка отдельных файлов к ускорителям в журналах не сохранена. Разбиение MATH-500 на 200 калибровочных и 300 нетронутых задач приведено в манифесте. Значения p номинальные, без поправки на множественные сравнения. Поиск углов поворота не публикуется. Файл весовой поправки (sgne_cc_dna_delta.npz, 3.13 МиБ), все 26 файлов трасс (37 сумм SHA-256) и программы проверки на процессоре открыты:

python3 apply_dna_patch.py --verify-only
python3 scripts/verify_paper_metrics.py

Примечание: работа выполнена в сотрудничестве с ИИ — как в самом исследовании, так и в подготовке кода, графиков и текста. Полную ответственность за выводы несёт автор, а все числа и замеры проверяются локально по открытой поправке, 26 трассам и скриптам на процессоре.

Статья, трассы и проверки (GitHub) ^[6] · Архив DOI (Zenodo) ^[7] · Весовая поправка SGNE-CC (Hugging Face) ^[8]

Код, весовая поправка и текст автора открыты под лицензией Apache-2.0; сторонние данные, код и журналы сохраняют исходные лицензии.