GPT-6 Astra вручную исправила Qwen и причем тут MIT

Теперь можно попросить переписать веса другой нейросети просто сказав, что ты хочешь видеть. На днях исследователи из MIT CSAIL опубликовали ^[1] технический отчет «Sparks of Weight-Space Programming». Языковая модель GPT-6 Astra от OpenAI читает веса другой нейросети, то есть числа, из которых складывается ее поведение ^[2], находит в них проблему и исправляет нужные значения напрямую, без обучения ^[3] на данных. 

Так, у открытой модели Qwen3.5-0.8B от Alibaba исправили зацикливание в рассуждениях: изменив примерно 0,016% весов, модель подняла результат на MATH-500 с 7,9% до 48,1%.

131 000 весов вместо дообучения

Авторы работы — Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб. Хаттаб известен как создатель DSPy и ColBERT, двух широко используемых инструментов для работы с LLM и поиском. Задача формулировалась на естественном языке. Примерно так: улучши математику ^[4] у Qwen3.5-0.8B, редактируя ее веса. Astra получала промпты и в части экспериментов Python-песочницу, но обучать модель ей было нельзя.

Итог по данным ^[1] авторов при бюджете в 50 прямых проходов выглядит так:

• параметр MATH-500 поднялся с 7,9% до 48,1%;

• GSM8K — с 13,8% до 67,1%;

• IFEval (следование инструкциям) с 21,0% до 62,3%;

• доля ответов, упершихся в лимит 32 768 токенов, с 93% до 33,1%.

Последняя строка объясняет все остальное. Маленькая Qwen проваливала задачи, потому что зацикливалась в рассуждениях и не доходила до ответа.

Как модель нашла поломку

Astra проследила зацикливание до конкретного направления в пространстве активаций, которое записывают MLP-блоки в слоях 15 и 19. Затем она вычла это направление из 64 выходных столбцов в каждом из двух слоев. Получилось 131 072 измененных веса, или те самые 0,016% модели. Для проверки и уточнения правок ей понадобилось до 50 прямых проходов. При бюджете в 10 или 25 проходов петли в основном сохранялись.

Фактически это механистическая интерпретируемость, которую раньше делали люди с ноутбуками и неделями анализа, выполненная моделью за один сеанс. Техника вычитания направлений давно известна по работам о steering-векторах и отключении отказов. Новое в том, что направление модель нашла сама, по задаче, которую ей описали словами.

Где метод упирается в потолок

Авторы уже показали границу, с Gemma 3 270M от Google тот же подход не сработал, потому что эта модель редко зацикливается и чинить в ней было нечего. Их вывод сформулирован с опаской. Правка весов умеет убрать препятствие, которое мешает модели проявить уже имеющуюся способность, но добавить способность, которой у модели нет, не может.

Это важно, так как рост с 7,9% до 48,1% на MATH-500 выглядит как чудо, пока не вспомнишь, что базовая модель почти всегда обрывалась на лимите токенов. Значительная часть прироста — это модель, которой наконец дали договорить. Независимого воспроизведения пока нет, а эксперименты ограничены моделями до миллиарда параметров.

Зачем это нужно знать

Для тех, кто разворачивает маленькие открытые модели на своем железе, открывается дешевая альтернатива дообучению в узком классе задач. Если модель ломается из-за одного поведенческого дефекта вроде зацикливания, повторов или срыва формата, локальная правка нескольких слоев обходится в лишние прогоны на инференсе. LoRA требует датасета и GPU-часов.

Обратная сторона тоже понятна. Если фронтирная модель умеет точечно менять поведение ^[5] чужих весов, она умеет и встраивать закладки. На прошлой неделе группа с участием Николаса Карлини показала ^[6], что 0,1% отравленных данных при претрейне достаточно для бэкдора в CLI-агенте на базе Qwen3-4B с успешностью около 92%. Вместе эти работы делают проверку происхождения весов открытых моделей такой же обязательной процедурой, как проверку контрольных сумм у пакетов.

Как тогда проверять модель, которую обучила чужая компания, и есть ли вообще способ это сделать? Пишите в комментариях.

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роут ^[7]ер → ^[8]