- BrainTools - https://www.braintools.ru -

Concertina: как сложить Qwen3-4B в два раза обогнать модель, обученную на 36 трлн токенов

Concertina: как сложить Qwen3-4B в два раза обогнать модель, обученную на 36 трлн токенов - 1

Исследователи предложили способ сжать большую языковую модель почти вдвое и сохранить около 85% ее качества, не тратя ресурсы на обучение [1] с полного нуля. Полученная модель на 2,27 млрд параметров прошла дистилляцию всего на 22 млрд токенов, но в среднем уже обходит Qwen3-1.7B, которую учили на 36 трлн токенов (то есть на объеме данных в 1 600 раз больше).

Метод назвали Concertina, от англ. «концертина» — вид небольшой гармошки, а не чего-то «конкретного». Способ подробно описали в статье [2] «Folding Language Models into Themselves». Готовые веса уже выложены на Hugging Face [3] под свободной лицензией Apache 2.0.

Что значит «свернуть» модель

Принцип работы Concertina. Группа слоев заменяется одним блоком с циклом на N проходов, где на каждом шаге к общим весам добавляется небольшая поправка. Источник.

Принцип работы Concertina. Группа слоев заменяется одним блоком с циклом на N проходов, где на каждом шаге к общим весам добавляется небольшая поправка. Источник [4].

Обычно при сжатии нейросетей лишние слои просто выкидывают, но от этого модель «глупеет», так как теряет глубину рассуждений. Авторы Concertina пошли другим путем и буквально сложили соседние слои Qwen3-4B попарно, как меха гармошки. 

Каждая пара соседних слоев Qwen3-4B заменяется одним общим блоком, который выполняется дважды. Общие линейные матрицы берутся из первого слоя пары. Второй проход получает поправку ранга 64, которую инициализируют усеченным SVD разности двух исходных слоев, а поток поправки масштабирует гейт для каждого токена. Нормализации RMSNorm у каждого прохода свои. После сборки студента дистиллируют из той же Qwen3-4B, потеряв при этом 43% параметров: 2,27B против 4,02B.

Сравнение с ближайшими альтернативами

Данные взяты из таблицы [3] в пересказе карточки модели.

Qwen3-4B (учитель)

Qwen3-1.7B

Concertina-2.27B

Параметры

4,02B

1,72B

2,27B

Токены обучения

36T

36T

22B (дистилляция)

base-7 (среднее)

0,630

0,562

0,580

MMLU

0,671

0,557

0,556

MMLU-Redux

0,720

0,591

0,587

MMLU-Pro

0,404

0,297

0,301

GPQA

0,379

0,293

0,308

BBH

0,505

0,363

0,400

GSM8K

0,879

0,710

0,788

MATH

0,566

0,460

0,498

Чтобы было проще ориентироваться в метриках: base-7 — это средний балл по семи базовым тестам на здравый смысл и понимание контекста, Redux и Pro — исправленная и усложненная версии бенчмарка MMLU, GPQA проверяет научные знания уровня аспирантуры, BBH — сложную логику [5], а GSM8K и MATH — математику [6].

Concertina выигрывает у Qwen3-1.7B по base-7, Pro, GPQA, BBH, GSM8K и MATH, а на MMLU (0,556 против 0,557) и Redux (0,587 против 0,591) уступает с минимальным отрывом. Учителя она не догоняет ни на одном тесте. По моему расчету из таблицы, средняя доля качества учителя равна 84%, как и заверяют авторы. Задачи на рассуждения держатся лучше всего, около 90% у base-7 и GSM8K, а знания и сложные вопросы теряют больше, Pro и BBH ближе к 75–80%.

Что экономится, а что нет

Вес в bf16 уменьшается с 8,0 до 4,5 ГБ. Эффективная глубина остается 36 слоев (18 уникальных блоков по два прохода), и KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, примерно столько же, потому что каждый общий блок исполняется дважды. 

Замеров скорости и пропускной способности в карточке нет. Для устройств, где упираются в память [7] весов, выигрыш виден сразу. Для серверного инференса, где решают скорость и кэш, его пока подтвердить нечем.

Как проверить

Код в репозитории [8] короткий: функции fold_model и distill_loss, самотест на CPU. Лицензия Apache 2.0, как у исходной Qwen3-4B. В репозитории два коммита и единственный чекпоинт, других конфигураций (другой размер группы, другой ранг) нет. 

Стоит проверить метод на модели другого семейства и измерить реальную скорость. Если она не вырастет, Concertina останется способом сделать модель компактнее исключительно по памяти, но не по скорости.

А как вам сама идея рекуррентного «сворачивания» слоев? Кто-нибудь уже успел прогнать чекпоинт у себя и замерить реальный tokens/sec на GPU по сравнению с обычной Qwen3-4B? Делитесь результатами в комментариях.

Concertina: как сложить Qwen3-4B в два раза обогнать модель, обученную на 36 трлн токенов - 3

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер → [9]

Автор: NastolniyShar

Источник [10]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38688

URLs in this post:

[1] обучение: http://www.braintools.ru/article/5125

[2] в статье: https://arxiv.org/abs/2611.18113

[3] на Hugging Face: https://huggingface.co/myboker/Concertina-2.27B

[4] Источник: https://arxiv.org/html/2611.18113

[5] логику: http://www.braintools.ru/article/7640

[6] математику: http://www.braintools.ru/article/7620

[7] память: http://www.braintools.ru/article/4140

[8] в репозитории: https://github.com/myboker/concertina

[9] Запустить ИИ‑роутер →: https://promo.selectel.ru/ai-router/?utm_source=habr.com&utm_medium=referral&utm_campaign=airouter_news_ai-concertina_171126_banner_ord

[10] Источник: https://habr.com/ru/companies/selectel/articles/1108608/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108608

www.BrainTools.ru

Rambler's Top100