Как я опоздал на конкурс OpenAi с новой архитектурой нейросети

В апреле OpenAi проводила конкурс Parameter Golf ^[1] на самую эффективную нейросеть. Были выставлены ограничения — 16 мегабайт на веса и обвязку, 10 минут обучения ^[2] на восьми H100. Единственный критерий — самый низкий bpb. Бэйслайном конкурса был код от OpenAi, собранный в классической архитектуре классическими инструментами, его bpb составил 1,2244, победитель добился 1.0565

Идея конкурса мне очень понравилась по весьма прозаическим причинам — размер весов позволял провести обучение на моей старенькой Geforce 1660 с шестью гигабайтами памяти ^[3] на борту, а чёткая цель позволяла легко ориентироваться среди конкурентов.

Дальше обзор победителей и мой результат.

Кто с чем пришёл на конкурс

Целевой показатель bpb (bits per byte) хорош тем, что он абсолютно объективен. Микросети принципиально неспособны к удержанию семантики в том виде, в котором вы привыкли при общении с LLM, но этот показатель демонстрирует, как модель научилась сжимать информацию через выучивание базовых грамматических инвариантов. 

Сразу поясню, что в перечень победителей попадали только те, кто улучшил последний лучший результат bpb на 0,005. 

Чтобы втиснуться в 16 МБ и выжать bpb 1.05, подавляющее число участников пошли путем жёсткой оптимизации: 2-битное квантование (разрушающее логику ^[4]), хардкодные N-граммы из 90-х, костыли для регистров (CaseOps) и обучение на лету (TTT). Задача — минимизация bpb на старых архитектурах.

Моя цель была другой: я хотел добиться, того же самого, но через чистую нейросетевую топологию, без скриптовых костылей и статистических махинаций. По сути, только за счет правильной внутренней динамики. В принципе, мой результат bpb 1.075 оказался очень близок к рекордному.

(перевод топа с сайта конкурса)

Когда я увидел первые рекорды с bpb на уровне ещё 1,21 — 1,22, то немного испугался. Люди работали с нейросетями объемом более 100 миллионов параметров (которые моя видеокарта даже бы не смогла пошевелить), применяли жесточайшее квантование, и чем дальше, тем хуже. Использовались инструменты о которых я, честно говоря, и не слышал.

Вот саммари основных направлений оптимизации, желающие могут изучить дополнительно:

1. Test-Time Training (TTT) и его мутации: Настройка весов прямо в процессе инференса на конкретном промпте. Участники используют Score-First TTT (сначала оцениваем, потом учим), Phased TTT (обучение по фазам контекста), LoRA-TTT и экзотические фиксы вроде Warm-A (теплый старт матриц) или заморозку Q/V матриц во время TTT (No-Q/V).

2. Агрессивное квантование и компрессия: AWQ-lite, GPTQ (с калибровочными батчами), int7 для эмбеддингов и погрупповое сжатие lrzip.

3. Механизм внимания: Отказ от классического Attention в пользу SparseAttnGate, внимания с переменной длиной (VarLen Attention), гейтирования выходов внимания (Attention Output Gate) и подгонки QK-Gain для стабилизации softmax-распределения.

4. Работа с регистрами и логитами: Внедрение CaseOps (биективные преобразования токенизатора для умной обработки регистра без потери байтовой информации) и AsymLogit (асимметричные логиты).

5. Нормализация и регуляризация: PolarNS (применение коэффициентов Ньютона-Шульца вместо стандартного LayerNorm), фьюзд кросс-энтропия с мягким ограничением выбросов (softcapped CE), управление затуханием весов (tapered WD для Muon) и клиппинг градиентов внутри MLP (MLPClip12).

Надо отдать должное OpenAi, понимая, что весь топ будет забит хардкорными ml-инженерами, живущими оптимизацией, был добавлен стек альтернативных архитектур. OpenAi предложила направлять код, который может быть хуже текущего лучшего результата, или не проходящего по размерам нейросети, но с оригинальной архитектурой. Я больше ориентировался именно на этот вариант.

(перевод топа с сайта конкурса)

Здесь лучший результат 1,12, что существенно хуже инженерного топа. Впрочем, по собственному опыту ^[6] скажу, здесь вина больше не архитектур, а разницы в подходах. Классические методы оптимизации плохо или вообще не работают на оригинальных нейросетях, а средства оптимизации уникальных архитектур недостаточно проработаны ни математически ^[7], ни экспериментально.

Саммари подходов:

1. Альтернативы Трансформеру (SSM и Гибриды): Сразу несколько участников экспериментируют с Mamba (State Space Models). Применяются гибридные сборки (например, 5 слоев SSM + 2 слоя Attention), позволяющие получить линейную сложность при длинном контексте (до 32К токенов), сохраняя способность к локальному фокусу через скользящее окно внимания.

2. Текстовая Диффузия: Попытка перенести успех диффузионных моделей из генерации картинок в генерацию текста. Используется дискретная маскированная диффузия (MDLM) вместо классической авторегрессии.

3. Предиктивные Мировые Модели (World Models): Эксперименты с архитектурой JEPA от Яна Лекуна, соединенной с Mamba2. Обучение идет не на уровне предсказания токенов (пикселей), а на предсказании абстрактных скрытых представлений.

4. Экстремальное сжатие: Радикальная квантизация до 1 бита (бинаризация весов). Несмотря на серьезную потерю в скоре (1.12), модель всё еще работает, что доказывает высокую избыточность параметров в LLM.

5. Локальные инъекции рандома и LoRA: Использование случайных линейных отображений в качестве базиса, на котором обучаются низкоранговые адаптеры (LoRA) для экономии памяти, плюс инъекция дифференциальных гейтов во внимание, чтобы слои передавали только новую, а не избыточную информацию.

Что делал я

С учетом моих технических ограничений, обучать большую нейросеть с последующей агрессивной квантизацией возможности не было. Более того, соревноваться с оптимизаторами на их поле смысла не было и нет. Поэтому мой максимум была сеть, которая бы просто влезала в процессе обучения на мою видеокарту.

Здесь могло бы быть описание 150 разных версий кодов, гипотез, предположений, зависаний компьютера, переустановок не выдержавшего драйвера видеокарты и так далее. Но это скучно.

Конечно долгое обучение разных версий сказалось, но на самом деле, просто к окончанию конкурса не было хороших идей. Поэтому, когда 30 апреля конкурс кончился, я не расстроился, а продолжил изыскания дальше, уже в своём ритме, не торопясь. 

В итоге получился код с bpb около 1.075, accuracy (10) — 88.8%. Словарь 1024 токена, датасет Fineweb. Сеть около 17 миллионов параметров. Размер весов до квантования 66 мб, квантованием я в связи с окончанием конкурса заморачиваться не стал. Для меня уже был важен только результат.

Результат, даже с учетом потенциальных потерь после оптимизации, выглядит удивительно в инженерном топе, и лучшим в топе альтернативных архитектур. 

Итак, как выглядит архитектура:

По сути основная идея это гибридизация достоинств рекуррентной нейросети и трансформера. Я разделил нейросеть на три основных элемента. 

1. Сенсорный блок (Sensor) — двухслойный трансформер, отвечает за базовую токенизацию и первичная семантическая обработка

2. Рекуррентный модулятор (Cortex) — рекуррентная нейросеть вычисляет и удерживает долгосрочные инварианты

3. Моторный блок (Motor) — трехслойный трансформер, собирает выходы первых двух элементов и формирует финальные логиты.

Подробнее под спойлером:

Если вы обратите внимание на названия элементов, то наверняка увидите аналогию с человеческим мозгом ^[10]. Как ни странно, это не было задумано специально, а произошло естественно после массы проб и ошибок.

1. Разделение на SENSOR и MOTOR воспроизводит архитектуру афферентных (воспринимающих) и эфферентных (исполнительных) путей нервной системы ^[11]. Первичный анализ признаков изолирован от финального формирования моторных команд (токенов).

2. Блок CORTEX выполняет функцию ассоциативной ^[12] коры. Двухуровневая структура GRU (Fast и Slow контуры) реализует иерархическое удержание контекста на разных временных шкалах, что необходимо для планирования долгосрочных семантических зависимостей.

3. Элемент PredH (слой motor_monitor) технически является аналогом эфферентной копии (efference copy) в нейробиологии. Модель передает копию исполнительного плана обратно в прогнозирующий контур. Это позволяет оценить рассогласование между ожидаемым и реальным хаосом (неопределенностью) моторного блока и минимизировать его через ошибку L_Pred.

Более того, в процессе обучения нейросеть выступила несколько неожиданно, кортекс не обогащал представления сети, а занимался тем, что подавлял шум и неверные векторы. Что весьма подозрительно напомнило мне концепцию Свобода-вето Бенджамина Либета — сознание не создает желания, а лишь отвергает неприемлемые.

А это ссылки на код ^[13], логи ^[14], веса ^[15]. Обратите внимание, инференс нейросети требует передачи state рекуррентной сети, вот пример кода ^[16] для расчета bpb. 

В перспективе, я полагаю, необходимы эксперименты с разморозкой весов, что возможно улучшит инференс и поставит вопрос о возможности реализации continual learning.

Философская база

Этот раздел полезен, но может быть не интересен. Читатели моих предыдущих статей знают, что я придерживаюсь достаточно оригинальных взглядов на сознание, нейросети и философию в целом. Конкретно этот код не опирался на математику, а вполне органично вырос из моих концептуальных гипотез.

В первую очередь, это концепция Апофатического ИИ, концепция утверждает, что нейросеть обучается не на запоминании позитивных примеров, а на отбрасывании ошибочных через проведение границы (формирование инварианта). Подробнее можно прочитать в статье Апофатический ИИ ^[17].  Наиболее неожиданный результат экспериментов состоит в следующем: оба gate (G_fast и G_slow) в процессе обучения ушли в устойчивый минус и продолжали углубляться. Кортекс не добавлял смысл к представлениям автомата, а подавлял лишнее.

По сути это прямое воплощение апофатического принципа на уровне архитектуры. Смысл рождается не из накопления, а из отсечения. Причем не запрограммированного, а появившегося эмерджентно из архитектуры. Последние слои получают уже очищенный сигнал и строят финальное предсказание на более инвариантном пространстве.

Во-вторых, это концепция двухслойного сознания, которую я формулирую так: интеллектуальная система состоит из двух принципиально разных уровней. Первый — байесовский автомат, предиктивная машина, которая непрерывно моделирует внешний мир и реагирует на него. Второй — глубинный слой, который не имеет прямого доступа к внешнему миру вообще. Он видит только первый слой — и именно это меняет его качество..

Глубинный слой не содержит модель мира. Он содержит модель того, как первый слой моделирует мир. Функции глубинного слоя: разрыв зацикливания, выбор менее вероятного, остановка реакции ^[18].

В коде это реализовано буквально. Трансформер — это автомат первого уровня. GRU-кортекс — это наблюдатель второго уровня, который не читает входные токены напрямую. Он получает только усреднённые представления из скрытого пространства, и на основании этого строит модель того, как автомат справляется с текстом.

Ключевое следствие: кортекс вынужден предсказывать выход на следующем шаге. Чтобы делать это хорошо, он строит внутреннюю модель поведения ^[19] автомата. Это и есть операционализация второго уровня сознания через задачу предиктивного кодирования.

Ну и много всего остального, но достаточно и этого.

Заключение

Естественно, в коде и интерпретациях могут быть ошибки или пространство для улучшения, если кто-то заинтересуется и их найдёт, обязательно сообщите мне, буду благодарен. 

Дальнейшее развитие предполагается, но масштабирование упирается в железо. Если кто-то может дать доступ к приличным GPU или предоставить грант (а вдруг), был бы благодарен ещё больше.

Перспективы: 

— более устойчивое обучение на малых данных за счёт усиления роли hard negatives и структурных границ;
— снижение деградации при обучении на синтетических датасетах, поскольку модель учится не только корреляциям, но и топологии запретов;
— появление более экономичных моделей, где часть интеллекта ^[20] формируется не ростом параметров, а организацией внутренней динамики;
— развитие архитектур с внутренним мониторингом неопределённости (энтропии), где генерация управляется не только вероятностью токена, но и состоянием собственной когнитивной геометрии;
— потенциальное уменьшение галлюцинаций через усиление апофатических границ («что недопустимо»).

Если гипотеза верна хотя бы частично, то дальнейшая эволюция ^[21] LLM может идти не только через масштабирование Transformer’ов, но и через появление архитектур, где ключевым вычислением станет динамическая система внутренних отрицаний — своего рода «свобода вето» внутри самой модели. Более фантастические перспективы я приводить не стал за их фантастичностью.