Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
Это статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.Доставка верифицированного решения похожей задачи в контекст 3B‑модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидахОбучение на верифицированных решениях (LoRA‑дистилляция, 1 цикл) даёт β = +0.145 (CI95 ) — эффект есть, но это одна точка, а не кривая
Ваш трансформер постоянно переобучается? Тогда мы идём к вам
Пожалуйста, будьте осторожны с кухонными приборами!1. Вступление
Семантический компьютер на 64 нейронах и обучение на шуме
В предыдущей статье о машинном обучении как алхимии я говорил о том, что можно найти новые решения, не используя GPU или дорогие видеокарты. В этой статье я расскажу, о том, как я экспериментировал с continual learning и композициональностью мышления на микронейросетях, и причем здесь философ Лев Выготский.Все гипотезы основывались на философских предпосылках, изложенных в статье апофатический ИИ.Continual learning
Memory Is All You Need: Активная память для трансформеров — мой новый подход к долгосрочным зависимостям в ИИ
Привет, Habr! Я хочу поделиться своим исследовательским проектом - репозиторием memory-is-all-you-need
