Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Сколько Rust помещается в 0.5B
Temper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.Первая версия Temper
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
Это статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.Доставка верифицированного решения похожей задачи в контекст 3B‑модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидахОбучение на верифицированных решениях (LoRA‑дистилляция, 1 цикл) даёт β = +0.145 (CI95 ) — эффект есть, но это одна точка, а не кривая
Flow Matching: обучение и дистилляция
Рисунок 1. Примеры возможностей генеративных моделей: из шума появляются изображения, видео, звук и другие сложные объектыFlow Matching
Китайский регулятор начал проверку DeepSeek и Moonshot AI из‑за передачи данных пользователей в Claude
Главный китайский регулятор интернет‑пространства — Управление по вопросам киберпространства КНР — проводит проверку компаний DeepSeek и Moonshot AI. Их обвиняют в том, что они перенаправляют запросы пользователей и данные в модель Claude от компании Anthropic.
Что за зверь «internal OpenAI model» и почему DeepSeek догоняет OpenAI?
Публике не доступны внутренние модели фронтиер лабораторий. Я не очень верю про конспирологию в духе «у OpenAI в подвале сидит настоящий AGI, а наружу выдают обрезанный ChatGPT». Модель, которой пользуются её собственные исследователи, и модель, которую она продает вам через API, не обязаны быть одной и той же. Фронтиер лаба создает не одну нейросеть, а фабрику моделей: research‑чекпоинты > экспериментальные модели > reward‑модели > модели‑учителя > модели для генерации синтетических данных > модели‑evaluators > дистиллированные студенты > production‑модели, и наружу попадает только последний элемент цепочки.
Anthropic сообщила подробности о кампаниях по дистилляции моделей, проводимых китайскими Alibaba, Moonshot AI и DeepSeek
Anthropic сообщила подробности о кампаниях по дистилляции моделей американских разработчиков со стороны китайских компаний в сфере искусственного интеллекта. В последние месяцы китайские разработчики нарастили усилия в этой области, что стало поводом для коллективных обвинений, выдвинутых спецслужбами США.
Дистилляция по-пекински: новый отчёт о том, как китайский ИИ обучился на американском
Очень вежливое ограблениеВ начале сентября в СМИ и на форумах началось жаркое обсуждение «секретного» доклада о наглом китайском кибершпионаже. В деле всё оказалось куда банальнее и смешнее. Обсуждался открытый технический бюллетень CISA, ФБР и АНБ, в котором авторы признали, что никто не взламывал закрытые контуры американских лабораторий и не выносил веса моделей на флешках.
Секретный трекер Claude Code шокировал пользователей после позиции Anthropic по борьбе с слежкой
Компания Anthropic оперативно удалила трекер, тайно отслеживавший пользователей Claude Code в Китае, после того, как исследователь безопасности раскрыл его и осудил «шпионское отслеживание» со стороны компании.
