Вышел DeepSeek V4. Почему это очень плохо для США?
DeepSeek выпустили V4 с открытыми весами, на уровне frontier-моделей — и в разы дешевле Opus 4.7 или GPT-5.5. R1 в своё время обвалил рынок на 20% за ночь. V4 — масштабнее.DeepSeek V4 Pro — это 1,6 триллиона параметров, mixture of experts (MoE), 49 млрд активных параметров и контекст в 1 миллион токенов. V4 Flash — рабочая лошадка: 284 млрд параметров суммарно, 13 млрд активных. Обе модели обучены примерно на 33 трлн токенов. На агентских бенчмарках кода, MMLU Pro, GPQA Diamond, SWE-bench Verified — V4 рядом с Opus 4.7 и GPT-5.5. Немного отстаёт, но совсем немного.Вот в чём дело.
«Закон уплотнения» LLM: плотность способностей удваивается каждые 3,5 месяца
TL;DRПредлагается «закон уплотнения» для больших языковых моделей: максимальная плотность способностей удваивается примерно каждые 3,5 месяца. То есть всё больше качества удаётся выжать из каждого параметра модели.Вводится метрика плотности способностей: считается, сколько параметров потребовалось бы референсной модели, чтобы показать такое же качество, и это число сравнивается с реальным количеством параметров. Так видно, какие модели обучены «экономно», а какие — расточительно.
