Нейросеть по рецепту: вычисляем веса вместо хранения матриц
Хочу рассказать об интересном подходе к построению ML-моделей. Как известно, практически любая нейросеть - это, грубо говоря, некая архитектура + некий набор весов. Веса здесь, опять же если говорить грубо, циферки в матрице. Очень много циферок в очень большой матрице. Обычно соблюдается правило, что чем сложнее и “умнее” модель, тем больший размер имеют ее “матрицы с циферками”. Особенно в этом плане выделяются LLM: у Kimi-K3, например, 2,8 триллиона параметров. Обычно, чтобы использовать модель, нужноа) иметь ее веса на диске, откуда их будешь грузить
Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps
Предисловие: Ода безысходности24 апреля 2026 года мир содрогнулся — вышел DeepSeek-V4-Pro. 1.6 триллиона параметров, MoE-архитектура, веса на 800+ ГБ. Академики в белых халатах из исследовательских центров тут же выкатили райдер: «Вам нужно минимум 8xH100 и прямой канал до дата-центра».Мы посмотрели на свою бесплатную NVIDIA T4 с 16 ГБ VRAM в Kaggle, на 50 ГБ диска и поняли: вызов принят. Пока вы ждете гранты на GPU-кластеры, мы занимаемся цифровой вивисекцией.🛠 Техстек «Гетто-Инженера»Когда у тебя нет ресурсов, ты не оптимизируешь — ты взламываешь. Наш проект базируется на трех столпах:
Квантовые физики уменьшили и «освободили от цензуры» DeepSeek R1
Им удалось сократить размер ИИ-модели рассуждений более чем наполовину — и они утверждают, что теперь она может отвечать на политически чувствительные вопросы, которые раньше были под запретом в китайских ИИ-системах.TL;DR:Multiverse Computing сжала DeepSeek R1 с помощью квантово-вдохновлённых тензорных сетей: модель стала на 55% компактнее при почти той же точности. По пути они «сняли» китайскую цензуру: модифицированная версия отвечает на табуированные для китайских LLM вопросы примерно как западные модели.

