Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention
Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же карту влезает больше пользователей. Звучит настолько разумно, что проверять как-то неловко.Я всё-таки проверил, потому что интересовало как эта архитектура будет вести себя под нагрузкой и вписываться в существующий стек инференса. Снял на вечер машину с двумя RTX 3090 и прогнал по двум моделям одну и ту же агентскую нагрузку. Qwen3-4B: обычная, полная аттеншн во всех 36 слоях. Qwen3.5-4B: гибридная, полная аттеншн осталась в 8 слоях из 32, а остальные 24 заменены на рекуррентные слои Gated DeltaNet (
Как я объединил четыре Mac Studio в один компьютер с 1,5 ТБ – и запустил ИИ, который не влезает ни в одну видеокарту
Компания Apple предоставила мне этот кластер из Mac Studio для тестирования технологии RDMA через Thunderbolt –
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM
Началось всe с очень приземленной задачи. У меня ноутбук с RTX 3050 и четырьмя гигабайтами видеопамяти, и я хочу гонять на нeм маленькую модель, которая умеет вызывать инструменты: заполнять JSON по схеме, выбирать нужную функцию, не звать еe там, где не надо. Чтобы модель влезла, еe приходится квантовать, и вот тут возникает вопрос, на который я так и не нашeл честного ответа: насколько сильно квантование ломает именно способность к вызову инструментов, а не абстрактное «качество» модели.
Как использовать новые Qwen3.7 Plus в России и GLM 5.2 на русском
Qwen3.7 Plus от Alibaba и GLM 5.2 от Z.AI теперь работают без VPN. Обе заточены под кодинг и агентные задачи, обе держат миллион токенов контекста, и обе могут вам пригодиться. Как получить к ним доступ без подписок и сервисов обхода, разбираемся в этой статье.Qwen3.7 Plus: мультимодальный агент за копейкиQwen3.7 Plus — это мультимодальная версия агентного бэкбона Qwen3.7 примерно в шесть раз дешевле, чем флагманский Qwen3.7 Max.
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 2. Обучение
Продолжаем серию про файнтюнинг и создание DevOps‑агента Oni. В прошлой части
Бенчмарк DGX Spark с LLM Qwen3: кому подойдет, почему 128 ГБ не серебряная пуля и о чем умолчал маркетинг NVIDIA
ИсточникВсем привет! Меня зовут Валерий Гречин, я руковожу компанией ML-интегратором для бизнеса и промышленности Palatine Vision, облачным API-провайдером речевых нейросетей Palatine Speech и несколькими стартапами.
