Как ускорить локальную LLM на 50% без покупки новой видеокарты
На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ. У каждого участника был собственный кластер, на котором можно было разворачивать модели, менять конфигурацию и измерять производительность. Помимо квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU.
Как развернуть Kimi K3 локально на Cerebras
Один из самых частых вопросов, которые нам задают: как мы разворачиваем большие модели на чипах Cerebras размером с целую кремниевую пластину? На одной пластине Cerebras WSE-3T находится 44 ГБ встроенной памяти, а передовым моделям с триллионами параметров нужны терабайты только для хранения весов.В этой статье мы объясним, как распределяем большую модель между несколькими пластинами WSE-3T, чтобы запускать модели с несколькими триллионами параметров со скоростью 1000–2000 токенов в секунду и выше.
Что происходит после обучения модели: обзор книги Inference Engineering
Насколько хорошо новая модель ИИ справляется с задачами — первый вопрос, который обычно задают при ее обсуждении. В техническом сообществе разговор обычно идет о бенчмарках, количестве параметров и гонке рейтингов.
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).
Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов
В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Что, если не делать маленькую модель, не учить её заново и не заставлять копировать большую, а просто найти более короткую запись тех же «мозгов»?Здравый человек, вероятно, скачал бы готовую квантизацию и пошёл заниматься своими делами. Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного. Без дообучения, дистилляции, pruning и изменения архитектуры. Только математика над уже готовыми весами и небольшая выборка текстов для калибровки.
Квантизация LLM: как запихнуть 70B модель в свою видюху
Ну что, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут vRAM как не в себя, но есть способ запихнуть это все в обычную потребительскую видюху.Сегодня в статье разберем, как работает чудо квантизации под капотом, чем отличаются PTQ и QAT, почему MoE-модели (DeepSeek-V3, Mixtral, LLaMA 4 Scout) квантизовать сложнее и как выбрать между GPTQ, GGUF и AWQ.
Нейронные сети нетрадиционного квантования
Классический процесс квантования нейронных сетей долгое время сводился к сжатию весов из исходных плавающих форматов (FP32 или BF16/FP16) в более компактные целочисленные типы (INT8, INT4) или промежуточные представления вроде EXL2 и GGUF/k-quants с использованием техник смешанного квантования (QAT/AWQ).
А мы и не заметили, или о том, какие ИИ живут в вашем кармане
Один разработчик запустил 400B-модель на iPhone 17 Pro.
