gguf.
Локальный запуск Qwen-Image-2.1 без safety checker: тест на MacBook Air с 16 ГБ памяти
Команда Qwen из Alibaba выпустила Qwen-Image-2.1 — модель для генерации и редактирования изображений на базе diffusion transformer с 7 млрд параметров, поддержкой нативного вывода до 2K и лицензией Qwen Research License. Она умеет генерировать изображения по текстовому описанию, редактировать их с использованием до десяти референсов и заметно лучше многих открытых альтернатив работает с китайским текстом. В сообществе доступны сборки без встроенного content filter: промпты, веса модели и результаты генерации при локальном запуске остаются на компьютере пользователя.
Как Splash ускоряет локальные LLM на Mac
При выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само
Запускать нейросети у себя дома давно можно. Модели бесплатно лежат на HuggingFace, llama.cpp работает даже на старых видеокартах, ComfyUI рисует картинки. Но дорога до первого ответа у обычного человека выглядит так: поставить Python нужной версии, разобраться с CUDA, выбрать между Q4_K_M и Q5_K_S, скачать десять гигабайт и только после этого узнать, что модель отвечает по слову в секунду.
Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов-с при 128K контекста
Задача была простой: собрать дома собственный вычислительный блок для coding‑agent'ов и по возможности как можно меньше зависеть от облачных лимитов. Codex и Claude Code мне нравятся, но постоянно упираться в ограничения, а тем более платить за более дорогие тарифы 100 или тем более 200 долларов в месяц, я не хочу. Поэтому решил посмотреть, насколько далеко можно уехать на том, что уже есть.Железо для эксперимента постарался подобрать с минимальными вложениями: Core i7-4790, 32 ГБ DDR3, ASUS Sabertooth Z97 Mark 2 и две RTX 3060 по 12 ГБ. Никакого NVLink, CUDA P2P между картами тоже нет. Зато суммарно есть 24 ГБ VRAM и желание выжать из них все соки.
«Друзья не дают друзьям пользоваться Ollama»
Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama»
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток-сек на двух RTX 3090
Плотная 27B-модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по 24 ГБ и 936 ГБ/с каждая не должны выдавать столько, сколько выдаёт одна. Значит, где-то узкое горлышко, и надо разобраться, что и где подкрутить. Оказалось, что горлышек несколько, и все они снимаются флагами запуска: те же веса — 75 токенов в секунду. Ниже каждый флаг описан одинаково: зачем, что писать, что даёт, где ломается. В конце — готовый docker run.Стенд: 2× RTX 3090 (24 ГБ, PCIe 4.0 x16, без NVLink), Threadripper 3960X, 121 ГБ RAM, Ubuntu 26.04, драйвер 595.71.05. llama.cpp — образ ghcr.io/ggml-org/llama.cpp:full-cuda
Возвращение короля: разбираемся, что такое Qwen3.8 27B
14 августа 2026 года, 15:00 UTC.
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток-с на AMD Strix Halo
Согласно опубликованным бенчмаркам, Ornith‑1.0‑35B показала себя лучше Qwen3.5‑397B‑A17B в тех тестах, где модель должна не просто написать код, а самостоятельно работать в терминале и пользоваться инструментами. На Terminal‑Bench 2.1 с Terminus‑2 разница составила 64,2% против 53,5%.BenchmarkOrnith‑1.0‑35BQwen3.5‑397BOrnith − QwenTerminal‑Bench 2.1, Terminus‑264,253,5+10,7Terminal‑Bench 2.1, Claude Code62,848,6+14,2SWE‑bench Verified
