qwen.
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток-сек на двух RTX 3090
Плотная 27B-модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по 24 ГБ и 936 ГБ/с каждая не должны выдавать столько, сколько выдаёт одна. Значит, где-то узкое горлышко, и надо разобраться, что и где подкрутить. Оказалось, что горлышек несколько, и все они снимаются флагами запуска: те же веса — 75 токенов в секунду. Ниже каждый флаг описан одинаково: зачем, что писать, что даёт, где ломается. В конце — готовый docker run.Стенд: 2× RTX 3090 (24 ГБ, PCIe 4.0 x16, без NVLink), Threadripper 3960X, 121 ГБ RAM, Ubuntu 26.04, драйвер 595.71.05. llama.cpp — образ ghcr.io/ggml-org/llama.cpp:full-cuda
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег
Все цифры сняты с работающего стенда: потребление токенов — за календарную неделю по данным шлюза, метрики движка — кумулятивно за период аптайма (11 426 обработанных запросов). Продолжение — про выбор модели по замерам, а не по бенчмаркам — будет отдельной статьёй.Для кого эта статьяДля тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не введение в трансформеры.
Мой опыт с Hermes Agent: ненависть, любовь, ненависть, любовь
Началось все с установки. Я пошёл почти по самому простому пути — установил его на Mac, в Docker. Потому что это агент, который работает автономно, и также автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать:)В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian — на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.
Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить
В этом месяце Alibaba выпустила две модели, и та, о которой все писали, оказалась не той, что мы ждали. Qwen3.8-Max — это API с 2,4 триллионами параметров, и пару недель назад я с большим энтузиазмом написал о ней обзор. Но релиз, которого я действительно ждал, вышел 14 августа: Qwen3.8-27B, Apache 2.0, веса на Hugging Face, модель достаточно компактна, чтобы работать на ноутбуке.
Сравниваем LLM, 12 тестов для китайских флагманов: Kimi K3, GLM-5.2, DeepSeek V4 Pro и Qwen 3.8 Max
В первой статье цикла мы гоняли по 11 тестам Opus 4.8, GPT 5.5 и Gemini 3.1 Pro, во второй устроили дуэль тяжеловесов Claude Fable 5 и GPT 5.5 Pro, в третьей спустились в средний класс и столкнули три поколения Sonnet с GigaChat 2 MAX и YandexGPT Pro 5.1. Закончили мы прошлый материал прямым вопросом: хотите ли увидеть в следующей части DeepSeek и Qwen? Запрос в комментариях мы услышали, так что сегодня на ринге Китай.
Бесплатные API к Claude, GPT, DeepSeek и другим моделям: 6 AI-роутеров с бесплатным доступом
Все сервисы и лимиты проверялись 16 августа 2026 года. Условия бесплатных тарифов могут меняться. Получить API-доступ к современным языковым моделям можно не только напрямую у крупных провайдеров. Существуют сторонние роутеры, которые дают бесплатные модели, ежедневные лимиты или стартовые кредиты.Я собрал 6 таких сервисов и посмотрел, что именно получает новый пользователь после регистрации: какой баланс начисляют, какие модели доступны, какие ограничения действуют и можно ли действительно отправлять запросы через API.В подборку вошли OrcaRouter, TeamoRouter, AgentRouter, Token Harbor, NaraRouter и FreeRouter.OrcaRouter
Qwen 3.8 27B — сутки до выхода модели. На huggingface запущен обратный отсчет
По информации с https://huggingface.co/Qwen/Qwen3.8-27B Qwen3.8-27B, которая считается преемницей популярной Qwen3.6-27B, будет выпущена через сутки и как ожидается должна стать самым мощным открытым решением для локальной генерации
Qwen3.5-3.6 на 16Гб VRAM: кванты, fine-tune, сравнение и немного про Gemma-4
Всем привет.В свободное время и под настроение я ваяю маленькие, замысловатые игры на основе d10-кубов механик, похожие на PvP или PvE настолки, которые нередко проходят в автоматическом режиме (ИИ vs ИИ), а иногда получается что-то чуть серьезнее: вроде игры "Жизнь", но на стероидах с экономикой, сражениями и в масштабах солнечной системы (вдохновлялся у Shadow Empire).Не являясь настоящим программистом и написав за всю жизнь, в лучшем случае, около тысячи строк кода - мне для воплощения своих причудливых идей, естественно, потребовалась помощь психиатров
Тест Qwen3.5 9b, Gemma 4 12b и Bonsai 27b на легенде пенсионного возраста GTX 1080 ti
Все началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики.Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе.Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores.
