vllm.
Claude Code без Anthropic: заводим агента на GLM-5.3 и Qwen через свой шлюз и собираем грабли
Из Беларуси Claude Code официально не работает: Anthropic не обслуживает регион, а белорусской картой не оплатить ни подписку, ни API. Мы делаем ZuBrIQ — шлюз к моделям с оплатой в BYN — и за последние месяцы заставили Claude Code, Codex и OpenCode работать на открытых моделях — GLM-5.3 у провайдера и Qwen3.8-27B на собственных V100. Ниже — схема и пять граблей, на каждую из которых мы наступили сами.Зачем вообще подменять модель под Claude CodeClaude Code — хороший агент, и он умеет ходить не только к Anthropic. Достаточно ANTHROPIC_BASE_URL
Свои GPU плюс облако: как LLM-шлюз живёт в продакшене — ноды, отказы, ключи, обновления
В прошлой статье
Ваш запрос очень важен для нас: Gateway API Inference Extension в модуле alb Deckhouse Platform
В августе мы писали о модуле alb — реализации Gateway API на Envoy в Deckhouse Platform. Теперь модуль поддерживает объект InferencePool из Gateway API Inference Extension. Через тот же шлюз, что публикует обычные приложения, можно отдавать и модели, а выбор реплики передать компоненту, который получает метрики её загрузки.Всем привет! Я Пётр Антонов — руководитель продуктовых направлений «Сети и провайдеры для частной инфраструктуры» в команде Deckhouse. Рассказываю, почему round-robin не подходит для запросов к модели, как устроены InferencePool
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше
ВведениеЯ не планировал писать эту статью, я делал исследования для себя. Но в какой-то момент я понял, что это может показаться интересным и даже полезным кому-то еще. И вот вы читаете эти строки.Это статья про исследование разных поколений больших языковых MoE моделей Qwen, применяемых для локального инференса.Я рассчитываю, что читатель уже знаком с ИИ и LLM и хотя бы ориентируется в терминологии. Пространные пояснения очевидного будут только раздражать искушенного читателя, поэтому не буду подробно объяснять, что такое MoE или как запускать модели локально.
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)
В сентябре 2026 года на Hugging Face есть 3 модели, которые хочется поставить на пару DGX Spark под Claude Code: DeepSeek‑V4.1-Flash на 552B, GLM-5.3-Flash на 320B и Qwen3.8-Flash‑Next на 125B. Первая лучше всех в бенчмарках, но не помещается в 243 ГиБ даже в 4 битах. Вторая занимает 198 ГБ и грузится 15 минут. Третья влезает в один спарк — если не считать 2 ГБ, которых ей не хватает. Ниже — почему на этом кластере выбор делает арифметика памяти, а не таблица бенчмарков, почему 6 миллиардов активных параметров не дают 90 ток/с, и почему для Claude Code решающим оказывается не tok/s, а один флаг vLLM, который в самом быстром конфиге выключен.
Давай по новой, Миша: speculative decoding от черновика до проверки
Маленькая модель быстро генерирует несколько следующих токенов, а большая проверяет их сразу одной пачкой. Подходящие токены принимаются, а с первого расхождения большая модель продолжает генерацию сама. При корректной реализации итоговое распределение остаётся тем же, что и при обычном декодировании. В speculative decoding большая модель буквально говорит черновой: «Давай по новой, Миша».На первый взгляд кажется, что ускорение здесь обязательно покупается ценой качества. Но нет: это как раз тот случай, когда можно ускорить генерацию без такого компромисса.
