Рабочее место с анцензорной Qwen3.8-Flash-Next (125 млрд параметров) за 43 тысячи рублей: GTX 1070 8ГБ, 128 озу и Xeon
Есть у меня отдельная машина: материнка под Xeon E5-2696 v4 (22 ядра, 44 потока), 128 ГБ DDR3-1600 и видеокарта GTX 1070 на 8 ГБ. Плата с процессором и памятью обошлась примерно в 35 тысяч рублей, карта — ещё 8 тысяч с рук. Итого — тысяч 43 за всё, железо уровня “давно списано из майнинг-фермы и дата-центра”.На этой штуке я запустил Qwen3.8-Flash-Next — MoE-модель на 125 миллиардов параметров (~6 млрд активных на токен) — и она реально работает. Не “теоретически запускается с квантованием до состояния овоща”, а выдаёт 14-15 токенов в секунду генерации на контексте 24,5К. Честно, не ожидал.
РобоСобака Unitree Go2: локальная LLM, шумоподавление и ускорение голосовых ответов
Запустить языковую модель на Unitree Go2 оказалось проще, чем организовать нормальный разговор. Собака должна расслышать человека рядом с собственными вентиляторами, определить конец вопроса, сгенерировать ответ и произнести его. Если каждое звено работает «довольно быстро», вместе они всё равно могут дать неприятную паузу.
Что такое JEV и зачем он нужен: собираем AI‑агента на связке LLM + open‑source аналог JEV
Автор: Алексей Яковенко, опытный python‑разработчик с многолетним стажем.Со времени моей последней статьи в мире ИИ успел появиться очередной «убийца всех LLM» и чуть ли не будущее всей AI‑индустрии — JEV. По крайней мере, именно так его сейчас местами преподносят.Сегодня предлагаю познакомиться с этим зверем поближе. Разберёмся, что из себя представляет JEV, почему вокруг него столько шума, как он работает и чем отличается от привычных нам языковых моделей. Заодно посмотрим, какие у него уже появились open‑source аналоги.
HuggingFace для начинающих: как выбрать и запустить модель
Если вы интересуетесь темой ИИ и данных, то наверняка встречались с таким сервисом как HuggingFace - платформы и сообщества для разработчиков в сфере ИИ, этаким GitHub для ИИ. Она предоставляет централизованный и удобный хаб для обмена, поиска и совместной работы над открытыми моделями машинного обучения, наборами данных и приложениями.
Дообучаем Gemma 26B на MacBook с 24 ГБ памяти: как устроен голосовой помощник, который работает без интернета
Полгода я собираю голосового помощника для macOS, который не просто отвечает, а выполняет действия на компьютере: открывает папки, ищет файлы, включает фильмы, читает почту. Главное условие, которое я себе поставил, — языковая модель должна работать локально, на том же Mac, без облака и подписок. В статье расскажу, из чего состоит такая система, как я дообучал модель на ноутбуке и на какие грабли наступил по дороге.Общая схемаПриложение написано на Electron. Вокруг окна работают несколько отдельных процессов:Слух — процесс на Python: детектор речи (VAD) и распознавание через Whisper в сборке под MLX (Apple Silicon).
NVIDIA CMP 50HX: Еще не все потеряно…
ПредысторияЕсть домашний сервер обычной “подстольной” конфигурации. Proxmox с несколькими виртуалками. В какой-то момент прикупил на аукционе NVIDIA CMP 50HX за копейки, ради поиграться с простенькими модельками. Модели запускаю через llama.cpp, дополнительно использую Whisper для распознавания речи. Быстро смирился со скоростью работы и жил с этим всем спокойно несколько месяцев, пока не наткнулся на статью NVIDIA CMP – микроскопы для забивания гвоздей? Копаем глубже….Очень рекомендую прочесть статью
Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM
ВведениеВ своих прошлых материалах я уже рассказывал о запуске крупных MoE-моделей на ограниченном железе через llama-server и о сравнительных экспериментах с 35B, 120B и 176B-классами моделей. Практика показала, что llama.cpp давно перестал быть просто «запускатором GGUF»: сегодня это полноценный рантайм с OpenAI-совместимым API, поддержкой инструментов, Jinja-шаблонов, спекулятивного декодирования и гибкого CPU/GPU-offload. Единственное, чего ему не хватало для повседневной работы, — удобной обвязки, которая избавила бы от ручного набора десятка флагов при каждом старте.Именно поэтому у меня появился небольшой лаунчер на Go:
70 токенов в секунду в qwen3.8–27b на RTX 3090
На текущий момент qwen3.8–27b, без сомнений, лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению, прямой путь — скачать модель с официального аккаунта qwen на huggingface → запустить в своем любимом инференс‑движке может не привести к хорошему результату, поэтому я решил написать эту статью.План действий такой:Установить необходимые пакеты для сборки llamAmpere (https://github.com/JakeATX/llamAmpere) — это форк llama.cpp, оптимизированный для запуска на поколении графических адаптеров Ampere.Скомпилировать llamAmpere.Установить huggingface client.
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp
Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.
