локальные llm. - страница 2

Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM

ВведениеВ своих прошлых материалах я уже рассказывал о запуске крупных MoE-моделей на ограниченном железе через llama-server и о сравнительных экспериментах с 35B, 120B и 176B-классами моделей. Практика показала, что llama.cpp давно перестал быть просто «запускатором GGUF»: сегодня это полноценный рантайм с OpenAI-совместимым API, поддержкой инструментов, Jinja-шаблонов, спекулятивного декодирования и гибкого CPU/GPU-offload. Единственное, чего ему не хватало для повседневной работы, — удобной обвязки, которая избавила бы от ручного набора десятка флагов при каждом старте.Именно поэтому у меня появился небольшой лаунчер на Go:

продолжить чтение

Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС

Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать вопрос нейросети. Честно скажу сразу: код я пишу вместе с Claude, сам я не программист. Но тесты, цифры и ошибки ниже настоящие, и о них хочется рассказать.Задача была такая: человек без опыта нажимает одну кнопку и получает ИИ, который работает без интернета. Ему не нужен терминал и не нужно знать, что такое Ollama. Дальше расскажу, что из этого вышло и обо что я споткнулся.1. Какую модель выбрать: тест четырёх кандидатовКандидаты: gpt-oss 20B, Qwen 3.5 9B, Gemma 4 E2B

продолжить чтение

Нафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1

Я хотел разработать собственный AI-процессор, нашёл openTPU, взял FPGA за ~$50 с 4 ГБ оперативной памяти, подключил её к обычному мини-ПК и запустил на ней большую языковую модель - и улетел в космос (в позитивном и дофаминовом смыслах). Без NVIDIA. Без видеокарты. На открытой архитектуре, которая разработана при активном участии ИИ-агентов. openTPU — открытый AI-ускоритель Felipe Sens Bonetto.Мне стало интересно: а можно ли действительно взять такой проект с GitHub, загрузить его в физическую FPGA и запустить настоящий LLM-инференс?По замерам автора проекта на такой же плате:

продолжить чтение

Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM

продолжить чтение

MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз

Вторая часть. Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B».В первой части я посадил кодового агента pi на локальную Qwen3.8-27B через MTPLX и прогнал сложную задачу в разных режимах размышлений. Осталось сомнение, которое MTPLX сам не снимает: сколько тут даёт его многотокенное предсказание (multi-token prediction, MTP), а сколько сработало бы на любой MLX-обвязке?

продолжить чтение

Как Splash ускоряет локальные LLM на Mac

При выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.

продолжить чтение

Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)

В сентябре 2026 года на Hugging Face есть 3 модели, которые хочется поставить на пару DGX Spark под Claude Code: DeepSeek‑V4.1-Flash на 552B, GLM-5.3-Flash на 320B и Qwen3.8-Flash‑Next на 125B. Первая лучше всех в бенчмарках, но не помещается в 243 ГиБ даже в 4 битах. Вторая занимает 198 ГБ и грузится 15 минут. Третья влезает в один спарк — если не считать 2 ГБ, которых ей не хватает. Ниже — почему на этом кластере выбор делает арифметика памяти, а не таблица бенчмарков, почему 6 миллиардов активных параметров не дают 90 ток/с, и почему для Claude Code решающим оказывается не tok/s, а один флаг vLLM, который в самом быстром конфиге выключен.

продолжить чтение

Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8–27B. Что реально ускоряет, а что нет

Я хотел, чтобы кодовый агент работал целиком на ноутбуке, без облака: локальная модель, локальный сервер, агент в терминале. Главная боль с самого начала — скорость. Агент постоянно перечитывает длинный контекст и много «думает», и на локальном железе это превращается в минуты ожидания на каждую задачу.

продолжить чтение

Jev за 25 строк на Python

My name is JevВсе кому не лень говорят о Jev. Jev тут, Jev там. Все в Twitter только и говорят о Jev, что это следующее достижение больших языковых моделей и парадигмы ИИ. Мы в этом не уверены. Поэтому вот Jev за 25 строк на Python.Загрузим модель.

продолжить чтение

Хотел свою систему, которую можно менять когда угодно, и сделал три десктопных AI-приложения

Хотел свою систему, которую можно менять когда угодно, и сделал три десктопных AI-приложенияПривет, Хабр! Это моя первая статья, и она про Zeqou: небольшую экосистему десктопных приложений для работы с языковыми моделями. Два приложения уже готовы, третье выйдет совсем скоро. Расскажу, что они умеют, как устроены и с какими неожиданными проблемами я столкнулся.Коротко. Zeqou — это три приложения: чат, рабочее пространство для агентов и студия дообучения моделей. Они бесплатные и работают на Windows, macOS и Linux. Чат и Harness готовы, xtraining выйдет очень скоро.Зачем всё этоЯ всегда хотел иметь

продолжить чтение