Куда я потратил грант Яндекса: пишем с нуля C++-CUDA‑движок для LLM, который обгоняет llama.cpp на старой RTX 2080 Ti. C++.. C++. cuda.. C++. cuda. Go.. C++. cuda. Go. golang.. C++. cuda. Go. golang. llama.cpp.. C++. cuda. Go. golang. llama.cpp. llm.. C++. cuda. Go. golang. llama.cpp. llm. Open source.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api. инференс.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api. инференс. искусственный интеллект.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api. инференс. искусственный интеллект. квантизация.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api. инференс. искусственный интеллект. квантизация. локальные модели.. C++. cuda. Go. golang. llama.cpp. llm. Open source. openai api. инференс. искусственный интеллект. квантизация. локальные модели. Машинное обучение.

В начале 2026 года Яндекс запустил программу грантов для лучших open‑source проектов на своей новой платформе SourceCraft. Я подал туда заявку со своим проектом np — это C++‑аналог NumPy с поддержкой CUDA и ручными SIMD‑оптимизациями (AVX2/AVX-512/AMX), который обходит оригинал по скорости в 2–20 раз и расходует в полтора раза меньше памяти (подробно с бенчмарками я рассказывал о нём в прошлой статье «Ускоряем и оптимизируем numpy, pandas, scipy и sklearn»). На тот момент я только‑только распробовал вайбкодинг и с его помощью смог довести оптимизации до такого уровня.

Внезапно я увидел свой проект в списке победителей. Честно говоря, я был очень удивлён и поначалу даже не поверил: ранее я ни за какие проекты никаких грантов не получал и не до конца понял, чем именно программному комитету приглянулся мой репозиторий. Мне казалось, что ничего особенно выдающегося в нём не было. Тем не менее на счёте появилось 600 000 рублей.

Встал логичный вопрос: куда их потратить? По условиям конкурса грант даётся проектам с чётким планом развития. Организаторы это будущее видели — в отличие от меня, за что им большое спасибо. Я же не совсем представлял, куда двигаться дальше. Полностью переписать весь NumPy на C++ с помощью вайбкодинга? Можно, но зачем? Я поэкспериментировал с частью функций и понял, что базовую задачу ускорения уже решил.

Поиск идеи, знакомство с плагином Яндекса и свой домен

Размышляя, куда направить грант и свои силы, я сначала вбил в поиск: «Какой проект сейчас наиболее перспективно писать?» Ответ был очевидным и ожидаемым: продукт для локального AI‑кодинга.

Идея показалась мне отличной по четырём причинам:

  1. Тема как таковая очень мне интересна, ведь ML является моим хобби последние несколько лет.

  2. В основу можно положить мой np и ещё пару собственных библиотек линейной алгебры (которые нельзя было подать на конкурс напрямую из‑за правила «один проект — один разработчик»).

  3. Двойной бонус: этот инструмент останется со мной и после того, как грант закончится, и я его смогу использовать для своей собственной работы. Инструменты делают инструменты, которые делают инструменты, которые…

  4. Им сможет бесплатно пользоваться всё сообщество.

Дело было в середине 2026 года. Сказано — сделано: я решил написать свой локальный агент для кодинга без этих болячек.

Примерно в это же время мне на глаза попался плагин для VS Code от Яндекса — SourceCraft Code Assistant (насколько я понял, форк Roo Code). Когда я увидел, что SourceCraft опубликовал его в маркетплейсе с привязкой к собственному домену, я решил, что нормальная публикация расширения без своего домена не получится. Встал вопрос: как же назвать проект? Хотелось, чтобы имя было связано с кодингом (поскольку я ориентировался именно на него), и при этом отражало любовь к минимализму — как старый любитель C++, низкоуровневой оптимизации и выжимания каждого байта я хотел чего‑то компактного. Так родилось название TinyCoder, а следом я сразу зарегистрировал домен для этого и всех связанных проектов — tinycoder.dev.

Сам плагин Яндекса я решил использовать в работе, чтобы обкатать процесс, но быстро понял, что работать с ним больно:

  • Нельзя вклиниться в диалог. Если модель пошла не туда, нельзя просто дописать реплику в очередь и надеяться, что модель её увидит. Приходится жать Cancel, чтобы остановить процессинг модели, после чего все набранные непосильным трудом сообщения из очереди бесследно исчезают, и уже после этого писать новое сообщение. Я выработал целый ритуал: написать текст → скопировать в буфер на случай отмены → нажать Cancel для того, чтобы обойти ограничение и вклиниться в диалог → вставить из буфера → нажать Enter. Удобно? Несомненно.

  • Визуальный шум. Ассистент был слишком разговорчивым, а почти каждая строчка начиналась с бесполезного SourceCraft Assistant said, которое просто съедало место на экране.

Тем не менее я продолжал им пользоваться, потому что грант можно было тратить на облачные LLM Яндекса, которые поддерживал SourceCraft Assistant, а работать я предпочитал в VS Code. Хотя сама работа всё меньше и меньше сводилась к ручному редактированию кода, а потом и вовсе в этом отпала необходимость и всякий смысл. Нужды в редакторе как таковом становилось всё меньше. Правда, через него я по‑прежнему делал пуши в репозиторий — эту операцию я модели не доверял.

Был ещё вариант арендовать на грантовые деньги мощную виртуалку с GPU, но он показался мне слишком дорогим — бюджет не резиновый. В итоге я так и работал на своём старом домашнем ПК: Intel i7-4790K, 32 ГБ DDR3 и видеокарта RTX 2080 Ti (11 ГБ).

Концепция и цель: минимум веса и обгон llama.cpp

Я задумал TinyCoder как инструмент, минимальный по размеру, но максимально «умный» и всеядный по функционалу. Начинать и отлаживать базу предстояло на моей старой RTX 2080 Ti (чем я, собственно, до сих пор и занимаюсь).

Как ни странно, первые же робкие попытки дали результат — удалось обойти llama.cpp на CPU на этапе префилла (обработки входного промпта) примерно на 30%. Дальше начались несколько месяцев непрерывного «тюнинга» с помощью нейросетей. Почти всё время я гонял DeepSeek V4, а позже перешёл на DeepSeek V4.1 Flash — они оказались дешевле и при этом выдавали код лучше, чем более дорогие модели, например, gpt‑oss-120b или Qwen3-235B.

Параллельно нужно было успеть до исчерпания гранта сделать не только быстрый инференс, но и удобный харнесс (обвязку вокруг модели). С этим как раз были самые большие проблемы: перед глазами у меня было всего два примера — SourceCraft Assistant и OpenCode. На последний пришлось экстренно пересесть после того, как 11 октября 2026 года SourceCraft сломался после инцидента в дата‑центре Яндекса. На грантовом счёте оставалось ещё около 200 000 рублей, но сервисы лежали, так что пришлось полностью переходить на внешний DeepSeek провайдер. Зато это лишний раз подтвердило правильность идеи: мой локальный агент не будет зависеть от работоспособности провайдеров.

В итоге удалось обогнать llama.cpp не только на CPU, но и на GPU.

Как устроен инференс под капотом (tinycoder‑inference)

tinycoder‑inference — это не обёртка над ggml или PyTorch, а написанный с нуля движок на C++20 и CUDA без единой сторонней библиотеки инференса внутри (из внешнего кода используются только моя библиотека np и стандартный cuBLAS для плотных матричных умножений). Все ядра деквантования, int8 stream‑K MMA GEMM, warp flash attention, рекуррентные ядра Gated‑Delta‑Net и сэмплеры реализованы напрямую в репозитории.

Что движок умеет прямо сейчас:

  • Поддерживаемые семейства моделей: Qwen2.5, Qwen3.6 и Qwen3.8 (как плотные qwen35, так и MoE qwen35moe), Ornith, Gemma 4 и тернарные модели Prism Ternary-Bonsai.

  • Нативная поддержка двух форматов без конвертации: Model::load сам определяет формат на входе. Поддерживается GGUF v3 (K‑кванты от Q2_K до Q6_K, IQ‑серия IQ2_XXS—IQ4_XS и тернарный pq2_0) и EXL3 — формат exllamav3 читается напрямую из директории Hugging Face (config.json + *.safetensors + tokenizer.json) без PyTorch и Python‑прослойки на каждый токен.

  • Два пути на этапе prefill и быстрый decode: при обработке входного промпта движок выбирает между cuBLAS fp16 и собственным int8 MMA‑ядром (квантует активации в Q8_0 и читает блоки прямо из VRAM). На этапе генерации используются ядра GEMV с деквантованием «на лету» и захватом графа вычислений в CUDA Graph.

  • Запуск больших MoE‑моделей на 11 ГБ VRAM: для моделей, не влезающих в видеопамять целиком, реализован гибридный режим — плотная часть модели остаётся в VRAM, а эксперты (например, 34.4-гигабайтной Ornith-1.5-35B-A3B) потоково прокачиваются через слой‑арену.

  • Планировщик контекста по реальной памяти: вместо жёстких констант движок измеряет свободную VRAM/RAM перед загрузкой модели и сам подбирает точность KV‑кэша (f32 с int8‑зеркалом или чистый int8). Это позволяет вместить на RTX 2080 Ti до 196 352 токенов контекста для 9B‑модели и до 64 256 токенов для 27B.

  • CPU‑бэкенд с выбором SIMD‑инструкций на лету (runtime dispatch): если видеокарты нет, движок автоматически определяет доступный набор инструкций (AMX, AVX-512, AVX2 или scalar fallback) и распараллеливает вычисления через OpenMP.

Результаты замеров: TinyCoder vs llama.cpp и ExLlamaV3

Все замеры проводились на моей рабочей машине с RTX 2080 Ti (11 ГБ) по стандартному протоколу pp512 / tg128 (префилл 512 токенов / генерация 128 токенов), чередующимися прогонами (по три пары) для честного сравнения:

Модель и квантование

Базовый движок

TinyCoder pp512 (tok/s)

Baseline pp512 (tok/s)

TinyCoder tg128 (tok/s)

Baseline tg128 (tok/s)

Qwen2.5-Coder-1.5B q2_k (0.7 ГБ, full offload)

llama.cpp

12 239.8

7 679.2

325.9

321.6

Qwen2.5-Coder-1.5B iq3_xxs (0.9 ГБ, full offload)

llama.cpp

12 243.4

10 007.0

273.8

262.2

Ornith-1.5–35B‑A3B q8_0 → q4_k (34.4 ГБ, hybrid MoE)

llama.cpp -ncmoe 99

176.3

132.2

53.6

17.1

Qwen3.8–27B EXL3 1.60bpw (8.6 ГБ, full offload)

exllamav3 1.6.6

727.5

719.5

23.60

23.76

Ternary‑Bonsai-2-27B pq2_0 (6.7 ГБ, full offload)

PrismML llama.cpp (fork)

880.6

878.5

51.73

50.36

Особенно показателен кейс с MoE‑моделью на 34.4 ГБ (Ornith-1.5-35B-A3B): благодаря слой‑арене она помещается в 11 ГБ видеопамяти RTX 2080 Ti и генерирует текст в 3 раза быстрее llama.cpp (53.6 против 17.1 tok/s). Полную таблицу бенчмарков (включая сценарии, где быстрее llama.cpp, и тесты на длинном контексте) можно посмотреть на tinycoder.dev/#benchmarks и в самом репозитории проекта.

Архитектура: отделяю движок от плагина и пишу API‑шлюз на Go

Чтобы не привязываться к одному редактору, я разделил исходный продукт на независимый C++20/CUDA движок tinycoder‑inference и сам плагин‑харнесс для VS Code (он подключает ядро через CMake FetchContent и общается с ним через N‑API мост).

Затем захотелось ещё большей универсальности — чтобы движок можно было использовать вообще с любым внешним харнессом (OpenCode, Roo Code, Cline и др.). Отсюда появилась идея реализовать стандартный OpenAI API. На чём его писать? Я профессионально занимаюсь разработкой на Go, поэтому решение напрашивалось само собой: сделать отдельный проект на Go — tinycoder‑openai, который стыкуется с моей C++ библиотекой через CGO.

Идея полностью оправдала себя: сам исполняемый файл Go‑сервиса весит всего 9 МБ, а вся нативная C++/CUDA‑начинка вынесена в разделяемую библиотекуlibtinycoder_bridge.so размером 145 МБ (никакого Python‑стека и тяжёлых внешних фреймворков — кроме системного CUDA Toolkit/cuBLAS). При этом шлюз поддерживает из коробки:

  • Два популярных API: эндпоинты OpenAI (/v1/chat/completions, /v1/responses) и Anthropic Messages API (/v1/messages).

  • Работу с агентами: встроенный tool_calls и SSE‑стриминг с keep-alive на время долгого префилла.

  • Безопасное прерывание генерации: кооперативный abort внутри C++ цикла по слоям модели для мгновенного освобождения видеопамяти.

  • Управление памятью: ленивую загрузку моделей по первому запросу и автоматическую выгрузку из VRAM по LRU‑таймауту.

Почему фокус сместился именно на движок

В конечном итоге я сосредоточил основные усилия именно на разработке движка для инференса, а не харнесса. Как мне показалось, в отличие от мира харнессов (где уже есть из чего выбрать), в мире локальных движков до сих пор царят разнобой и хаос: нет единого и мощного решения, которое бы собрало под одно крыло все форматы квантизации, поддержку видеокарт, доступных рядовым потребителям, хорошую поддержку NVLink и низких квантов из коробки.

Каждый разработчик и пользователь должен иметь возможность запускать именно ту модель и в том квантовании, которые лучше всего подходят под его задачу, а не подстраиваться под ограничения конкретной библиотеки. Поэтому фокус проекта постепенно сместился на главную идею — сделать локальный движок, который идеально подходит мне самому: работает на очень скромном и старом железе, но позволяет комфортно гонять довольно мощные модели.

На чем протестирован движок

Сейчас вся база отлажена на архитектуре Turing (RTX 2080 Ti), в процессе отладки Ampere (RTX 3090), а более новые видеокарты работают через совместимый PTX JIT или базовый SASS.

Планы развития

Но впереди ещё много работы. В ближайших планах:

  • Спекулятивное декодирование

  • Отдельные оптимизированные ядра под современные GPU: специализированный тюнинг CUDA‑ядер под RTX 4090 и 5090 (Ada Lovelace и Blackwell), чтобы выжимать максимум пропускной способности и тензорных ядер на каждой архитектуре.

  • Мульти‑GPU и NVLink: запуск крупных моделей на нескольких видеокартах в одном ПК с поддержкой прямого обмена через NVLink.

  • Распределённый инференс по локальной сети: возможность объединять вычислительные ресурсы нескольких домашних машин в единый кластер для запуска тяжёлых чекпоинтов.

  • Поддержка Intel Core Ultra NPU: перенос инференса на встроенные нейроускорители современных процессоров Intel для автономной работы без дискретной графики.

  • Новые алгоритмы квантизации: расширение поддержки современных сверхнизкобитных форматов сжатия весов.

Где пощупать

Весь код открыт под лицензией MIT, а обзор проекта, документация и замеры доступны на tinycoder.dev:

В завершение хочу ещё раз поблагодарить Яндекс и жюри программы грантов open‑source проектов — без этой поддержки и веры в идею на старте TinyCoder вряд ли бы появился на свет.

Также хочу поблагодарить Nick Garkushenko за помощь в проверке TinyCoder на RTX 3090.

Буду рад вашим тестам на разных GPU и CPU, комментариям и Issue на GitHub!


Автор: mike1

Источник