Zero-Host-Copy инференс: как написать пайплайн на C++-CUDA исключающий участие CPU в горячем цикле (165 FPS)
Обработка видео (H.264) с помощью YOLOv8m (1024x1024-INT8) со скоростью ~165 FPS на RTX 3060 Ti и ~38 FPS на Jetson Orin Nano Super1. Введение: Анатомия бутылочного горлышка
NVIDIA CMP 50HX: Еще не все потеряно…
ПредысторияЕсть домашний сервер обычной “подстольной” конфигурации. Proxmox с несколькими виртуалками. В какой-то момент прикупил на аукционе NVIDIA CMP 50HX за копейки, ради поиграться с простенькими модельками. Модели запускаю через llama.cpp, дополнительно использую Whisper для распознавания речи. Быстро смирился со скоростью работы и жил с этим всем спокойно несколько месяцев, пока не наткнулся на статью NVIDIA CMP – микроскопы для забивания гвоздей? Копаем глубже….Очень рекомендую прочесть статью
Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду.Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия?Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного.Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.
Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов-с
Репозиторий проекта: https://github.com/ExVRAM/exvram‑labExVRAM Lab — открытый исследовательский проект, посвящённый запуску больших локальных LLM на потребительских видеокартах с небольшим объёмом VRAM. Мы исследуем, насколько далеко можно зайти, если не писать собственный inference engine с нуля, а системно использовать существующие open‑source технологии: ultra‑low‑bit quantization, полное размещение весов на GPU, оптимизацию KV cache и современные CUDA‑backends.
Как запустить Qwen3.8-Flash-Next 125B на 6 ГБ VRAM
Qwen3.8-Flash-Next - открытая 125B-модель на архитектуре, которая станет основой Qwen4. По опубликованным Qwen результатам она конкурирует с закрытыми frontier-моделями в задачах программирования, работы с агентами и computer use.Мы запустили полный checkpoint Qwen/Qwen3.8-Flash-Next на одной RTX 4090. Пиковое потребление VRAM составило 5,95 ГБ, без 4-битной квантизации и дистилляции. Использовался полный checkpoint в bf16, который генерировал обычные токены.По сравнению с Opus 4.6 Max, согласно собственным данным Qwen:
AI ready: почему дата-центр для ИИ сложнее обычного модульного ЦОДа
В первой статье я рассказал, как мы пришли к идее AI ready — локального контура, который собирает инженерную базу, вычисления и прикладной ИИ в одну систему. Теперь подробнее про первый «железный» уровень ИИ-контура — AI Base.Идеи есть у многих, до пилота добираются единицы. Мы думали: возьмём концепцию модульного ЦОДа, немного подобьём её под стойки с GPU, и наш пилот полетит. В МЦОДе уже решены базовые задачи по компоновке, комплектации и автоматике — так зачем изобретать велосипед? Но первая гипотеза провалилась, как только мы начали считать нагрузку.
Запускаем LLM локально на майнинг ферме из 4 GPU
В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были).В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.
OpenAI предложила властям США долю в 5% для защиты бизнеса
Компания OpenAI, оцениваемая почти в 852 миллиарда долларов, инициировала переговоры о передаче 5% своих акций правительству США. Генеральный директор стартапа Сэм Альтман рассчитывает, что такой шаг поможет снизить политическое давление и укрепить отношения с администрацией Дональда Трампа. Стоимость предлагаемого пакета активов оценивается в 43 миллиарда долларов.
Домик для ИИ: как завод пришёл к идее AI ready для бизнеса
Бизнес нацелился делать свой собственный AI. Все задают вопрос: «Какая модель мне нужна?» Но никто не задумывается, на каких мощностях модель будет работать. Мы тоже сначала не задумывались. Разработали корпоративного AI-агента, прокачали ИТ-команду, чтобы двигаться дальше — и споткнулись о «железный порог». Так родилась идея AI ready модуля. В статье рассказали, что это такое и почему AI начинается не с модели, а с инфраструктуры.
