Путь к локальному LLM — модель которую я наконец-то реально использую каждый день
Путь к локальному LLM: как требвоания по ИБ и “дух авантюризма” привели меня к 125B-модели под столом - и почему агенты больше не просят облако
RTX 5090 на 96 ГБ: разбираемся с характеристиками, которые не сходятся
При нехватке памяти скорость генерации падает в десятки раз, а мощные видеокарты, способные это исправить, сегодня в дефиците и цена не радует. Поэтому китайские компании предлагают модифицированные варианты типовых GPU, наращивая память на 4090 и 5090 видеокартах, в два - три раза. Мы решили посмотреть, какие модифицированные карты с увеличенным объемом памяти есть на рынке и какие официальные версии они могут заменить, заодно сравним с профессиональными GPU, для которых память в 48Gb или 96Gb являются базовыми характеристиками. RTX 5090 с 96 ГБ
Пять способов ускорить локальный инференс MoE-модели: один я написал сам
В предыдущей статье я разбирался, какие эксперты реально живут в VRAM у Strata, пока она крутит Qwen3.8-Flash-Next на GTX 1070. На этот раз - короче и практичнее: несколько конкретных приёмов ускорения, которые стоит проверить, если вы гоняете большую MoE-модель на домашнем железе. Один из них - патч, который я написал и прогнал сам, с цифрами “было/стало” на реальном движке. Остальные - то, что уже работает в Strata “из коробки”, просто не всегда включено и не всегда замечено.1. Спекулятивное декодирование (MTP/drafting)
Локальные нейросети: своей видеокарты хватает на офис — если знать, зачем она
6 ноября 2026 веб-студия «Флаг» провела открытую лекцию про локальные AI-модели. Спикер — Саша Андреев (t.me/andr33vru): технический директор на аутсорсе, руководит студией заказной разработки и сам гоняет модели на RTX 3090. Ведущий — Миша Радионов, «Флаг Софт».Ниже — разбор того, о чём шла речь. Без магии и без «купите карту прямо сейчас».Зачем вообще локальноеОблачные модели умнее. Claude, Codex и компания тянут задачи, на которые бытовая видеокарта пока не претендует. Но умность — не единственная метрика.
Как приручить LLM-дракона. Архитектура корпоративного AI-шлюза и ограничения классических прокси в работе с нейросетями
Первый шаг при стихийном внедрении нейросетей — закрыть прямой доступ наружу и направить запросы через привычный корпоративный прокси. Однако у генеративного ИИ иная специфика: стандартные прокси не умеют выявлять конфиденциальные данные в ответах моделей, не видят утечек в промптах и не защищают от перерасхода токенов.Это первая часть цикла о создании корпоративного AI-шлюза: почему классические балансировщики не рассчитаны на работу с LLM, как устроена специализированная архитектура и как платформа AI Оптимум обеспечивает контроль контекста, прозрачный учет токенов и безопасность данных.
Что происходит после обучения модели: обзор книги Inference Engineering
Насколько хорошо новая модель ИИ справляется с задачами — первый вопрос, который обычно задают при ее обсуждении. В техническом сообществе разговор обычно идет о бенчмарках, количестве параметров и гонке рейтингов.
Можно ли собрать сервер из игровых комплектующих
Всем привет! Меня зовут Виталий, я инженер ЦОД
