Пять способов ускорить локальный инференс MoE-модели: один я написал сам
В предыдущей статье я разбирался, какие эксперты реально живут в VRAM у Strata, пока она крутит Qwen3.8-Flash-Next на GTX 1070. На этот раз - короче и практичнее: несколько конкретных приёмов ускорения, которые стоит проверить, если вы гоняете большую MoE-модель на домашнем железе. Один из них - патч, который я написал и прогнал сам, с цифрами “было/стало” на реальном движке. Остальные - то, что уже работает в Strata “из коробки”, просто не всегда включено и не всегда замечено.1. Спекулятивное декодирование (MTP/drafting)
Когда Python становится слишком медленным: пишем C‑расширение с нуля и сравниваем с pybind11 (бонус JIT‑компилятор)
Недавно я прочел статью про pyrusmorph — python обёртку над 30-летним с++ ядром libmorph/rus. Бенчмарки удивили: в 30 раз быстрее PyMorphy3 при обработке текста. После я задумался. Как это вообще работает? Почему мы пишем import pyrusmorph и получаем доступ к нативному с++ коду и функциям прямо внутри python.В статье я предлагаю пройти этот путь с нуля. Разобраться, как устроен Python «под капотом», написать своё расширение на чистом C‑API, а потом посмотреть, как эту боль лечит pybind11
ИИ ускоряет сотрудника, но замедляет команду: где проходит граница полезной автоматизации
Я Антон Калуцкий, руководитель DEVCOM — экспертного центра аутстаффинга ИТ-специалистов с экспертизой в 1С. Делюсь наблюдениями, как разработчики 1С применяют ИИ в работе, какие задачи ему доверяют и в каких случаях он действительно помогает ускорить разработку.
За 50 дней до открытия: прогноз заказов ПВЗ, которого еще нет
Чтобы пункт выдачи заказов хорошо работал, надо учесть сразу несколько факторов: сколько людей живёт рядом, траффик, где уже работают другие ПВЗ и какую часть их заказов заберёт новая точка. Оценить всё это нужно до открытия — в нашем случае за 50 днейПочти каждая статья про выбор локации начинается одинаково: берём слой населения по домам, накладываем сетку, считаем плотность спроса. Дальше — модель Хаффа, изохроны, красивая карта.
Усредняющие сети: как ускорить 8-битные сети почти без потери точности
Чтобы распознать документ на смартфоне, мало хорошо обучить нейросеть читать текст. Нужно ещё добиться, чтобы она делала это быстро на процессоре самого устройства. При разработке Smart Document Engine, системы распознавания и анализа документов, мы решаем именно такие задачи: обработка должна выполняться локально, а вычислительные ресурсы ограничены. Поэтому для нас поиск более экономных способов вычисления нейронных сетей — вполне практическая задача.
Нейросеть, которая молчит
15 сентября стартап TypeSafe AI вышел из стелса с раундом $40 млн и необычной новой моделью Jev. Она не умеет разговаривать и не пишет текста.Зачем она нужна? В компаниях AI чаще всего не болтает с человеком, а принимает тысячи мелких решений внутри программ: куда отправить письмо, насколько срочна заявка, похож ли платеж на мошенничество. Сейчас их все чаще отдают LLM, и она каждый раз генерирует текст, хотя программе нужно одно решение.
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
