инференс. - страница 3

Анализ сервисов на замену OpenRouter в РФ

Заголовок конечно очень похож на классический ИИ SEO слоп, но не спешите закрывать. Анализ вцелом я делал для себя и не претендую на истину в последней инстанции. Просто делюсь вдруг кому окажется полезным.OpenRouter

продолжить чтение

Mac mini feat OpenClaw: проверяем локальный инференс LLM

продолжить чтение

Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok-s на 32 одновременных запросах и три ошибки

продолжить чтение

Не всё надо решать LLM. Где в продакшене побеждают бустинги, эмбеддинги и правила

Привет! На связи Катерина Лапаева, руководитель агентства в сфере AI – GIGASCHOOL. В мае наша команда проектировала AI-трек на одной из самых масштабных конференций для разработчиков на Урале – UWDC 2026, где мы запустили дискуссию. Обсудили, когда нужны большие языковые модели, а когда задачу проще, дешевле и надёжнее решить другими технологиями.

продолжить чтение

False positive под небом цвета телевизора, настроенного на мертвый канал

LLM-триаж SAST, который не стыдно пустить в pipeline AppSec-инженер перед терминалами ночью

продолжить чтение

LLM и уровень усилий (effort) в Claude Code: знать больше или стараться лучше?

Claude Code даёт две настройки, которые обе как бы «улучшают ответ»: модель и уровень усилий (effort). Но как они влияют на результат? И как понять, когда нужно менять модель, а когда — просто уровень усилий?Легко предположить, что модель побольше, например Fable, даёт результат лучше, чем Sonnet, а более высокий уровень усилий значит просто «Claude думает дольше перед ответом».Первое предположение верно. Наши крупнейшие модели действительно более способные согласно отраслевым бенчмаркам.

продолжить чтение

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

LLM inference benchmarkС чего все началосьУ меня была вполне приземленная задача: понять, на каком бэкенде гонять одну и ту же открытую модель — на vLLM, llama.cpp, ONNX Runtime или просто на transformers. Звучит как вопрос на пять минут, пока ты не начинаешь честно мерить.

продолжить чтение

4.6-битные сети: от теории к практике. Причём здесь HardTanh?

Уже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два. Вспомним, что при 4.6-битном квантовании веса и входы слоя принимают такие целые значения, что их попарные произведения помещаются в знаковый 8-битный тип данных. Такая схема позволила нам вычислять нейронные сети на процессорах мобильных устройств быстрее, чем в 8-битном формате, и точнее, чем в 4-битном, потому что уровней квантования больше.

продолжить чтение

Vibecode по дешевке — домашний сервер с Qwen Code за 25к, который не отключит Anthropic

«У нас было две планки оперативной памяти, одна серверная Tesla V100, прочная открытая рама вместо корпуса, 5 райзеров, коробка, наполовину набитая переходниками питания, и целое море разноцветных SATA‑кабелей, стяжек и термопрокладок, а так же тюбик термопасты, моток шлангов для водянки, ящик вентиляторов, пинта изопропила и 12 саморезов неизвестного происхождения. Не то, чтобы всё это было категорически необходимо для сборки, но если уж начал собирать коллекцию, то к делу надо подходить серьёзно.»— по мотивам Хантера С. Томпсона, «Страх и Ненависть в Лас‑Вегасе»

продолжить чтение

Anthropic выпустила Fable 5 — и я задумался, не движемся ли мы не в ту сторону

Самая мощная публично доступная модель оказалась дороже и медленнее. Разбираю релиз и рассуждаю, почему удешевление и ускорение, возможно, важнее роста потолка9 июня Anthropic выпустила Claude Fable 5 — первую публично доступную модель класса Mythos. Той самой Mythos, которую в апреле компания сочла настолько мощной (и потенциально опасной в части кибербезопасности), что не стала открывать публике, а раздала ограниченному кругу организаций в рамках программы Project Glasswing. Спустя меньше трёх месяцев Anthropic решила, что готова дать публике модель того же класса — с оговорками.

продолжить чтение