qwen.
Сколько Rust помещается в 0.5B
Temper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.Первая версия Temper
Механизмы внимания в современных LLM
Прежде чем разбирать оптимизации, зафиксируем базовые понятия:Токен — минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention строит query, key и value. Query отвечает на вопрос «что я ищу», Key — “что я содержу”,
Как я читерил с ИИ в реверс‑инжиниринге промышленного ПО
ВведениеНаша команда занимается разработкой и внедрением систем предиктивной диагностики промышленного оборудования на предприятиях нефтегазохимического комплекса. Поскольку значительная доля технологического оборудования и промышленных информационных систем на таких предприятиях имеет зарубежное происхождение, интеграция с ними никогда не была простой задачей, а в условиях санкционного давления заметно усложнилась.
Может ли локальная 27B-модель расследовать продакшен-инцидент как Claude? Две RTX 5090, около 40 прогонов и одна гонка
Как всё началосьЭта история начинается с реального продакшен-инцидента.По графикам в Grafana я вышел на гипотезу, что в одном из сервисов наблюдается утечка соединений. Картина была довольно характерная: пул постепенно забивался, количество реально выполняющихся запросов этому совершенно не соответствовало, а рестарт сервиса временно возвращал всё в норму.Недолго думая, я попросил Claude составить по инциденту промпт для другого агента: вот симптомы, вот код, вот несколько гипотез — подтверди или опровергни утечку и найди причину.Запустил.
MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз
Вторая часть. Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B».В первой части я посадил кодового агента pi на локальную Qwen3.8-27B через MTPLX и прогнал сложную задачу в разных режимах размышлений. Осталось сомнение, которое MTPLX сам не снимает: сколько тут даёт его многотокенное предсказание (multi-token prediction, MTP), а сколько сработало бы на любой MLX-обвязке?
Как Splash ускоряет локальные LLM на Mac
При выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.
Гига Писарь Большое обновление для мака, в котором мы навели красоту и перестали вам мешать
Привет, Хабр!Это обновление для тех, кто диктует на маке, и оно самое заметное за всё время. Окно настроек Гига Писаря переделано полностью: новое устройство, картинки вместо таблиц, анимация, открываешь, и кажется, что это раздел системных настроек, а не отдельная программа.Рассказываю, что изменилось, и немного о том, кто всё это делает, спойлер, уже не только я.Коротко, если вы тут впервые
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше
ВведениеЯ не планировал писать эту статью, я делал исследования для себя. Но в какой-то момент я понял, что это может показаться интересным и даже полезным кому-то еще. И вот вы читаете эти строки.Это статья про исследование разных поколений больших языковых MoE моделей Qwen, применяемых для локального инференса.Я рассчитываю, что читатель уже знаком с ИИ и LLM и хотя бы ориентируется в терминологии. Пространные пояснения очевидного будут только раздражать искушенного читателя, поэтому не буду подробно объяснять, что такое MoE или как запускать модели локально.
