Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B. android.. android. Bonsai 2.. android. Bonsai 2. gguf.. android. Bonsai 2. gguf. llama.cpp.. android. Bonsai 2. gguf. llama.cpp. llm.. android. Bonsai 2. gguf. llama.cpp. llm. ollama.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация. Компьютерное железо.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация. Компьютерное железо. локальные нейросети.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация. Компьютерное железо. локальные нейросети. Машинное обучение.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация. Компьютерное железо. локальные нейросети. Машинное обучение. Старое железо.. android. Bonsai 2. gguf. llama.cpp. llm. ollama. qwen. Блог компании МТС. искусственный интеллект. квантизация. Компьютерное железо. локальные нейросети. Машинное обучение. Старое железо. троичное сжатие.
Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 1

У меня было 8 гигабайт видеопамяти на старой майнинговой NVIDIA P104-100 семнадцатого года, древний i7-3770 родом из двенадцатого, знающий только AVX, ровно 15,5 гигабайта оперативной памяти, NVMe-накопитель и HDD — его взяли специально, чтобы замерить этот чертовски долгий старт. Не то чтобы все это было категорически необходимо для запуска нейросетей, но если уж начал собирать домашний стенд, к делу надо подходить серьезно. Единственное, что вызывало у меня опасение, — это телефоны.

Мы находились где-то на краю пустыни технологического прогресса, когда железо начало плавиться… На деле все было гораздо скучнее.

Для своего проекта я искал локальную модель, без облака, на железе, которое уже стоит под столом, и наткнулся на Bonsai 2 27B. Она обещала уместить модель класса 27B в 8 ГБ старой карты. Модель запустилась, но на реальных задачах обычная Qwen3 8B, которая помещается в те же 8 ГБ без форков и патчей, держалась на уровне, а местами оказывалась быстрее и стабильнее. Дальше разбираюсь, нужна ли Bonsai, если рядом есть 8B.

С чем имеем дело?

Bonsai 27B PrismML выпустила в середине июля и сразу заявила, что это первая модель такого размера, которая влезает в iPhone. Через два месяца, 17 сентября, появилась Bonsai 2 27B, уже троичная. О ней быстро заговорили в профильных каналах.

Звучало сказочно. 27 млрд параметров ужали в девять раз: было 54 ГБ, стало 5,9. Качество при этом почти не пострадало, если верить разработчикам: осталось 98,2% от исходной модели. А июльскую версию на Hugging Face скачали уже около 5 млн раз.

Под капотом у Bonsai 2 27B — Qwen3.8-27B, лицензия Apache 2.0. Контекст по паспорту 262K токенов. Внимание гибридное, примерно три четверти слоев в нем линейные. Такие слои на длинном тексте обходятся дешевле: их затраты растут вместе с длиной контекста, а у полного внимания — с ее квадратом.

Но главное тут, конечно, размер файла. Добились его троичными весами. В обычной модели каждый вес хранится как 16-битное число, а здесь у него всего три возможных значения: −1, 0 и +1. Разработчики обещают и выигрыш в вычислениях: умножать на такие числа не нужно, хватает сложения и смены знака. Нагрузка на процессор от этого резко падает.

В гигабайтах картина такая:

Формат

Бит на вес

Размер 27B

Под какую карту

FP16

16

~54 ГБ

80 ГБ

Q4

~4,5

~15,4 ГБ

24 ГБ

PQ2_0 (троичный)

~2,13

~7,2 ГБ

8 ГБ

PTQ1_0 (троичный)

~1,75

~5,9 ГБ

8 ГБ

На старых картах размер важен еще и для скорости. Чтобы выдать токен, карта читает все веса, поэтому скорость генерации чаще упирается в пропускную способность памяти, чем в вычисления.

Зачем два формата? По данным PrismML, PTQ1_0 быстрее на игровых картах уровня RTX 4090, а PQ2_0 — на серверных H100, A100 и Blackwell.

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 2

Старое железо и обязательный форк PrismML

Обещания я решил проверить на том, что было под рукой: на майнинговой карте 2017 года и паре недорогих смартфонов.

Компонент

Что было

GPU

NVIDIA P104-100 — Pascal 2017 года, 8 ГБ VRAM, бывшая майнинг-карта

CPU

i7-3770 (4 ядра, 2012 год, не поддерживает AVX2)

RAM

15,5 ГБ

Диски

NVMe (912 МБ/с) и HDD (78 МБ/с) — HDD специально для замера старта

Телефоны

TECNO Pouvoir 4 — Helio A22, 2,9 ГБ, Android 10, 32-бит; TECNO Pova 5 — Helio G99, 8 ГБ, Android 14, 64-бит

Скорость я мерил утилитой llama-bench из llama.cpp. Параллельно каждые полсекунды через nvidia-smi снимал с карты температуру, мощность и загрузку памяти. Телефоны подключал по adb, через него же ими и управлял.

Первая проблема вылезла еще на ПК: стандартные llama.cpp и Ollama троичный GGUF не понимают. Веса модели лежат в тензорах типов PQ2_0 и PTQ1_0, а их знает только форк PrismML. Стандартная Ollama версии 0.40.6 при попытке прочитать такой файл выдает ошибку. Ollama с тех пор обновлялась, часть форматов Bonsai приняли в официальный llama.cpp, но быстрые троичные тензоры PQ2_0 по-прежнему работают только в форке.

Для замеров я запускал модель напрямую через готовую сборку от PrismML с поддержкой CUDA 12.4, так проще и быстрее. Но при желании троичную Bonsai можно подружить и со стандартной Ollama. Для этого ее придется доработать вручную: пропатчить Go-парсер GGUF (без этого Ollama не сможет рассчитать размер тензоров) и заменить стандартный бинарник llama-server на сборку из форка PrismML. Тогда ollama create и ollama run заработают и с 27B, причем скорость не упадет: генерация идет так же, как в чистом форке. Только практической пользы в этом мало: такой «костыль» продержится ровно до первого обновления Ollama, которое затрет все изменения.

Ollama хотя бы честно падает, когда не может разобрать файл. Со стандартным llama.cpp хуже: он молчит. Старый формат Q2_0 из той же серии он загружает без единого предупреждения, а модель потом выдает полную бессмыслицу.

Все из-за того, как устроено сжатие. Перед квантованием веса «поворачивают»: умножают на матрицу Адамара, чтобы сгладить редкие выбросы, которые хуже всего переживают сжатие. Значит, и во время работы входные данные, то есть активации, нужно поворачивать так же, иначе они с весами окажутся в разных системах координат. Стандартный llama.cpp этого не умеет. Разработчики прямо предупреждают об этом на странице модели на Hugging Face.

Как быстро Bonsai работает на видеокарте

Пять кандидатов, все не больше 8 ГБ, кроме эталона:

Модель

Формат

Бит на вес

Размер

Роль

Bonsai 2 27B PTQ1_0

троичный

1,75

5,95 ГБ

главный герой

Bonsai 2 27B PQ2_0

троичный

2,13

7,21 ГБ

то же, чуть тяжелее

Qwen3 8B Q4_K_M

обычный 4-битный

~4,5

4,7 ГБ

8B, тот же класс «влезает в 8 ГБ»

Qwen3.8 27B UD-IQ2_XXS

обычный 2-битный

~2

7,27 ГБ

соперник того же размера

Qwen3.8 27B UD-Q4_K_S

обычный 4-битный

~4,5

15,4 ГБ

почти несжатый эталон (через mmap)

Эталону Q4_K_S на этом стенде тесно: 15,4 ГБ не влезают ни в видеопамять, ни в свободную оперативку. Через mmap, когда веса подтягиваются с диска по мере надобности, он выдает около 1 t/s. Я пробовал и по-другому: отдал видеокарте 28 слоев, остальное оставил процессору. Вышло 1,14 t/s, почти то же самое.

В таблице ниже две скорости. Чтение промпта показывает, как быстро модель переваривает уже заданный вопрос, а генерация — как быстро печатает ответ. Считаются обе в токенах в секунду (t/s).

Модель

Размер

Чтение промпта, t/s

Генерация, t/s

Пик видеопамяти

Bonsai PTQ1_0

5,95 ГБ

93,8

17

6,98 ГБ

Bonsai PQ2_0

7,21 ГБ

97,7

14,5

7,81 ГБ

Qwen UD-IQ2_XXS (обычный 2-бит)

7,27 ГБ

15,7

10,8

7,89 ГБ

В последней строке кроется неожиданный результат. Обычный 2-битный IQ2_XXS на Pascal в шесть раз медленнее читает промпт и в 1,6 раза медленнее генерирует, хотя размер файла у соперников сопоставим. Скорость определяют вычислительные ядра, написанные под конкретный формат, а число бит на вес отходит на второй план. IQ2_XXS тоже сжат очень сильно, так что в таблице сравниваются два способа ужать одну и ту же Qwen 27B. Несжатую версию для сравнения на этой карте запустить негде.

Для сравнения: на RTX 4090, по данным PrismML, модель выдает 81–91 t/s. Майнинговая карта 2017 года дает примерно пятую часть этой скорости.

По контексту карта упирается в 16K токенов. На 16 384 видеопамять забита на 97%, это 7967 МБ из 8191. А на 32 768 модель даже не стартует. Так что паспортные 262K для 8 ГБ остаются теорией. На картах с 12–16 ГБ после 5,9 ГБ весов под кэш контекста остается заметно больше места, и длинные окна там, скорее всего, достижимы. Но на моем стенде это не проверить.

Без видеокарты я тоже попробовал, хотя чудес не ждал. Старый i7-3770 без AVX2 выдал 0,6 t/s, почти в тридцать раз медленнее карты.

Пока модель целиком сидит в видеопамяти, диск важен только на старте. С NVMe она поднялась за 25 секунд, с HDD пришлось ждать 87. Дальше разницы почти нет: 16,5 и 17,0 t/s. Выходит, SSD спасает только от лишней минуты перед запуском. Но если перезапускать модель часто, эта минута быстро надоедает.

Сколько ждать токена на телефоне

Июльскую Bonsai 27B PrismML подавала как «первую модель класса 27B для запуска на телефоне». Только телефоном там был iPhone с 12 ГБ памяти, где модели отдают около шести, а моделью — однобитная версия на 4 ГБ. У меня все было иначе: троичная Bonsai 2 на 5,9 ГБ и два обычных Android-смартфона. На первом она даже не стартовала, а второй ее все-таки запустил и выдавал по токену раз в 20 секунд. 

TECNO Pouvoir 4: только младшие модели

Первый смартфон оказался строго 32-битным. Здесь 27B невозможна сразу по двум причинам. Во-первых, форк публикует Android-сборку только для arm64, и запуск заканчивается так:

/system/bin/sh: ./llama-bench: not executable: 64-bit ELF file

Вторая причина глубже. Даже если собрать рантайм под armv7, 32-битный процесс не сможет работать с файлом на 5,9 ГБ из-за жесткого лимита адресного пространства в 4 ГБ.

Младшие модели серии в память Pouvoir 4 помещаются, но рантайм для armv7 под них пришлось собирать вручную из исходников форка. Мешали три вещи:

  1. Хост-инструмент llama-ui-embed. Он жестко привязан к MSVC и чем-то другим компилироваться наотрез отказывался.

  2. Библиотека libc++fs.a. В Android NDK r21e ее не оказалось, пришлось лезть в исходники самой libc++, выковыривать нужное и собирать с нуля.

  3. Флаги оптимизации. По умолчанию релизная сборка шла с -Oz, то есть оптимизировалась под размер кода, и использовала компактные Thumb-инструкции. Когда я вручную переключил ее на -O3 и обычный набор ARM-инструкций, скорость выросла на 13–17%.

Готовые бинарники llama-cli и llama-bench я закинул на смартфон обычным adb push, рядом положил libomp.so и загрузил две младшие модели серии, 2B на 409 МБ и 4B на 906 МБ. Отвечают обе осмысленно, и русский понимают хорошо. Правда, у версии 4B стандартный размер контекста целиком занимает доступные процессу 2,9 ГБ оперативной памяти, поэтому запустить ее удалось только с урезанным контекстом, с флагом -c 512.

Модель

Файл

Промпт, t/s

Генерация, t/s

Bonsai 2 2B PTQ1_0

409 МБ

2,04 (pp128)

1,38 (tg64)

Bonsai 2 2B (-Oz/Thumb)

409 МБ

1,80

1,19

Bonsai 2 4B PTQ1_0

906 МБ

0,79 (pp64)

0,62 (tg32)

27B PTQ1_0

5,95 ГБ

невозможно

невозможно (32-бит + ОЗУ)

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 3

TECNO Pova 5: 27B запускается, но очень медленно

С 64-битным TECNO Pova 5 на 8 ГБ все прошло проще. Чистый рантайм под aarch64 я собрал по инструкции из репозитория форка, залил на смартфон те же файлы 27B, что гонял на ПК, и модель запустилась. Из шести контрольных вопросов (умножение, ловушка про овец, короткий код, вопрос с ложной посылкой, проверка фактов, творческое задание) она верно ответила на пять.

Сорвалось творческое задание, причем только на PTQ1_0: PQ2_0 с ним справилась. Еще один ответ сначала обрывался, но модель тут ни при чем: ему не хватало лимита длины. С -n 64 ответ вышел полным и верным.

Скорость при этом такая:

Модель

Размер

Промпт, t/s

Генерация, t/s

Bonsai 2 27B PTQ1_0

5,95 ГБ

0,59

0,05

Bonsai 2 27B PQ2_0

7,21 ГБ

0,67

0,04

Android сам занимает изрядную часть памяти, и из 8 ГБ приложению остается около 3–4. Файл на 5,95 ГБ туда не влезает, поэтому на каждый токен телефон заново читает веса с флеш-памяти, примерно на 260 МБ/с.

Проверить легко: при такой скорости файл читается секунд 23, а замер дал 20 секунд на токен. Почти все это время телефон ждет флеш-память. Pouvoir 4 подвела разрядность, а Pova 5 — объем оперативки. От видеокарты он отстает примерно в 340 раз. Точнее не скажу: 0,05 t/s — уже округленное значение.

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 4

Pova 5 относится к середнякам. На флагмане с 12–16 ГБ ОЗУ, где веса целиком лежат в памяти, скорость, скорее всего, будет совсем другой, но проверить это на момент тестов было нечем.

По моему опыту, для 27B на телефоне нужны 64-битная система и минимум 8 ГБ оперативной памяти. Тогда модель запустится и будет отвечать осмысленно, но при 0,05 t/s переписываться с ней не получится. На бюджетных 32-битных смартфонах вроде Pouvoir 4 такая модель не запустится вообще, там остаются версии 2B и 4B со скоростью от 0,6 до 2 t/s.

На коротких заданиях 27B и 8B разделяет один балл

Шести вопросов для сравнения мало, поэтому я собрал набор из 40 коротких заданий: восемь категорий по пять. В него вошли логические ловушки, многошаговая арифметика, код, который должен пройти юнит-тесты, JSON по заданной схеме и задания на точное следование инструкции, например вывести ровно N пунктов или не использовать определенную букву. Остальные три категории — поиск информации в контексте длиной от 1 до 8K токенов, фактические знания и качество текста на русском. Поиск в контексте — это тест «иголка в стоге сена» (needle in a haystack): в длинный текст прячут один факт и просят его найти.

Условия у всех моделей были одинаковые: температура 0, сид 42, контекст 8192 токена, рассуждение выключено, на каждое задание один прогон. Проверял я по-разному. Код гонял через тесты, JSON прогонял парсером, а в математике сверял числа. Знания и русский текст оценивал вслепую по шкале, которую составил заранее, и только потом смотрел, чей это был ответ.

Эталон Q4_K_S при скорости около 1 t/s прогнал только на логике и математике.

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 5

Категория

Bonsai PTQ1_0

Bonsai PQ2_0

Qwen3 8B

Qwen IQ2_XXS

Эталон Q4_K_S

Логика

3/5

3/5

2/5

2/5

4/5

Математика

3/5

3/5

5/5

2/5

2/5

Код

5/5

5/5

5/5

5/5

—

JSON

5/5

5/5

5/5

4/5

—

Поиск в контексте

5/5

5/5

5/5

5/5

—

Знания

5/5

5/5

5/5

5/5

—

Русский текст

5/5

5/5

5/5

5/5

—

Итог по короткому набору почти ничейный: у Bonsai 35 баллов из 40, у 8B — 36. Интереснее смотреть по категориям. С кодом и поиском факта в тексте справились все, слепые тесты на знания и русский текст тоже прошли без ошибок. Споткнулась только IQ2_XXS, и то на JSON: в одном задании она вернула пустой ответ.

Расходятся модели на логике и математике. В логике впереди эталон с 4 из 5, у обеих Bonsai по 3, у 8B и IQ2_XXS по 2. В математике 8B взяла 5 из 5, обе Bonsai — по 3, IQ2_XXS и эталон — по 2. В сумме по этим десяти заданиям у эталона и обеих Bonsai по 6 баллов, у 8B — 7, у IQ2_XXS — 4.

PrismML обещала, что Bonsai сохранит 98,2% качества исходной модели. На логике и математике троичная Bonsai набрала столько же, сколько почти несжатый эталон, так что с этим обещанием мой маленький тест не спорит.

Ответы PTQ1_0 и PQ2_0 побайтово совпали в 35 заданиях из 40. В остальных пяти ответ давался в свободной форме, и там расходились только формулировки. PQ2_0 весит на гигабайт больше, но на этом наборе ничего за это не дала.

Рассуждение меняет математику

С отключенным рассуждением троичные модели выдают ответ одним числом и ошибаются там, где нужны промежуточные вычисления. Тогда я прогнал те же пять задач еще раз, уже с рассуждением. PTQ1_0 решила все пять вместо трех, эталон Q4_K_S — все пять вместо двух. При этом PTQ1_0 потратила на рассуждение 63 токена, а эталон — 400. Пять задач — слишком мало для доказательства, но похоже, что математику портит ответ без промежуточных шагов, причем не только у троичной модели. Правда, эталону на задание нужно около 145 секунд, а PTQ1_0 — 21: скорость генерации у них 1,2 и 15 t/s.

Математику 8B выиграла не совсем честно. Рассуждение я у всех отключил, а в промпте стояло жесткое условие выводить только итоговое число. Остальные модели условие выполнили и в математике ошиблись, а 8B его проигнорировала и стала считать вслух, раскладывая вычисление на шаги:

Сколько будет 144 / 12 + 17 * 3? Ответь только числом.

144 / 12 = 12

17 * 3 = 51

12 + 51 = 63

Ответ: 63

Получается, 8B сама включила себе рассуждение, которое я у всех отключил, — отсюда и ее 5 из 5 в математике.

Три срыва общие для всех участников: задача про яблоки (12 яблок, половину отдали, из трети оставшихся сварили компот), выражение 144/12+17*3 при прямом ответе и запрет буквы «о» в предложении о зиме.

Разницу между способами сжатия хорошо видно на старой загадке про фермера и овец. У фермера 17 овец, все, кроме девяти, убежали. Сколько осталось? Ловушка в том, что рука тянется вычесть 9 из 17, хотя ответ уже есть в условии.

IQ2_XXS во всех 15 прогонах (пять при температуре 0 и десять при 0,7) отвечала «8», то есть считала убежавших овец. Обе версии Bonsai и эталон Q4_K_S каждый раз отвечали «9». В основе у всех четырех моделей одна и та же Qwen 27B, так что ошибку IQ2_XXS остается списать на способ сжатия. Но и Q4 не обходится без потерь. В первой серии из шести вопросов эталонная модель один раз ошиблась в тесте. Ей дали промпт — «придумай одно короткое предложение про кота и дождь», но она упустила дождь и написала фразу только про кота. На сложных заданиях 27B тоже не обогнала 8B.

Короткие вопросы плохо показывают, в чем большая модель сильнее маленькой, поэтому я собрал второй набор из 20 заданий посложнее. Отбирал такие, где 27B должна обыграть 8B, иначе возиться с ней дома нет смысла. В набор вошли редкие знания, многошаговые логические задачи, сказки и поиск скрытых фактов в русских текстах длиной 8K и 16K токенов. Его прошли три модели:

Модель

Знания

Контекст 8K

Авто-итог

t/s

Контекст 16K

Qwen3 8B

5/5

5/5

8/10

31,9

ок

Bonsai PTQ1_0

5/5

5/5

7/10

16,8

ок

Qwen IQ2_XXS

4/5

4/5

6/10

10,7

таймаут

Как ни грустно признавать, явного преимущества у массивной 27B перед более шустрой «малышкой» 8B обнаружить так и не удалось. 

По направлениям картина такая:

  • Эрудиция и память. На редких фактах и поиске «иголки в стоге сена» в пределах 8K контекста разницы между 8B и 27B нет.

  • Сложная логика. С включенным режимом рассуждения модели справляются почти одинаково.

  • Длинный контекст (16K). Только здесь одна из 27B споткнулась. IQ2_XXS весит больше PTQ1_0 и вместе с кэшем на 16K в 8 ГБ не поместилась. Полчаса она гоняла веса с диска, а потом упала по таймауту. 8B и PTQ1_0 с таким объемом справились и ответили.

  • Креативность. Модели писали сказки в заданном стиле, например «Репку», «Колобка» и «Теремок». Оценивал я их вслепую и вручную. Обе 27B набрали по 19 баллов из 25, 8B отстала на шаг с 18 баллами. Максимума не получил никто: все модели теряли героев и рвали сюжет. 27B к тому же пишут длиннее, и сюжеты у них, на мой вкус, интереснее. Но пять сказок на модель — слишком мало для выводов.

Тематика сказок и субъективная ручная оценка

Тематика сказок и субъективная ручная оценка

На испытания 8B потратила 7,2 минуты, PTQ1_0 — 11,1 минуты, IQ2_XXS — 54,8 минуты.

Картинки обе модели читают одинаково

Еще Bonsai 2 умеет смотреть на картинки. Для этого к ней прилагается отдельный визуальный модуль на 0,6 ГБ, и его я тоже погонял.

Картинок было 11, и простых среди них почти не было: русская поговорка, строчка на шести языках, английский текст на зашумленном фоне, надписи под углом, мелкий шрифт, вывеска с категорией и рукописный текст на доске. Прогонял все через llama-mtmd-cli, это утилита llama.cpp для мультимодальных моделей.

Распознала модель все. На картинку уходило около 35 секунд, хотя само изображение она разбирала секунды за две, а остальное время рассуждала. В память тоже уперлись: картинка 4:3 при контексте 8192 токена в 8 ГБ не влезла, и вылетела CUDA OOM. Пришлось урезать контекст до 4096.

Для сравнения я взял мультимодальную Qwen3-VL 8B в Q4_K_M. Она тоже прочитала все 11 картинок, а на обработку каждой тратила от 2,2 до 3,3 секунды.

Разница проявилась в работе с памятью. Визуальный модуль (файл mmproj) у Qwen3-VL весит 1,16 ГБ, и на 8-гигабайтной карте балансировал на грани фола. В нескольких прогонах он забивал видеопамять целиком, обработка уходила на процессор, и кодирование одной картинки растягивалось до 3–5 минут. Модуль Bonsai на 0,6 ГБ проходил этот этап стабильно, без таких задержек.

Размер все-таки не главное 

Главное обещание PrismML выполнено. Модель класса 27B работает на майнинговой карте с 8 ГБ и выдает 17 t/s, втрое больше порога в 5 t/s, после которого с ней уже можно спокойно переписываться. На телефоне она тоже запускается, но ответа длиной в пару абзацев там придется ждать больше часа. 

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B - 7

А вот обыграть обычную 8B большая 27B не смогла. На коротких заданиях 8B опередила ее на балл из сорока, в сложном наборе — на один ответ, 8 из 10 против 7. С картинками ничья: Qwen3-VL 8B тоже прочитала все 11. Зато 8B почти вдвое быстрее, 31,9 t/s против 16,8, и ставится в обычную Ollama без всяких патчей. Для чата на русском, простой арифметики, кода и JSON ее вполне хватает.

Но кое в чем Bonsai все-таки лучше. Ее визуальный модуль вдвое легче и на 8 ГБ ни разу не уходил на процессор, а Qwen3-VL так застревала на 3–5 минут. В задачах с подвохом Bonsai ошибалась реже, чем 8B, и ни разу не попалась на загадку про овец. Правда, задач с подвохом было всего пять, а на таком числе одна случайная ошибка меняет всю картину.

Сама идея троичного сжатия работает. 27B и впрямь влезла в 8 ГБ, а промпт Bonsai читает вшестеро быстрее, чем IQ2_XXS с файлом того же размера. Вот пользоваться этим пока неудобно. Новые троичные файлы стандартный llama.cpp даже не открывает. Старый Q2_0 открыть-то открывает, а модель потом несет чепуху, и никаких ошибок при этом не видно. Без форка PrismML тут не обойтись. Ollama пропатчить можно, только патч проживет до первого обновления. Поэтому на карте с 8 ГБ я бы пока остался на обычной 8B.

Непроверенными остались карты на 12–16 ГБ и флагманские смартфоны, где веса и кэш контекста помещаются в память целиком. Возможно, там 27B покажет себя лучше, но такого железа на моем стенде не было.

Автор: SkaldByte

Источник