- BrainTools - https://www.braintools.ru -
В первой части статьи [1] я из любопытства проверил, какие бизнес-задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.
Сказать по правде, я и сам хотел кое-что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и т.д. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.

Для классификации обращений, ответов по базе знаний, кратких резюме документов и прочей текстовой рутины хватает легких моделей и VPS без видеокарты. На сервере с 8 ГБ RAM лучшие модели на 2-4B сортировали обращения за 3-5 сек с точностью около 90%. Ответы по базе знаний и резюме записей занимали 0,5-2,5 мин. Для фоновой обработки это нормально, для чата с клиентами уже нет. Какую модель брать под какую задачу смотрите в таблице в конце статьи.
Переход с 4 на 8 ГБ RAM убрал падения по нехватке памяти [2] на длинных текстах и почти весь обмен со swap. Пятый vCPU добавил 20-25% к скорости чтения промпта и около 10% к генерации. Так что под длинные тексты нужен сервер от 8 ГБ, а лишний vCPU дает меньше, чем дополнительная память.
На 326 обращениях 9 моделей из 10 показали точность 87-92%, хотя в первом тесте на 20 обращениях семь из них выбили 100%. Отсюда правило: модель нужно проверять на сотнях своих примеров. Разница между лидерами в 2-3 пункта в пределах статпогрешности, поэтому выбирать стоит по скорости и памяти.
Время ответа сильно зависит от структуры промпта. Если все запросы начинаются с одной инструкции, модель кэширует ее и читает только переменную часть. В противном случае инструкцию приходится читать каждый раз заново. С кэшем QVikhr-3-4B классифицировала обращение за 3,8 сек, а без за 12,4 сек. Для большинства моделей эта разница в 2-3 раза. Общую инструкцию стоит ставить в начало промпта, а текст обращения в конец. Это заметно ускоряет работу.
Модели на 8-10B не обогнали лучшие 4B, а работали даже медленнее. Исключение по скорости – GigaChat 3.1 Lightning с архитектурой MoE. На CPU разумнее брать модель на 2-4B (если нужна российская – GigaChat 3.1 Lightning).
На сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память: у qwen3.5:4b это приводило к сбоям. Ограничение через переменную окружения убрало и сбои, и swap. Поэтому на сервере с 8 ГБ лучше сразу добавить LLAMA_ARG_CACHE_RAM=1024 в настройки Ollama.
Decision-модель d1-2B по точности оказалась на уровне генеративных, но давала честную вероятность. При пороге 0,9 она взяла бы на себя 69% обращений с точностью 97%, а остальные отдала человеку. Для службы поддержки, где ошибка [3] дороже лишней ручной проверки, это хороший вариант.
Тот же, что и в первой части, VPS на JustHost с шаблоном Ollama, переведенный на 5 vCPU (Intel Xeon Gold 6148) и 8 ГБ RAM, swap 4 ГБ. Стек также без изменений: Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри нее llama.cpp сборки 161755f29.
Настройки Ollama я оставил как в шаблоне: в памяти одна модель, запросы к ней обрабатываются по одному, число потоков по умолчанию равно числу ядер. Изменил только время, на которое модель остается в памяти, с 5 до 30 мин. Open WebUI на время замеров был остановлен, посторонней нагрузки не было. Steal я записывал раз в секунду: за 41 час работы под нагрузкой в среднем 0,2%, в 99% секунд не выше 1%, разовый пик 6,4%. Для виртуалки это хороший показатель: соседи по хосту на замеры практически не влияли.
К моделям-лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) я добавил пять моделей покрупнее, все с Hugging Face в той же квантизации Q4_K_M.
|
Модель |
Размер |
Файл |
Особенности |
|---|---|---|---|
|
GigaChat 3.1 Lightning |
10B |
6,5 ГБ |
MoE: на каждый токен работает 1,8B параметров |
|
T-lite-it-2.1 |
8B |
5,0 ГБ |
В основе Qwen3, дообучена на русском |
|
YandexGPT-5-Lite-8B-instruct |
8B |
4,9 ГБ |
Официальная сборка Яндекса |
|
Qwen3-8B |
8B |
5,0 ГБ |
Рассуждение выключено |
|
GLM-4-9B-0414 |
9B |
6,2 ГБ |
Самая тяжелая из плотных |
По совету из комментариев к первой статье под задачи классификации я добавил еще и decision-модель d1-2B от Liquid AI (1,9B, Q8_0). Она не генерирует текст, а за один проход возвращает вероятность каждого варианта. d1-2B построена на новой архитектуре LFM3, и под нее пришлось поднять отдельную Ollama 0.40.15. В ходе тестов потребовалась дополнительная настройка. По умолчанию модель читала за проход не больше 512 токенов, и длинное обращение в 946 токенов возвращало ошибку. Помог num_batch 2048 в Modelfile.
Бизнес-сценарии остались те же, что в первой части: классификация обращений, тональность отзывов, извлечение данных из заявки, суммаризация, объявления для Яндекс Директа, нормализация данных CRM и ответы по базе знаний. К ним добавилась большая выборка для классификации (о ней ниже).
В комментариях к первой части хабровчане указали на слабые места эксперимента: не было повторных прогонов, замеров steal и замеров без кэша, выборки были маленькими. Во второй части я это исправил.
Один протокол для всех моделей. Общий промпт и JSON-схема ответа, temperature 0, seed 42, режим рассуждения выключен, в памяти одна модель. Перед замером я прогревал модель посторонним запросом, а затем отправлял примеры по одному.
С кэшем и без. Если системный промпт у всех запросов общий, llama.cpp может взять уже прочитанную часть из кэша. Для классификации это обычная ситуация, но на скорость она влияет сильно. В статье о системе SGLang [4] нашел, что при переиспользовании кэша обрабатывалось в 6 раз больше запросов. Поэтому время я мерил в двух режимах: с общим промптом и с уникальной меткой в самом начале промпта, при которой кэш не срабатывал.
Повторы. Классификацию на 326 обращениях я прогнал дважды. Все 10 моделей дали те же ответы во всех 326 случаях, медиана времени отличалась на 0-5%. Нагрузочный тест я тоже повторил дважды: расхождение в пределах 10%, кроме qwen3.5:2b (но об этом отдельно).
Время. Время на запрос – от отправки до полного ответа, в таблицах медиана. В нагрузочном тесте я дополнительно записывал время до первого токена и 95-й перцентиль.
Нагрузка. Один, два или четыре клиента шлют запросы друг за другом без пауз. Каждый уровень длится не меньше 5 мин и 40 запросов, для длинных запросов – 10 мин и 16 запросов. Пропускная способность – число завершенных запросов в час.
Статистика. Для точности я считал 95%-е интервалы Уилсона [5]. Модели сравнивал парным тестом McNemar [6]: все они отвечали на одни и те же обращения, и такое сравнение точнее, чем сопоставление интервалов. Так советует делать Anthropic в статье Adding Error Bars to Evals [7].
Разметка. Эталон для 326 обращений сделали модели. Я взял 50 случайных обращений, вслепую разметил их и сравнил с эталоном: совпало 45 из 50.
Данные и код. Датасеты, скрипты и сырые ответы всех моделей лежат в репозитории: github.com/alvec7/llm-cpu-bench [8].
На 8 ГБ RAM я заново прогнал лидеров первой части на трех сценариях: классификации, резюме и ответах по базе знаний. Точность почти не изменилась (в пределах одного вопроса), зато сильно изменилось поведение [9] сервера на длинных текстах. На 4 ГБ оперативы модель на 4B вместе с длинным контекстом не помещалась в память и гоняла данные через swap. На 8 ГБ RAM обмен со swap у большинства моделей почти прекратился:
|
Модель |
Задача |
Время, 4 ГБ → 8 ГБ |
Обмен со swap, 4 ГБ → 8 ГБ |
|---|---|---|---|
|
QVikhr-3-4B |
Ответ по базе знаний |
94 → 73 сек |
9,1 ГБ → 43 МБ |
|
qwen3.5:4b |
Ответ по базе знаний |
69 → 56 сек |
4,9 ГБ → 11 МБ |
|
QVikhr-3-4B |
Резюме документа |
181 → 158 сек |
2,7 ГБ → 9 МБ |
|
gemma3:4b |
Резюме документа |
82 → 73 сек |
2,7 ГБ → 5 МБ |
|
gemma3:4b |
Ответ по базе знаний |
Падала → 51 сек |
Падала → 2,0 ГБ |
Время ответа и объем обмена со swap на 4 ГБ и 8 ГБ RAM.
У gemma3:4b на 4 ГБ сценарий с базой знаний не доходил до конца: система завершала процесс по нехватке памяти. На 8 ГБ она ответила верно на 14 вопросов из 15, но все равно записала в swap около 2 ГБ.
Замеры на 4 и 8 ГБ я делал в разные дни. Вместе с памятью на сервере добавился пятый vCPU, поэтому скорость напрямую сравнивать нельзя. Вклад процессора я измерил отдельно: на том же VPS ограничивал Ollama от одного до пяти потоков и гонял одинаковый запрос на 1000 токенов, по три раза на каждое значение.
|
Потоки |
QVikhr-3-4B |
qwen3.5:4b |
|---|---|---|
|
1 |
7,8 / 1,7 |
7,9 / 2,1 |
|
2 |
15,1 / 3,0 |
15,4 / 3,6 |
|
3 |
21,7 / 4,1 |
22,1 / 4,8 |
|
4 |
29,3 / 5,2 |
28,4 / 5,9 |
|
5 |
35,4 / 5,7 |
35,6 / 6,5 |
Скорость чтения промпта и генерации в зависимости от числа потоков, ток/сек.
Скорость чтения промпта росла почти пропорционально числу потоков, и на пяти насыщения не было. Пятый поток добавил 20-25% к чтению промпта и около 10% к генерации. Скорость генерации увеличивалась медленнее, потому что упиралась еще и в пропускную способность памяти. Для LLM это типичное узкое место, см. обзор LLM Inference Unveiled [10].
Нагрузочный тест в первой части состоял всего из 12 коротких и 8 длинных запросов на уровень нагрузки. Теперь их стало не менее 40 и 16 соответственно.
Короткие запросы я прогнал дважды. В таблице зафиксированы средние двух прогонов или оба значения через дефис, если они разошлись. p50 – обычное ожидание ответа, p95 – дольше этого ждали только 5% запросов.
|
Модель |
Кэш |
Запросов в час: 1 / 2 / 4 клиента |
Ожидание при 4 клиентах, p50 / p95 |
Сбои |
|---|---|---|---|---|
|
QVikhr-3-4B |
Общий промпт |
~990 / ~870 / ~840 |
17 / 19-20 сек |
Нет |
|
Без кэша |
~295 / ~290 / ~300 |
47 / 49-53 сек |
Нет |
|
|
GigaChat 3.1 Lightning |
Общий промпт |
~820 / ~790 / ~760 |
19 / 20-21 сек |
Нет |
|
Без кэша |
~305 / ~325 / ~310 |
46 / 50-51 сек |
Нет |
|
|
qwen3.5:2b |
Общий промпт |
от 560 до 1540 |
10 / 11-28 сек |
Нет |
|
Без кэша |
~520 / ~520 / ~520 |
27-28 / 29-30 сек |
Нет |
|
|
qwen3.5:4b |
Общий промпт |
~345 / ~330 / ~360 |
41-42 / 43-44 сек |
Нет |
|
Без кэша |
~315 / ~320 / ~305 |
45-47 / 48-50 сек |
6 из ~250 |
Результаты для коротких запросов на классификацию обращений: около 350 токенов на входе и 7-8 на выходе.
Что видно:
С общим промптом QVikhr и GigaChat обрабатывали 750-1000 коротких запросов в час, без кэша – около 300. Кэш у них срабатывал с первого запроса и работал стабильно.
У гибридных qwen3.5 кэш вел себя непредсказуемо. qwen3.5:2b первые 116 запросов читала системный промпт заново (около 6,4 сек на запрос), а потом начала брать его из кэша (2,2 сек). Отсюда разброс от 560 до 1540 запросов в час. qwen3.5:4b в нагрузочном тесте так и не начала брать промпт из кэша, хотя в последовательном прогоне на 326 обращениях это делала. Это известная особенность гибридных моделей: кэш у них срабатывает только при точном совпадении префикса и состоит из крупных записей (Marconi, 2024 [11]).
Когда на сервер одновременно приходило два или четыре запроса, за час он успевал обработать не больше, чем когда запросы приходили по одному. Ollama обрабатывает запросы к модели последовательно, в порядке очереди, поэтому при четырех клиентах каждый ждет примерно вчетверо дольше.
Время до первого токена почти равнялось полному: ответ короткий, и большая часть времени уходила на чтение промпта.
Второй нагрузочный тест я провел на длинных запросах – ответах по базе знаний, около 2500 токенов на входе. Здесь кэш почти не влияет, поэтому один режим и один прогон:
|
Модель |
Запросов в час: 1 / 4 клиента |
Ожидание при 4 клиентах, p50 |
Сбои |
|---|---|---|---|
|
qwen3.5:2b |
104 / 105 |
2,2 мин |
Нет |
|
qwen3.5:4b |
64 / 62 |
3,7 мин |
Нет |
|
GigaChat 3.1 Lightning |
56 / 55 |
4,2 мин |
Нет |
|
QVikhr-3-4B |
48 / 48 |
4,9 мин |
Нет |
Результаты для длинных запросов: ответы по базе знаний, около 2500 токенов на входе.
Сбоев на длинных запросах не было, но при четырех клиентах память доходила до 7,7 ГБ, и сервер снова писал в swap (QVikhr до 5,9 ГБ за уровень). Причину я в итоге нашел, об этом ниже.
В первой части в тесте на классификацию четыре модели верно определили категорию у всех 20 обращений. Но на такой выборке это означало лишь, что реальная точность с 95%-й уверенностью не ниже 84%. Чтобы узнать точнее, был нужен датасет с сотнями примеров.
Генерация датасета. Настоящие обращения клиентов могут содержать персональные и другие чувствительные данные. Поэтому я сгенерировал 327 обращений с помощью большой модели DeepSeek V4.1 Flash: шесть категорий, три уровня сложности и шесть стилей – от коротких сообщений в чате с опечатками до расшифровок голосовых. В сложных обращениях были смешаны две темы, например жалоба на курьера и вопрос о сроках доставки.
Разметка датасета. Определенную при генерации категорию я перепроверял двумя другими большими моделями, DeepSeek V4 Pro и MiMo V2.6 Pro, с тем же промптом, что и у тестируемых. За эталон брал ту категорию, с которой согласились хотя бы две модели из трех. В 297 случаях решения генерирующей и проверяющих моделей совпали. 29 обращений получили другую категорию. Одно я выбросил, так как три модели назвали каждая свою категорию. В итоге в выборке осталось 326 обращений.
Чтобы проверить, можно ли доверять эталону от моделей, я взял 50 случайных обращений и разметил их вслепую сам. С эталоном я совпал в 45 случаях из 50 (90%, интервал 79-96%). Даже с поправкой на случайные совпадения согласие почти полное: каппа Коэна [12] составила 0,88. Это согласуется с исследованием Цюрихского университета [13]: там ChatGPT в четырех задачах из пяти размечал тексты точнее исполнителей с краудсорсинговой платформы. Все пять расхождений пришлись на обращения, где можно защитить обе категории. Например, бракованный пылесос и грубый оператор поддержки в одном флаконе – это возврат или жалоба? Судите сами.
|
Модель |
20 обращений |
326 обращений |
95%-й интервал |
Время, общий промпт |
Время, без кэша |
|---|---|---|---|---|---|
|
GLM-4-9B |
95% |
92,0% |
88,6-94,5% |
7,6 сек |
24,0 сек |
|
qwen3.5:4b |
100% |
91,4% |
87,9-94,0% |
4,5 сек |
11,0 сек |
|
QVikhr-3-4B |
100% |
89,9% |
86,1-92,7% |
3,8 сек |
12,4 сек |
|
qwen3.5:2b |
100% |
89,6% |
85,8-92,4% |
2,9 сек |
6,8 сек |
|
T-lite-it-2.1 |
100% |
89,0% |
85,1-91,9% |
5,7 сек |
16,4 сек |
|
granite4:micro-h |
– |
88,0% |
84,1-91,1% |
10,9 сек |
13,7 сек |
|
Qwen3-8B |
100% |
87,7% |
83,7-90,9% |
6,9 сек |
21,9 сек |
|
gemma3:4b |
100% |
87,4% |
83,4-90,6% |
8,8 сек |
9,4 сек |
|
d1-2B (decision-модель) |
– |
87,1% |
83,0-90,3% |
6,6 сек |
6,6 сек |
|
GigaChat 3.1 Lightning |
100% |
86,8% |
82,7-90,1% |
4,5 сек |
11,0 сек |
|
YandexGPT-5-Lite-8B |
75% |
72,1% |
67,0-76,7% |
6,2 сек |
5,3 сек |
Точность и время ответа при классификации на 20 и 326 обращениях.
В столбцах со временем приводится медианное время ответа: половину обращений модель обработала быстрее, половину медленнее. С общим промптом я мерил его на всех 326 обращениях, без кэша на 50 случайных. У d1-2B в обоих столбцах результат по всем 326 обращениям, кэш на нее не влияет.
Что тут интересного:
«20 из 20» ничего не гарантирует. Все семь моделей с идеальным результатом на малой выборке на большой ошибались примерно в одном обращении из десяти.
Лидеров нельзя разделить. Я сравнил модели первой пятерки попарно на одних и тех же обращениях: ни одна пара не различается статистически значимо. Значит, выбирать модель стоит по скорости и памяти.
У большинства моделей кэш ускоряет ответ в 2-3 раза. QVikhr с общим промптом отвечала за 3,8 сек, а без кэша втрое медленнее – за 12,4 сек. qwen3.5:2b без кэша замедлилась вдвое, с 2,9 до 6,8 сек. Исключения – gemma3, granite и YandexGPT: у них кэш почти ничего не дал.
Размер модели не имеет значения. Лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B.
d1-2B я проверил на тех же 326 обращениях и с теми же описаниями категорий, что и генеративные модели. Результат – 284 правильных ответа из 326 при 6,6 сек на обращение. По точности это уровень GigaChat и gemma3, статистически значимо d1-2B уступила только GLM-4-9B и qwen3.5:4b.
Главное отличие d1-2B от LLM – она возвращает вероятность ответа. И ей можно верить: в 151 ответе с вероятностью от 0,97 не было ни одной ошибки. Если отправлять человеку все, где вероятность ниже 0,9, модель сама закрывает 69% обращений с точностью 97,3%, а оставшийся 31% уходит на ручную проверку. Для саппорта, где ошибка дороже лишней проверки руками, это сильный аргумент.
С 8 ГБ в память поместились модели, которые в первой части в нее не укладывались, в том числе три российские. На короткой классификации они сравнялись с 4B (см. таблицу выше). На длинных задачах картина такая:
|
Модель |
Ответы по базе знаний |
Время на вопрос |
Резюме: фактов из 32 |
Время на документ |
|---|---|---|---|---|
|
T-lite-it-2.1 |
15 из 15 |
88 сек |
27 |
172 сек |
|
Qwen3-8B |
15 из 15 |
120 сек |
20 |
195 сек |
|
GigaChat 3.1 Lightning |
14 из 15 |
63 сек |
22 |
110 сек |
|
GLM-4-9B |
14 из 15 |
117 сек |
19 |
197 сек |
|
YandexGPT-5-Lite-8B |
14 из 15 |
82 сек |
19 |
194 сек |
|
Для сравнения: qwen3.5:4b |
14 из 15 |
56 сек |
28 |
90 сек |
|
Для сравнения: qwen3.5:2b |
14 из 15 |
34 сек |
20 |
50 сек |
Ответы по базе знаний и резюме документов моделями на 8-10B в сравнении с qwen3.5.
На базе знаний почти все справились одинаково. В резюме лучше других была T-lite, она показала эффективность на уровне qwen3.5:4b. При этом в большинстве модели на 8-9B отвечали в 1,5-2 раза дольше qwen3.5:4b, а преимуществ в качестве ни одна из них не дала. Выборки были маленькие, поэтому результаты статистически не различаются. Перевес T-lite в фактах следует назвать тенденцией, а не доказанным преимуществом.
GigaChat 3.1 Lightning стала самой быстрой из больших моделей. У нее 10B параметров, но на каждый токен работает только 1,8B (архитектура MoE). Поэтому она генерировала 8,7 ток/с, а плотные 8B-модели – около 5 ток/с. Все параметры при этом лежат в памяти, так что по объему она самая тяжелая: 6,5 ГБ. Тот же принцип у Mixtral 8x7B [14] от Mistral: из 47B параметров на каждый токен работают 13B.
Под нагрузкой GigaChat прошла тот же тест, что и 4B-модели (таблицы в разделе про нагрузку). На коротких запросах с общим промптом она была на 10-20% медленнее QVikhr, а на длинных оказалась быстрее: 56 запросов в час против 48. GLM-4-9B я прогнал только в предварительном тесте по старой схеме, один раз: там она обработала 590-635 коротких запросов в час против 1062 у GigaChat, то есть почти вдвое меньше.
Падений не было, но модели на 5-7 ГБ занимали почти все 8 ГБ оперативы. На длинных запросах пик памяти доходил до 7,7 ГБ, и сервер снова начинал писать в swap.
YandexGPT-5-Lite-8B оказалась слабее остальных: 72% на большой выборке классификации, почти на 15 пунктов ниже ближайшей модели. JSON она при этом возвращала правильный, так что дело не в формате ответа.
Обращения синтетические, эталон тоже делали модели. 326 обращений сгенерировала большая модель, эталон – большинство из трех голосов. Моя ручная разметка 50 случайных обращений совпала с эталоном в 45 случаях, но похожие на разметчиков модели могли получить небольшую фору. На живых обращениях точность будет другой.
Один сервер. Все цифры сняты на одном VPS с Xeon Gold 6148 и AVX-512. Steal был низким, но на другом хосте или на процессоре без AVX-512 скорость может заметно отличаться.
Маленькие выборки на длинных задачах. На базе знаний 15 вопросов, в резюме 32 факта: здесь видны только крупные различия.
Кэш промптов в Ollama может занять всю память. Внутри Ollama 0.35 работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. У qwen3.5:4b каждый сохраненный промпт занимал около 43 МБ, и на 8-гигабайтном сервере кэш постепенно вытеснял все остальное. Отсюда шесть сбоев qwen3.5:4b в нагрузочном тесте и swap на длинных запросах. Помогает переменная окружения LLAMA_ARG_CACHE_RAM в docker-compose. В документации Ollama ее нет, это параметр самого llama.cpp:
services:
ollama:
environment:
LLAMA_ARG_CACHE_RAM: "1024"
С лимитом в 1 ГБ я повторил нагрузочный тест qwen3.5:4b без кэша: сбоев не было, пик памяти 5,0 ГБ вместо 7,7, обмена со swap почти не наблюдалось. Цифры в таблицах сняты с настройками по умолчанию.
Кэш гибридных моделей непредсказуем. У qwen3.5 время с общим промптом зависит от того, сработает ли кэш, а это заранее не угадать. Для них надежнее ориентироваться на цифры без кэша.
Модели на 8-10B занимают почти всю память. Файлы на 4,9-6,5 ГБ оставляют на 8-гигабайтном сервере около гигабайта на контекст и систему. На длинных запросах T-lite и Qwen3-8B снова уходили в swap (2,4 и 3,5 ГБ обмена за прогон). Для таких моделей 8 ГБ – необходимый минимум, а не запас.
|
Задача |
Модель |
Почему |
|---|---|---|
|
Классификация обращений, один промпт на все запросы |
QVikhr-3-4B |
89,9%, 3,8 сек на обращение, ~990 запросов в час, кэш работает стабильно |
|
Классификация обращений, у каждого запроса свой промпт |
qwen3.5:2b |
89,6%, 6,8 сек без кэша, ~520 запросов в час |
|
Классификация обращений на российской модели |
GigaChat 3.1 Lightning |
86,8%, 4,5 сек, ~820 запросов в час |
|
Классификация обращений, сомнительные случаи проверяет человек |
d1-2B |
87,1% в целом, 6,6 сек; при пороге 0,9 сама решает 69% обращений с точностью 97,3% |
|
Ответы по базе знаний |
qwen3.5:2b |
34 сек на ответ, ~105 ответов в час под нагрузкой |
|
Резюме документов |
qwen3.5:4b или T-lite-it-2.1 |
Больше всего фактов, 1,5-3 мин на документ |
Какую модель брать под задачу на VPS с 8 ГБ RAM без видеокарты.
Для текстовой рутины хватает модели на 2-4B и 8 ГБ памяти. Две вещи важнее выбора модели: общий системный промпт в начале запроса, который ускоряет ответ в 2-3 раза, и ограничение кэша промптов в Ollama – без него на сервере с 8 ГБ кэш со временем занимает всю память и модель начинает сбоить.
Для моделей на 2-4B с длинными текстами 8 ГБ RAM – разумный минимум. На 4 ГБ они падали и не вылезали из swap. На сервере рекомендую сразу ограничить кэш промптов через LLAMA_ARG_CACHE_RAM. Модели на 8-10B на таком VPS запустить можно, но в моих тестах они не дали выигрыша по качеству и работали медленнее. Если выбирать между лишним vCPU и лишней памятью, берите память: пятый vCPU ускорил работу лишь на 10-25%.
Zheng и др., 2023. SGLang: Efficient Execution of Structured Language Model Programs [4] – переиспользование кэша общего префикса.
Miller, Anthropic, 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations [7] – интервалы и парные сравнения моделей.
Yuan и др., 2024. LLM Inference Unveiled: Survey and Roofline Model Insights [10] – пропускная способность памяти как узкое место генерации.
Pan и др., 2024. Marconi: Prefix Caching for the Era of Hybrid LLMs [11] – кэш промптов у гибридных моделей.
Gilardi, Alizadeh, Kubli, 2023. ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks [13] – разметка текстов моделью и людьми.
Jiang и др., Mistral AI, 2024. Mixtral of Experts [14] – архитектура MoE.
Автор: vechersky
Источник [15]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38653
URLs in this post:
[1] первой части статьи: https://habr.com/ru/articles/1103894
[2] памяти: http://www.braintools.ru/article/4140
[3] ошибка: http://www.braintools.ru/article/4192
[4] SGLang: https://arxiv.org/abs/2312.07104
[5] интервалы Уилсона: https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Wilson_score_interval
[6] тестом McNemar: https://en.wikipedia.org/wiki/McNemar%27s_test
[7] Adding Error Bars to Evals: https://arxiv.org/abs/2411.00640
[8] github.com/alvec7/llm-cpu-bench: http://github.com/alvec7/llm-cpu-bench
[9] поведение: http://www.braintools.ru/article/9372
[10] LLM Inference Unveiled: https://arxiv.org/abs/2402.16363
[11] Marconi, 2024: https://arxiv.org/abs/2411.19379
[12] каппа Коэна: https://en.wikipedia.org/wiki/Cohen%27s_kappa
[13] исследованием Цюрихского университета: https://arxiv.org/abs/2303.15056
[14] Mixtral 8x7B: https://arxiv.org/abs/2401.04088
[15] Источник: https://habr.com/ru/articles/1108600/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108600
Нажмите здесь для печати.