Локальные LLM на слабом железе — что ставить, как запустить, чего ждать

Три года назад запустить 7-миллиардную модель локально означало профессиональный GPU. Потом появилась квантизация – сжатие весов с 32-битной точности до 4-битной. Модель стала в 3-4 раза легче при минимальной потере качества. 7B параметров теперь занимают 4-5 ГБ вместо 14.

Параллельно с этим появилась Ollama – инструмент, который убирает всё лишнее между пользователем и моделью. Устанавливается одной командой, сама находит GPU если она есть (NVIDIA, AMD, Apple Metal), при отсутствии – работает на CPU. Модели качаются как докер-образы, запускаются одной строкой. Да, и никакой ручной настройки окружений.

Установка Ollama и моделей

# Linux
curl -fsSL https://ollama.com/install.sh | sh
# Windows / macOS - установщик на ollama.com/download

После установки – запускаем нужную модель (пример для представленных ниже тестов). При первом запуске она скачается автоматически:

ollama run smollm2:1.7b 	# Тир 1 - 1.8 ГБ
ollama run phi4-mini 	   # Тир 2 - 2.5 ГБ
ollama run qwen3:8b     	# Тир 3 - 5.2 ГБ

Если хочется скачать заранее без запуска:

ollama pull phi4-mini
ollama list             	# посмотреть что установлено

Три тира под три уровня железа

Мы отобрали модели по двум условным критериям – хоть какая-то работоспособность и польза при ограниченном железе. Никаких экзотических форков – только то, что стабильно работает через Ollama. И то, что вы сможете затестить прямо сейчас.

Тир 1 – 2-4 ГБ RAM, GPU не нужна

Офисный ПК или очень древний ноут. Скорость – 15-20 токенов в секунду. Рассуждать на несколько шагов не умеют, но с однозначными задачами справляются.

Тир 2 – 6-8 ГБ RAM

Средний ноутбук. Скорость – 8-12 токенов/с. Стараются держать чуть более длинный контекст, решают многошаговые задачи, часть умеет думать вслух.

Тир 3 – 8-16 ГБ RAM

Скорость – 4-8 токенов/с на CPU. Ощутимо умнее – структурируют, держат нить, замечают противоречия.

RU: + хорошая поддержка, ~ базовая, – только EN

И небольшой краш-тест. В качестве эксперимента 

Скажем так, таблицы с характеристиками читаются хорошо, но не показывают главного – как модель ведёт себя на практике. Мы взяли три задачи разного уровня сложности и прогнали каждую через все три тира. Технически – условия для всех одинаковые. Ollama v0.20.4, Windows, чистый CPU без видеокарты. Задач – максимально простые. Объяснить техническое понятие, решить арифметику по шагам, написать базовую Python-функцию.

Задачи были выбраны нами не случайно. Объяснение понятия – это проверка связности речи и русского языка. Математика – следование алгоритму, способность не потерять шаги. Код – структурированный вывод с соблюдением синтаксиса и примерами. 

Итак, начем.

Задача 1 – математика: яблоки, треть, два друга

smollm2 (English only):

Pete has 12 apples. He ate a third of them, then split the rest equally between 2 friends. How many apples did each friend get? Show your work.

phi4-mini:

У Пети 12 яблок. Он съел треть, а остаток разделил поровну между двумя друзьями. Сколько яблок получил каждый друг? Покажи решение по шагам.

Задача 2 – объяснить что такое RAM в двух предложениях

qwen3:8b (с режимом размышлений):

Объясни в двух предложениях что такое оперативная память ^[2] (RAM) и зачем она нужна.

Задача 3 – Python-функция проверки палиндрома

smollm2 (English only):

Write a Python function that checks if a string is a palindrome. Add a docstring and 2 examples.

phi4-mini, qwen3:8b:

Напиши Python функцию которая проверяет является ли строка палиндромом. Добавь docstring и два примера использования.

Да, конечно, для формирования полноценного понимания – неплохо было бы провести гораздо больше тестов. Но давайте будем реалистами. 4-5 токенов в секунду – это реальная скорость qwen3:8b на CPU. Средний ответ – минута-две ожидания. smollm2 быстрее, но даже на тривиальной математике ошиблась. Собственно, это не облако – здесь ждать придётся. И ждать, скорее всего, чего-то специфического и узконаправленного. 

Но под нишевое использование и в качестве материала для ознакомительных тестов – эти модели определенно найдут своего пользователя.