Какие LLM потянет ваше железо?. gpu.. gpu. llm.. gpu. llm. llm-модели.. gpu. llm. llm-модели. ollama.. gpu. llm. llm-модели. ollama. искусственный интеллект.

Всем привет,

Продолжаю разбираться с ИИ – вычислениями …

Спасибо t.me/prog_stuff за наводку на llm-checker — CLI, который сканирует железо и говорит, какие модели потянет Ollama. Сканирует GPU, RAM, CPU и оценивает каждую модель по скорости, качеству и совместимости. 35+ моделей от 1B до 32B, список модерируется вручную.

Ссылка репозитарий на GitHub, установка командой: npm install -g llm-checker.

Проверил на своем MacAir (M1, 16 Гб), получил такую рекомендацию – qwen2.5 – coder, 7B.
Буду пробовать.

Автор: Seklikov

Источник

Версия для печати Версия для печати
Rambler's Top100