Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. По ходу мы рассмотрим:теоретические данныеусловия для работы этих GPUрезультаты практических тестов производительностиобъяснение полученных противоречийсоветы по небольшим доработкам (охлаждение, PCIexpress)сравнение друг с другом и другими GPUВведение
Георгий Герганов, автор llama.cpp и звукового кейлогера
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama
За 15 минут установил Gemma 3 12B на Mac — было проще, чем с DeepSeek
Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».Я написал этот материал для блога Minervasoft
Забудьте про Hugging Face и CLI — ставим Gemma 3 12B за 15 минут
Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».Я написал этот материал для блога Minervasoft
15 минут — и у тебя свой LLM, который не утекает в облако и не стоит $20 в месяц
Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».Я написал этот материал для блога Minervasoft
15 минут — и у тебя бесплатная ИИ-модель для генерации кода, текста, чтения иллюстраций
Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».Я написал этот материал для блога Minervasoft
Запускаем DeepSeek-R1 на обычном сервере с 768Гб ОЗУ в LM-Studio
Что побудило написать статью?Была тут недавно статья с картинками железа, ценами на железо, но без описания настроек, но зато с ссылками на GitHub и цитирую «Инструкция: Следуйте руководству в репозитории GitHub».:‑) Хотя в нынешних реалиях запустить нейросеть можно уже на чем угодно и не обязательно обладать навыками выше «Опытного пользователя ПК». (Если рассматривать «дистиллированные» сети, не знаю как правильно перевести.) Поэтому использования сложных инструментов и инструкций чтобы запустить что‑то и тем более отправку на GitHub считаю не совсем корректно. О себе
