fp16.
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. По ходу мы рассмотрим:теоретические данныеусловия для работы этих GPUрезультаты практических тестов производительностиобъяснение полученных противоречийсоветы по небольшим доработкам (охлаждение, PCIexpress)сравнение друг с другом и другими GPUВведение
