Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
TL;DRМы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:hipMemGetInfo(free, total) CUDA error: invalid argumentПосле серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:kernel → ROCm runtime → ggml backendФинальное решение включало:переход на kernel 6.8стабилизацию ROCm runtimeиспользование llama.cpp + ROCmgrammar‑constrained decoding для strict sanity promptsВ итоге мы получили стабильный GPU inference:~42 токен/секgpu_busy_percent → до 100%
Большим GPU не нужны большие PC
Raspberry Pi eGPU vs PC GPUС тех пор, как я научил графические карты AMD, Intel и Nvidia работать с Raspberry Pi, меня мучил вопрос:
В Японии крупный ретейлер ограничил продажу видеокарт GeForce и Radeon в одни руки
Крупный японский ретейлер Tsukumo eX ограничил продажу видеокарт Nvidia GeForce и AMD с 16 ГБ видеопамяти и выше в одни руки. В сети магазинов пояснили, что графические адаптеры с большим объёмом памяти стало труднее достать. В настоящий момент у ретейлера ещё есть запасы, но он не знает, когда прибудет следующая партия и приедет ли она вообще.
AMD выпустила видеокарту Radeon AI PRO R9700 с 32 ГБ видеопамяти, превосходящую Nvidia RTX 5080
AMD выпустила видеокарту Radeon AI Pro R9700, которая превосходит по производительности GeForce RTX 5080 от Nvidia в задачах искусственного интеллекта. Модель должна была выйти ещё в июле этого года, но релиз отложили.
AMD представила Radeon RX 7700
AMD презентовала видеокарту Radeon RX 7700, расширив линейку графических ускорителей RDNA 3. Новинка получила 40 вычислительных блоков RDNA 3, 2560 потоковых процессоров и 80 ускорителей искусственного интеллекта.
ASRock представила видеокарту Radeon AI Pro R9700 Creator
ASRock презентовала видеокарту Radeon AI Pro R9700 Creator. Устройство базируется на 4-нм графическом процессоре Navi c 64 исполнительными блоками, 128 ускорителями искусственного интеллекта, 64 RT-ядрами и 32 ГБ памяти GDDR6 со скоростью 20 Гбит/с на контакт и поддержкой 256-битной шины.
AMD раскрыла характеристики видеокарт серии Radeon RX 9070
Скриншот VideoCardzСтали известны характеристики видеокарт серии Radeon RX 9070. Планируется, что новинки увидят свет в следующем месяце.
Четыре Radeon RX 7900, нейросеть и настольная игра
Языковые нейросетевые модели как только не тестировали: от решения олимпиадных задач до создания шедевров мировой литературы. У нас же родилась идея протестировать их на более прикладном уровне. А именно, сможет ли нейросеть играть по правилам в настольную игру, которая сложнее, чем крестики-нолики, и заодно посмотреть, как поведет себя в работе с LLM связка из четырех видеокарт Radeon RX 7900 XTX с 24 гигабайтами видеопамяти.
Представитель AMD пообещал поделиться подробностями о производительности RX 9070 XT в ближайшие недели
Главный архитектор игрового направления AMD Фрэнк Азор заявил, что компания планирует раскрыть больше подробностей о новых видеокартах Radeon RX 9070 XT и RX 9070 в ближайшие недели. Производитель намерен провести отдельное мероприятие по запуску архитектуры RDNA 4.
CES 2025: AMD раскрыла информацию о видеокартах Radeon RX 9070 XT и RX 9070 на RDNA 4
AMD представила следующее поколение своих видеокарт на базе новой архитектуры RDNA 4, которая включает технологию масштабирования FidelityFX Super Resolution 4 (FSR 4), основанную на искусственном интеллекте. Radeon RX 9070 XT и RX 9070 станут доступны для покупки в первом квартале 2025 года. Пока AMD не раскрыла полные характеристики, цены и точные даты выпуска новых графических адаптеров.
