Собираем ROCm 7.1 + PyTorch в Windows под свои GPU

Введение

В этой статье я поделюсь опытом ^[1] сборки еще не вышедшей на момент написания ROCm 7 ^[2] под свои GPU, даже если их нет в списке официально поддерживаемых архитектур. Затем покажу, как с собранным ROCm 7 собрать PyTorch ^[3]и запустить ComfyUI ^[4]. Для примера я буду собирать ROCm под RX 6800 ^[5] + Radeon 780m ^[6].
Я предполагаю, что читатель уже знает, что такое ROCm и зачем он нужен.

Проверка на совместимость

Перед тем как выполнять манипуляции, описанные в статье, нужно определить, какие у вас GPU и требуется ли их специальная сборка, или можно обойтись готовыми сборками из репозиториев.

1. Определяем архитектуру (Navi 21, Phoenix …). Идем в GPU-Z или подобный инструмент и смотрим архитектуру.

2. Идем в исходники открытого драйвера https://gitlab.freedesktop.org/mesa/mesa/-/blob/main/src/amd/common/amd_family.c ^[8] и по своей архитектуре находим кодовое название, например для Phoenix это gfx1103, для Navi 21 это gfx1030.

Готовые сборки

После того как мы определились с кодовым названием наших GPU, идем по ссылкам ниже. Есть несколько источников готовых сборок ROCm:

• Я брал отсюда: https://rocm.nightlies.amd.com/v2-staging/ ^[9]

• https://rocm.nightlies.amd.com/v2/ ^[10]

• https://rocm.devreleases.amd.com/v2 ^[11]

• https://rocm.devreleases.amd.com/v2-staging ^[12]

Если вы нашли готовые сборки rocm_sdk и pytorch под свою архитектуру и версию ОС, то вам повезло: можете скачивать whl-пакеты и переходить к пункту “Установка ComfyUI с поддержкой ROCm“.
Для тех, кому нужен уже собранный дистрибутив ROCm (например, для сборки llama.cpp), а не Python-пакет, его можно найти по этой ссылке ^[13], дописав к ней имя нужного архива.

Если у вас 2 GPU (например, у меня одна gfx1103, а вторая gfx1030) и они из разных поколений, то готовых сборок с поддержкой обоих поколений вы на данный момент не найдете и остается только собирать все самим из исходников.

Подготовка к сборке

Есть ряд требований к системе, в которой осуществляется сборка:

1. Необходимо установить следующие компоненты:

   1. chocolatey ^[14] – популярный менеджер пакетов. После него установите следующие пакеты.

      choco install visualstudio2022buildtools -y --params "--add Microsoft.VisualStudio.Component.VC.Tools.x86.x64 --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.ATL --add" 
      choco install git.install -y --params "'/GitAndUnixToolsOnPath'" 
      choco install cmake --version=3.31.0 -y 6. choco install ninja -y 
      choco install ccache -y
      choco install strawberryperl -y
      choco install python --version=3.12.

      Возможно, подойдет и другая версия Python, но я не проверял. Если у вас в системе уже установлен Python 3.12, удалите его и установите через choco, иначе python установится в качестве зависимости к dvc и будет каша в PATH.

      choco install dvc -y 

   2. У меня в добавок установлена Visual Studio 2022 Community со следующим набором компонентов:

      • Workload: Desktop development with C++

      • Components: C++ CMake Tools for Windows, Git for Windows, C++ Clang Compiler for Windows, MSBuild Support for LLVM Toolset (clang)

        Но я не уверен что это необходимо.

2. Для скачивания источников и сборки необходима поддержка symlink. По умолчанию создавать ссылки в Windows может только администратор. Можно включить эту возможность для непривилегированных пользователей в secpol.msc. Однако я собирал всё из-под админа.

3. Для Git нужно выполнить следующие настройки:

     git config --global core.symlinks true
     git config --global core.longpaths true
     git config --global user.email "mail@mail.m" #ваш email, любой
     git config --global user.name "superduperuser" #имя пользователя для комита
     # user.email и user.name — понадобится для сборки PyTorch

4. Проверьте интернет-соединение:

• http://sparse-files.engr.tamu.edu ^[15]

• https://files.pythonhosted.org ^[16]

• https://sqlite.org ^[17]

  Если один из этих сайтов у вас не открывается, CMake завершится с ошибкой ^[18].

[rocSPARSE configure] -- Downloading and extracting test matrix SNAP/amazon0312.tar.gz
[rocSPARSE configure] -- Timeout has been reached, trying mirror ...
[rocSPARSE configure] CMake Error at cmake/ClientMatrices.cmake:162 (message):
[rocSPARSE configure]   "Timeout was reached"

Можно собирать без прокси и пр., ровно до момента сборки rocSPARSE, hipSPARSE и rocThrust, затем включить его и запустить сборку заново — она продолжится с того места, где остановилась.

4. Как я понял изначально сборка затачивалась под linux и только потом адаптировалась под Windows поэтому некоторые вещи остались, например CMake будет пытаться найти python3. Для того чтобы избежать ошибок “Python was not found”, создаем ссылку python3.exe:

   # замените на ваш путь, если отличается
   cd C:Python312
   New-Item -ItemType SymbolicLink -Name "python3.exe" -Target "C:Python312python.exe"
   

Клонирование репозитория и подпроектов

После того как требования к системе выполнены, нужно склонировать основной проект и запустить скрипт который скачает все необходимые зависимости:

git clone https://github.com/ROCm/TheRock.git
cd TheRock

# у меня заработал этот комит, все что после с моей gfx1030 работало плохо
git checkout -q --detach e060adb724b23da94b6913296f828fb56c28e196

python -m venv .venv
..venvScriptsactivate
pip install -r requirements.txt

# скачивает подмодули и применяем патчи
python ./build_tools/fetch_sources.py

Обратите внимание ^[19], мы берем определенный коммит, именно на нем я проверял работоспособность и именно в нем исправили ошибку с определением моей GPU. Так как проект в разработке, то в нем что-то отваливается с определенной периодичностью — это нормально.

Сборка ROCm

Важно: Если сборка завершается ошибками, о которых я тут не упоминал, лучше выполнить сборку на проверенной конфигурации (gfx110X-dgpu) с минимальным набором компонентов и под учетной записью с правами администратора.

Во время сборки CPU будет загружен на максимум, длиться это будет часа 4, так что если у вас мини-ПК или ноутбук, советую отключить TurboBoost, чтобы избежать перегрева и троттлинга. При данной нагрузке TurboBoost только замедлит сборку.

Немного про конфигурацию сборки

В официальном репозитории довольно хорошо задокументирована сборка и различные тонкости. Основные статьи которые нам понадобятся:

• Сборка в Windows ^[21]

• README.md ^[22]

• Сборка PyTorch ^[23] Главный параметр конфигурации это -DTHEROCK_AMDGPU_FAMILIES с помощью него мы указываем для каких семейств GPU мы будем выполнять сборку. Есть так же параметр -DTHEROCK_AMDGPU_TARGETS c помощью которого можно указать не семейство а конкретную архитектуру, однако с этим параметром у меня не получилось собрать PyTorch поэтому используем первый.

Запускаем конфигурацию и сборку

Для дальнейшей сборки PyTorch необходимо собрать все компоненты ROCm:

cmake -B build_103X_110X -GNinja . -DTHEROCK_AMDGPU_FAMILIES="gfx103X-dgpu;gfx110X-igpu" -DTHEROCK_AMDGPU_DIST_BUNDLE_NAME=custom
cmake --build build_103X_110X --target therock-dist

В данном примере я собираю сборку которая будет работать на gfx103X-dgpu иgfx110X-igpu что в переводе значит на RX 6800, RX6600XT и Radeon 780m.

Если ROCm нужен вам только для сборки llama.cpp, то можно ускорить сборку, отключив неиспользуемые компоненты:

cmake -B build_103X_110X -GNinja . -DTHEROCK_AMDGPU_FAMILIES="gfx103X-dgpu;gfx110X-igpu"  -DTHEROCK_ENABLE_ALL=OFF -DTHEROCK_ENABLE_MIOPEN=ON -DTHEROCK_ENABLE_BLAS=ON -DTHEROCK_AMDGPU_DIST_BUNDLE_NAME=custom
cmake --build build_103X_110X --target therock-dist

После того как сборка завершилась, вы должны увидеть что-то вроде:

[rocThrust] [287/288] Linking CXX executable testunique.hip.exe
[rocThrust SUCCEEDED in 1653 seconds]
[3/4] Populate artifact prim

И если запустить сборку повторно, то вы увидите:

[0/2] Re-checking globbed directories...
ninja: no work to do.

Поздравляю основной дистрибудив ROCm собран, теперь с ним можно компилировать другие приложения, например llama.cpp. Расположен дистрибутив в директории сборки -> папка dist.

После сборки дистрибутива необходимо упаковать его в WHL пакеты для дальнейшей сборки и использования с PyTorch.

Собираем архивы и Python-пакеты ROCm:

cmake --build build_103X_110X --target therock-archives
python ./build_tools/build_python_packages.py --artifact-dir=build_103X_110X/artifacts --dest-dir=build_103X_110X/packages --version "7.1.0" --version-suffix "gfx103X_1103"

После выполнения скрипта в директории packages должно появиться 4 пакета:

• rocm-7.1.0.tar.gz

• rocm_sdk_core-7.1.0-py3-none-win_amd64.whl

• rocm_sdk_devel-7.1.0-py3-none-win_amd64.whl

• rocm_sdk_libraries_custom-7.1.0-py3-none-win_amd64.whl

Сборка PyTorch

Деактивируем venv, переходим в external_build/pytorch и создаем новый venv

deactivate
cd external_build/pytorch
python -m venv .venv
..venvScriptsActivate

Устанавливаем собранные пакеты ROCm:

# укажите свой путь к packagesdist 
pip install --find-links C:bTheRockbuild_103X_110Xpackagesdist rocm[libraries,devel]
pip install packaging

Вывод успешной установки:

Successfully installed rocm-7.1.0 rocm-sdk-core-7.1.0 rocm-sdk-devel-7.1.0 rocm-sdk-libraries-custom-7.1.0

Клонируем и собираем PyTorch, torchaudio и torchvision:

Клонирование нужной версии PyTorch

В данной статье я рассмотрю возможность сборки Pytorch 2.9, хотя с 2.10 у мня тоже получилось.

Скачиваем исходники PyTorch 2.9

python pytorch_torch_repo.py checkout --repo-hashtag release/2.9 --gitrepo-origin https://github.com/ROCm/pytorch.git --checkout-dir D:/b/2.9/pytorch

python pytorch_audio_repo.py checkout --require-related-commit --checkout-dir D:/b/2.9/audio --torch-dir D:/b/2.9/pytorch

python pytorch_vision_repo.py checkout --require-related-commit --checkout-dir D:/b/2.9/vision --torch-dir D:/b/2.9/pytorch

Сборка

python build_prod_wheels.py build --pytorch-dir D:/b/2.9/pytorch --pytorch-audio-dir D:/b/2.9/audio --pytorch-vision-dir D:/b/2.9/vision --output-dir C:/dev/PytorchRocm7/out --clean

Если все собралось правильно, вы должны увидеть сообщение похожее на это:

++ Copy D:bvisiondisttorchvision-0.25.0a0+rocmsdk20251118-cp312-cp312-win_amd64.whl -> C:devPytorchRocm7out
--- Builds all completed

Поздравляю сборка PyTorch завершена. Необходимые пакеты вы найдете в директории –output-dir. Теперь давайте заставим все это работать.

Установка ComfyUI с поддержкой ROCm

Клонируем репозиторий с ComfyUI и создаем окружение:

git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
python -m venv gfx103X_1103_venv
.gfx103X_1103_venvScriptsactivate

Устанавливаем собранные пакеты PyTorch:

# Rocm
pip install --find-links D:bTheRockbuild_gfx103X_1103packagesdist rocm[libraries,devel]

# Затем PyTorch
pip install "C:DevPytorchRocm7gfx1103_103X_torch2.10torch-2.10.0a0+rocmsdk20251118-cp312-cp312-win_amd64.whl" "C:DevPytorchRocm7gfx1103_103X_torch2.10torchaudio-2.10.0a0+rocmsdk20251118-cp312-cp312-win_amd64.whl" "C:DevPytorchRocm7gfx1103_103X_torch2.10torchvision-0.25.0a0+rocmsdk20251118-cp312-cp312-win_amd64.whl"

Обратите внимание, PyTorch нужно устанавливать напрямую, указывая путь к whl-файлам.
Устанавливаем зависимости:

pip install -r .requirements.txt

Запускаем ComfyUI, для начала пробуем ничего не улучшать, только указываем, на какой GPU будем работать:

#Для ускорения первой генерации
$env:MIOPEN_FIND_MODE=5
# eGPU 
$env:HIP_VISIBLE_DEVICES  = "1"
python .main.py --normalvram 
# iGPU
$env:HIP_VISIBLE_DEVICES  = "0"
python .main.py --normalvram 

В SD 1.5 512×512 У меня получилось 7-9 it/s на eGPU и 1.65 it/s на iGPU.
В FLUX-GGUF У меня получилось 4.8 s/it на eGPU и it/s на 22 s/it iGPU.

WAN 2.1 GGUF тоже работает, по скорости ~ 15 минут уходит на генерацию видео: 33 кадра 640х480, с использованием teacache.

Заключение

Работа над ROCm 7 все еще продолжается, и пока совершенно не ясно, какие архитектуры и в какой комбинации будут поддерживаться в релизной версии. Также не совсем ясно, когда этот релиз случится, поэтому надеюсь, что тем, кому нетерпится поработать с ROCm 7 в Windows, эта статья будет полезна.

Ниже я приведу ряд фич, реализовать которые у меня получилось частично, а так же опишу проблемы которые мне показались не очевидными.

Позже я выложу свои сборки на GitHub. Если кого интересуют какие либо экзотические сборки, например для нескольких поколений архитектур, пишите об этом в комментарии.

В следующей статье я расскажу, как собрать llama.cpp с поддержкой ROCm 7 и Vulkan в Windows.

Всем спасибо за прочтение!

if (NOT python)
  set(python "python3") # default for linux
endif()

if (NOT python)
  set(python "python") 
endif()

[hipBLAS] Python was not found; run without arguments to install from [hipBLAS] Python was not found; run without arguments to install from the Microsoft Store...
the Microsoft Store...

git checkout -q --detach eb8f187ff47eb6af9cd5aaa0b8d9a04b06b12796

python build_prod_wheels.py build --pytorch-dir D:/b/2.9/pytorch --pytorch-audio-dir D:/b/2.9/audio --pytorch-vision-dir D:/b/2.9/vision --enable-pytorch-flash-attention-windows --output-dir C:/dev/PytorchRocm7/out --clean

python pytorch_torch_repo.py checkout --repo-hashtag main --patchset main --checkout-dir D:/b/pytorch
python pytorch_audio_repo.py checkout --repo-hashtag main --patchset main --checkout-dir D:/b/audio
python pytorch_vision_repo.py checkout --repo-hashtag main --patchset main --checkout-dir D:/b/vision

PyTorch пакеты для GPU, которые приведены в пример в этой статье, вы можете скачать по этой ссылке. ^[26]