
Если вы обучаете ML-модели, рано или поздно можете столкнуться с двумя ограничениями: обучение занимает слишком много времени или модели перестает хватать видеопамяти. В таких случаях можно перейти на Multi-GPU.
Представим условный пример, модель обучается на одной GPU за 32 дня. Подключаем восемь ускорителей, рассчитываем сократить обучение до четырех дней, но получаем пять. Почему так происходит? GPU тратят время на синхронизацию градиентов, передачу данных и ожидание других устройств. Сколько времени займут эти операции, зависит от выбранного способа параллелизма.
Посмотрим на четыре подхода к Multi-GPU, их ограничения и способы оценить эффективность масштабирования. Разберемся, когда стоит подключать дополнительные видеокарты, а когда лучше оптимизировать обучение на имеющемся оборудовании.
-
Data Parallelism (PyTorch DDP). Каждая GPU хранит копию модели и обрабатывает свою часть батча. Во время обратного прохода процессы синхронизируют градиенты через All-Reduce. DDP умеет перекрывать коммуникации вычислениями, но при небольших батчах затраты на обмен могут стать сопоставимыми со временем вычислений.
-
Tensor Parallelism. Параметры и вычисления отдельных слоев распределяются между GPU. Устройства регулярно обмениваются промежуточными результатами, поэтому производительность сильно зависит от пропускной способности соединений PCIe, NVLink и топологии с NVSwitch.
-
Pipeline Parallelism. Слои модели распределяются по ускорителям, а микробатчи проходят через них последовательно. При заполнении и освобождении конвейера возникают pipeline bubbles — интервалы простоя GPU.
-
FSDP. Параметры, градиенты и состояния оптимизатора распределяются между GPU. При полном шардировании это экономит VRAM, но требует дополнительных операций All-Gather и Reduce-Scatter.
Как понять, насколько эффективно масштабируется обучение?
Вернемся к примеру с восемью GPU и посчитаем, насколько эффективно используются ускорители.
Ускорение (Speedup):
S = 32 / 5 = 6,4
Эффективность масштабирования (Scaling Efficiency):
E = 6,4 / 8 × 100% = 80%
При этом суммарное потребление вычислительных ресурсов выросло с 768 до 960 GPU-часов — на 25%. При одинаковой цене GPU-часа обучение стало дороже, хотя завершилось на 27 дней раньше.
Если ускорение оказалось ниже ожидаемого, проверьте загрузку данных, время NCCL-коммуникаций и баланс нагрузки между процессами. PyTorch Profiler поможет найти задержки в вычислениях и коммуникациях, а nvidia-smi topo -m — проверить топологию соединений между GPU.
Так перед увеличением числа GPU стоит профилировать обучение и сравнивать throughput, время шага и коммуникационные расходы. Иногда оптимизация DataLoader или изменение схемы параллелизма дают больший эффект, чем дополнительные ускорители.
Подробно разобрали DDP, FSDP, Tensor и Pipeline Parallelism, а также выбор GPU-инфраструктуры в статье в блоге Рег.облака.
А вы уже пробовали Multi-GPU? Делитесь опытом.
Автор: runity


