
Компания Microsoft создает набор инструментов, который позволяет адаптировать модели и программы, написанные для NVIDIA CUDA, для работы на платформе AMD ROCm. Цель проекта – снизить затраты на оборудование для инференса ИИ, предоставляя возможность использовать более доступные графические процессоры AMD без необходимости переписывать исходный код.

Решение представляет собой слой совместимости, который транслирует вызовы API из CUDA в ROCm в реальном времени. Это позволяет моделям и библиотекам, рассчитанным на NVIDIA, работать на AMD почти напрямую. Однако эффективность работы ограничена незрелостью экосистемы ROCm. Для части кода CUDA пока нет эффективного аналога, что может сказываться на производительности в крупных дата-центрах.
На данный момент инструментарий используется внутри Microsoft и дорабатывается совместно с AMD для дальнейшей оптимизации. Компания отмечает, что это стратегический шаг к более гибкой и экономичной инфраструктуре для запуска ИИ-моделей, позволяющий снизить зависимость от одной только экосистемы NVIDIA.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn


