Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации
Это первая (после нулевой) статья из серии Нейро сети для самых маленьких, в которой мы разбираем инфраструктуру для запуска нейронных сетей.Для обучения и инференса нейросетей и для любых видов High Performance Computing используются специализированные технологии: GPU/TPU, RDMA, Kernel bypass, NVLink, InfiniBand, RoCE и другие. Про некоторые из них большинство только что-то слышали, но сталкиваться с ними не приходилось.Нельзя просто взять ванильный стек Linux, воткнуть в него 400 Gb Ethernet+IP и получить рабочее решение. Почему?
Чем сети AI – ML отличаются от сетей традиционных дата-центров
Распространение искусственного интеллекта (AI) и машинного обучения (ML) стимулирует рост производительности и эффективности сетей дата-центров. В статье рассмотрены новые требования к AI сетям, отличия трафика AI / ML от трафика традиционных сетей дата-центров, а также технологии адаптации сети Ethernet для высоконагруженного AI трафика, и то, какие решения помогают оптимизировать AI сети.
