Ironwood — новейший чип-ускоритель AI от Google

На этой неделе на конференции Cloud Next компания Google представила новейшее поколение своего чипа-ускорителя искусственного интеллекта ^[1] TPU. Новый чип, названный Ironwood, является седьмым поколением TPU от Google и первым, оптимизированным для вывода — то есть запуска моделей AI. Планируемый к запуску в конце этого года для клиентов Google Cloud, Ironwood будет поставляться в двух конфигурациях: кластер из 256 чипов и кластер из 9216 чипов.

«Ironwood — наш самый мощный, способный и энергоэффективный TPU на сегодняшний день», — написал вице-президент Google Cloud Амин Вахдат в сообщении в блоге, предоставленном TechCrunch. «И он специально создан для поддержки мышления ^[2], выводных моделей AI в масштабе».

Ironwood появляется, когда конкуренция в области ускорителей AI накаляется. Nvidia может быть лидером, но технологические гиганты, включая Amazon и Microsoft, продвигают свои собственные внутренние решения. У Amazon есть процессоры Trainium ^[3], Inferentia ^[4] и Graviton ^[5], доступные через AWS, а Microsoft размещает ^[6]  экземпляры Azure для своего чипа AI Maia 100.

Ironwood может обеспечить 4614 TFLOPs вычислительной мощности на пике, согласно внутреннему бенчмаркингу Google. Каждый чип имеет 192 ГБ выделенной оперативной памяти ^[7] с пропускной способностью, приближающейся к 7,4 Тбит/с.

Ironwood имеет усовершенствованное специализированное ядро ​​SparseCore для обработки типов данных, распространенных в рабочих нагрузках «расширенного ранжирования» и «рекомендаций» (например, алгоритм, предлагающий одежду, которая вам может понравиться). Архитектура TPU была разработана для минимизации перемещения данных и задержек на чипе, что приводит к экономии энергии, утверждает Google.

Вахдат добавил, что в ближайшем будущем Google планирует интегрировать Ironwood со своим AI Hypercomputer — модульным вычислительным кластером в Google Cloud.

«Ironwood представляет собой уникальный прорыв в эпоху вывода», — сказал Вахдат, — «благодаря возросшей вычислительной мощности, объему памяти, достижениям в области сетевых технологий и надежности».

Источник ^[8]