В Стэнфорде создали монолитный 3D-чип для ИИ-вычислений. Он до 12 раз быстрее «плоской» архитектуры

Команда из Стэнфордского университета, Университета Карнеги — Меллон, Университета Пенсильвании и MIT совместно с американской фабрикой SkyWater Technology представила ^[1] первый монолитный 3D-чип для искусственного интеллекта ^[2], изготовленный на коммерческом производстве. Слои памяти ^[3] и логики выращиваются друг на друге в едином технологическом процессе, а не собираются из готовых кристаллов. В аппаратных тестах чип показал 4-кратный прирост производительности, в симуляциях с бОльшим числом слоев — до 12-кратного на задачах искусственного интеллекта, включая модели LLaMA от Meta.

Для инференса ИИ главная проблема не вычисления, а доставка данных. В плоской двухмерной архитектуре память расположена далеко от логики, шины длинные и перегруженные — это задержки и лишние траты энергии, а временами возникает так называемая memory wall, когда память не успевает подавать данные к вычислительным блокам и они простаивают. Кроме того, все сложнее становится уменьшать техпроцесс.

Решение — вертикальная интеграция по аналогии с небоскребом вместо плоского города. Память и вычисления распределены по этажам, между ними — плотная сеть вертикальных связей. Слои наращиваются последовательно на одном кристалле при температуре около 415 градусов Цельсия, что не повреждает нижние слои. Это дает гораздо более плотные вертикальные соединения, чем склейка готовых чипов.

Архитектура сочетает кремниевую логику ^[4], резистивную память и транзисторы на углеродных нанотрубках. Экспериментальное производство запущено на линии с техпроцессом 90-130 нанометров — это заметно больше, чем у передовых чипов, поэтому пока что сравнение “в лоб” невозможно. Но при равном техпроцессе текущий чип показал 4-кратный прирост против двухмерного аналога при запуске, а моделирование более “высоких” версий подтверждает, что можно добиться до 12-кратного на нагрузках LLaMA. Резко сокращая перемещение данных и добавляя множество вертикальных путей, чип может достичь одновременно более высокой пропускной способности и меньшего энергопотребления на операцию — комбинация, давно считавшаяся недостижимой для обычных плоских архитектур.

Важно, что чип был выпущен на коммерческой фабрике SkyWater, крупнейшем чисто американском полупроводниковом производстве, а не в университетской лаборатории. Пока это не конкурент графических процессоров с техпроцессом в 4-5 нанометров, — решение этой задачи называется следующей целью исследователей.

P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть ^[5]“, где я рассказываю про ИИ с творческой стороны.