PCIe умер, да здравствует CXL

Привет, постоянные и не очень читатели!

CXL (Compute Express Link) — свежий стандарт интерконнекта, появившийся в 2019 году. Его главная фича — новый подход для работы с памятью ^[1] и вычислениями: поддержка когерентного кэша и трафика между процессорами и ускорителями, возможность собирать инфраструктуру как конструктор, гибко распределяя ресурсы, и другой функционал.

В этой статье я подробно расскажу про CXL (и при чём тут PCIe вообще). Кратко пройдёмся по истории этой технологии, посмотрим, что такое интерконнект, разберёмся, как и на чём CXL работает, на каком этапе развития находится и чего ждать в ближайшие годы.

Здесь будет всё, что вы хотели знать про CXL, но лень было искать, так что заваривайте чайничек листового — и приятного чтения! :)

История CXL: наследник PCIe, версии CXL, понятие интерконнекта и когерентности

Обычные компьютерные шины/интерфейсы для передачи данных, вроде PCIe (Peripheral Component Interconnect Express), перебрасывают данные из точки A в точку B (и обратно).

Интерконнект — это по сути сеть точка-точка ^[2] (P2P, Point-to-point), где каждое устройство подключено отдельной линией к коммутатору или напрямую к процессору/чипсету. Каждая линия (lane) — это выделенный двунаправленный канал.

Поэтому PCIe — это скорее система соединений с топологией звезда ^[3] (через контроллер или свитч). У него есть адресация, маршрутизация пакетов, QoS ^[4], виртуальные каналы, а пропускная способность масштабируется за счёт количества линий (x1, x4, x8, x16) — всё это ближе к сетевому протоколу, чем к шине. Внутри PCIe есть своя логика ^[5] того, как устройства договариваются о передаче данных, как не допустить коллизий, в какой форме данные пересылаются (пакеты) и т.д.

И да, CXL — это тоже интерконнект. Более того, он использует физическую и электрическую основу PCIe, а сверху предлагает свои протоколы — вот зачем я рассказал вам про PCIe.

CXL появился в 2019 году по инициативе Intel. У истоков стоял Джим Паппас (ныне директор технических инициатив в Intel). В начале 90-х он участвовал в разработке PCI и хорошо помнит, как стандартные слоты и гарантированная совместимость буквально перевернули рынок. PCI и PCIe обеспечили единые правила игры для производителей оборудования, и этот опыт ^[6] лёг в основу CXL.

Позже несколько компаний образовали целый консорциум из членов-основателей: Intel Corporation, Alibaba Group, Cisco Systems, Dell EMC, Meta (экстремисты в РФ), Google, Hewlett Packard Enterprise (HPE), Huawei и Microsoft. За шесть лет консорциум CXL вырос в сообщество с сотнями участников ^[7]. Формат участия гибкий ^[8]: есть бесплатный уровень Adopter (Пользователь) и платный Contributor (Участник, около $10 000 в год), который позволяет влиять на развитие технологии, даёт доступ к рабочим группам и промежуточным версиям спецификаций.

Итак, идея CXL была в том, чтобы развить уже знакомую всем экосистему PCIe, но добавить то, чего не хватало — когерентность кэша и трафика, пулы ресурсов и дезагрегрегацию.

Эволюция ^[9] CXL — это пошаговое развитие.

• CXL 1.0 (11 марта 2019 года) — проверка концепций на базе PCIe 5.0. В июне 2019 года вышла CXL 1.1. Центральный процессор может взаимодействовать с общей памятью на устройствах-ускорителях через протокол когерентности кэша.

• CXL 2.0 (10 ноября 2020 года) — появились коммутация, масштабируемость, дезагрегация (общая память и хранилище), безопасность (защита и шифрование). Пропускная способность CXL 1.x (PCIe 5.0) сохранилась.

• CXL 3.0 (2 августа 2022) — основан на PCIe 6.0 и кодировании PAM-4, удвоена пропускная способность. Добавлены сетевые возможности с многоуровневым переключением для создания масштабируемых систем, поддержка разных типов устройств на одном порту, улучшена согласованность при прямом доступе и совместном использовании памяти (устройства могут напрямую обмениваться данными, минуя центральный процессор, что значительно снижает задержки).

• Дальнейшее развитие — CXL 3.1 (14 ноября 2023) и CXL 3.2 ^[10] (3 декабря 2024) с улучшениями в управлении памятью (например, внедряет Hot-Page Monitoring Unit для иерархий памяти), оптимизированным мониторингом устройств, улучшенной поддержкой ОС и приложений, плюс повышенной безопасностью (Trusted Security Protocol), которая включает новые функции хранения метабитов, расширяет возможности защиты IDE и усиливает проверку совместимости, обеспечивая более ⁤безопасную среду‌ для приложений, работающих с конфиденциальными данными.

Но важно уточнить, что CXL не заменяет PCIe, а развивает его возможности. PCIe отлично справляется с периферией, а CXL фокусируется на когерентных соединениях и позволяет сильно уменьшить накладные расходы в задачах, где требуется память. При этом при инициализации устройство CXL вначале определяется системой как PCIe-устройство (чтобы BIOS/UEFI и ОС могли корректно стартовать), а затем уже договаривается о поддержке CXL-протоколов.

И сразу ещё одно важное уточнение! В реальных ЦОДах CXL-память на сегодня не заменяет DRAM, а дополняет её — что-то вроде второго уровня.

Что такое CXL — подробный обзор

По сути дела, CXL — это высокоскоростной открытый стандарт интерконнекта для когерентной связи CPU-устройств (например, ускорителей, GPU, SSD) и CPU-памяти (позволяя процессору использовать память устройств как свою собственную и наоборот). CXL позволяет расширять память в форм-факторах, отличных от DIMM, например DRAM или PMem в виде накопителей EDSFF E1.S или E3.S. Дополнительные платы (AIC) можно вставлять в стандартные слоты PCIe, и они могут поддерживать стандартные модули DIMM

Важный момент — любое устройство CXL можно вставить в стандартный PCIe-слот (начиная с версии 5.0), ведь у них одинаковые разъёмы и базовая технология передачи данных. Так что CXL — это дальнейшее развитие PCIe, но при этом отдельная ветвь эволюции. PCI-SIG (разработчик PCI) учитывает эту особенность в спецификациях и формально закрепил возможность альтернативного протокола. Это не конкуренция, а развитие на общем фундаменте.

Если провести аналогию с автомобилестроением, PCIe — это добротный седан среднего класса со своим кузовом, шасси, колёсами и двигателем, а CXL — это комфортабельный кроссовер нового поколения, собранный на том же шасси седана, но у него совершенно другой салон, кузов, улучшенная аэродинамика, модифицированная подвеска, система управления, электроника, ПО и, самое главное, другая цель — он создан для дорог, где седан не проедет. Но, к слову, новый кроссовер требует другого обслуживания, как и CXL-системы требуют нового подхода к администрированию.

Итак, CXL основан на физическом слое PCIe, но вводит три новых протокола:

• Сначала CXL.io ^[11] — это, по сути, PCIe с некоторыми расширениями для работы в рамках CXL (например, новые типы транзакций для управления когерентностью на уровне протокола). Он не уступает в скорости PCIe и обеспечивает базовое взаимодействие. И да — CXL.io ^[11] некогерентный. Одна физическая линия (lane) PCIe может нести трафик CXL.io ^[11], CXL.cache и CXL.mem одновременно, динамически распределяя полосу пропускания между ними, экономя ресурсы. PCIe так не умеет.

• Дальше CXL.cache — этот протокол позволяет ускорителям (типа GPU или NIC) кэшировать данные из памяти хоста прямо у себя, с низкой задержкой, чтобы поддерживать когерентность своего локального кэша. Это снижает трафик на шине. Задержки минимальны — в диапазоне 60-100 нс для доступа к кэшу устройства, что кардинально меньше, чем у традиционных механизмов с программным обеспечением когерентности (которые могут занимать микросекунды).

• Наконец, CXL.mem — он позволяет процессору хоста обращаться к памяти устройства как к своей собственной. Устройство выступает в роли агента памяти (Memory Device), и CPU использует обычные инструкции работы с памятью, как если бы это была его собственная DDR. Стандарт CXL изначально разрабатывался с учетом работы как с энергозависимой, так и с энергонезависимой памятью (Persistent Memory). В PCIe доступ к памяти устройства требует отдельного драйвера и происходит через барьеры и прерывания, что создает задержки и накладные расходы. CXL.mem интегрирует эту память в единое когерентное адресное пространство системы.

Совместно эти протоколы реализуют кэш-когерентный обмен данными между процессорами, устройствами и ускорителями. В результате система может динамически увеличивать объём оперативной памяти и ускорять обмен данными, не перегружая сетевые интерфейсы.

Зачем CXL нужен

Сегодня в ЦОДах есть проблемы, которые ограничивают производительность оборудования и повышают стоимость владения.

Например, разрыв в задержках между DRAM и твердотельными накопителями огромен — около 1000 раз. У DIMM-модуля Micron DDR5 объёмом 96 ГБ и скоростью 4800 МТ/с задержка записи — всего 15,44 нс, тогда как у SSD Micron 7450 NVMe она уже 15 мкс. Когда у процессора заканчивается доступная DRAM и он вынужден выгружать данные на SSD, большая часть времени уходит не на вычисления, а на ожидание. Итог — резкое падение производительности.

Что ещё? Количество каналов в контроллерах памяти не успевает за увеличением количества ядер в многоядерных процессорах. Процессорным ядрам может не хватать пропускной способности памяти, что сводит к минимуму преимущество в большом количестве ядер. Например, у Intel Xeon 6 до 288 ядер обслуживаются всего 12 каналами памяти — нагрузка распределяется крайне неравномерно.

Добавим сюда ещё и то, что ускорители работают с собственной памятью. Ресурсы изолированы, а значит, часть ёмкости простаивает

Но CXL решает эти проблемы.

Во-первых, объединение памяти (Memory Pooling) и дезагрегация (Disaggregation)

CXL позволяет превратить память из индивидуального ресурса каждого устройства в общий, динамически распределяемый пул, доступный всем компонентам системы. Это устраняет главную неэффективность традиционной архитектуры. К этому пулу по CXL могут обращаться все вычислительные узлы. Для них эта удалённая память выглядит и ведет себя почти как своя, локальная.

Но что самое крутое — пропускная способность складывается: если у CPU есть свой канал памяти с пропускной способностью X, а CXL-устройство добавляет еще память с пропускной способностью Y, то общая доступная полоса для системы становится X+Y. Для задач, которые могут использовать эту объединенную память, пропускная способность может увеличиться кратно (2x и более, зависит от конфигурации), по сравнению с использованием только локальной памяти CPU. Однако сама по себе скорость доступа к памяти на устройстве не обязательно выше, чем у нативной DDR памяти. Всё это справедливо, только если контроллеры памяти и приложения умеют эффективно распараллеливать доступ. На практике рост не всегда линейный.

Оперативная память физически привязана к материнской плате конкретного сервера, что приводит к недоиспользованию ресурсов в дата-центре? У GPU своя память (HBM), у CPU — своя (DDR). Память одного простаивает, а другому не хватает? Эти проблемы решает объединение памяти и дезагрегация: все CXL-устройства имеют прямой доступ к пулу, а жёсктая привязка — больше не проблема.

Это как если бы у каждого отдела компании был не свой собственный сейф (локальная память), а доступ к центральному банковскому хранилищу (пул CXL-памяти). Любой отдел (CPU, GPU) может положить или взять ровно столько денег (данных), сколько ему нужно в данный момент, без перевозки денег курьером (копирование данных через драйверы и DMA). Все работают напрямую с банковским хранилищем.

Во-вторых, вышеупомянутая когерентность памяти и трафика

Это позволяет устройствам, например процессору и ускорителю, работать с одной и той же областью памяти без противоречий в данных (коллизий). Важно, что это аппаратная когерентность, и она работает без участия ядра ОС. То есть ядро не перегружено синхронизацией страниц — огромный плюс для Linux/Windows Server.

Кто последний изменил данные? Чью версию видит CPU, а чью GPU? Как избежать копирования? Эти проблемы решает когерентность — все видят одну и ту же актуальную версию данных в одном месте.

Представьте: у завода и автосалона есть единая система логистики (CXL), позволяющая конвейеру завода (процессор) напрямую поставлять нужное количество автомобилей (данные) в магазин (GPU), минуя склад (копирование в буфер/память HBM ^[13]). Магазин (GPU) отправляет запрос (запрос DMA ^[14]), а завод производит и сразу отгружает только нужное количество авто. Нет посредников (когерентность) и перепроизводства/недопроизводства (не нужен большой запас/избыток памяти), уменьшаются издержки (коллизии, задержки), а товар не простаивает, ожидая перевозки (память используется эффективно).

В-третьих, гетерогенные вычисления (гибридные вычисления)

Это вычисления с использованием разнородных вычислительных устройств. Например, ASIC-модули ^[15] намного эффективнее CPU и GPU общего назначения в задачах, для которых они созданы. Но встроить такие ускорители в IT-инфраструктуру обычно непросто. CXL решает вопрос через согласованное соединение с низкой задержкой между ASIC и процессорами общего назначения. В итоге приложения могут использовать специализированные чипы без переделывания архитектуры и переписывания половины кода.

Ну а раз мы заговорили про ASIC-модули, то самое время поговорить про типы CXL-устройств — там тоже не всё так очевидно.

Типы устройств CXL

CXL классифицирует устройства по возможностям на три основных типа.

Type 1 — простые ускорители без своей памяти, наподобие Smart NIC. Они используют только CXL.io и CXL.cache, чтобы кэшировать данные из хоста. Идеально для сетевых задач (парсинг, шифрование, фаерволы), где локальная память не нужна, а скорость доступа к данным CPU — очень даже.

Type 2 — это многофункциональные устройства, вроде GPU, ASIC или FPGA. Они работают по все трём протоколам: CXL.io для базового обмена, CXL.cache для кэширования памяти хоста и CXL.mem для доступа к собственной памяти (например, GDDR или HBM). Здесь возможны два режима смещения: device bias, когда приоритет у устройства, и host bias, когда баланс сохраняется за хостом. На практике это удобно, например, при обучении ^[16] нейросетей — GPU может напрямую обращаться к общему пулу памяти, минуя лишние копирования.

Type 3 — это чистые расширители памяти без вычислительных блоков. Они используют только CXL.io и CXL.mem и позволяют добавлять дополнительную память или persistent storage (хранит данные надёжно, как SSD или HDD, но быстро, например через NVDIMM, Intel Optane). По сути, это как внешний жёсткий диск, но с когерентным доступом и минимальными задержками. Основной сценарий — создание пулов памяти в дата-центрах, где, например, один модуль на 512 ГБ может обслуживать сразу несколько серверов.

Почему CXL важен бизнесу не меньше специалистов

Айтишникам CXL открывает возможности масштабирования через создание когерентных пулов памяти и дезагрегацию. Память, процессоры, ускорители и накопители могут использоваться как общие ресурсы для любых задач.

Но бизнесу важно другое — CXL повышает утилизацию оборудования (степень использования) и снижает общие расходы на инфраструктуру: капитальные расходы (CAPEX), и совокупную стоимость владения (TCO).

Например, Google Cloud в своём исследовании ^[17] сообщает, что до 40 % его памяти не используется; Azure сообщает ^[18], что 25 % памяти не используется, а 50 % арендованной памяти простаивает. Дезагрегация позволяет сократить общее использование памяти на 10 %, что в масштабах крупных гиперскейлеров может сэкономить миллиарды рублей.

В средних же компаниях выгода будет видна, скорее всего, при консолидации инфраструктуры (например, отказ от лишних серверов при тестовых средах или внедрении AI-решений).

Кроме того, CXL упрощает интеграцию нового оборудования в уже существующую IT-инфраструктуру, масштабирование, администрирования и т.д.

Также у бизнеса есть проблема, что огромное массивы корпоративной информации (60-73% ^[19]) хранятся без дела — их не используют для аналитики, а со временем удаляют. CXL как раз ускоряет обработку массивов данных (или делает то же самое за меньшие деньги), и крайне эффективен в HPC-задачах: AI, машинное обучение и аналитика больших данных.

В итоге CXL превращается в стратегический инструмент для бизнеса любого масштаба: он ускоряет обработку данных, повышает эффективность инфраструктуры и упрощает внедрение нового оборудования.

Доступные серверы/устройства с CXL и в каком статусе технология

Если кратко, то картина такая. CXL 1.1/2.0 активно используется в продуктах, а 3.0/3.1/3.2 на подходе — в следующих поколениях. Новейшие устройства обычно появляются в продаже лишь через два-три года после выхода спецификации, так что ориентируемся на 2026-2027 года.

То что есть на рынке, это не прототипы — а готовые платформы, устройства и процессоры, которые можно купить и внедрить прямо сейчас. Современные прошивки серверов (например, iDRAC 10 у Dell, iLO 7 у HPE) уже интегрируют поддержку CXL-ресурсов в мониторинг. То есть админ в консоли управления сможет видеть загрузку и состояние CXL-модулей наряду с памятью, процессорами и накопителями. Это снижает порог внедрения.

Давайте расскажу о новинках с CXL.

Dell выпустила PowerEdge R670, R770 и R7725 с нативной поддержкой CXL 1.1/2.0. Эти модели на базе Intel Xeon 6 или AMD EPYC 9005, с слотами для CXL-памяти (Type 3, до 2 ТБ на узел).

HPE ProLiant DL380 Gen11 — флагман с CXL 2.0, позволяет объединять серверные ресурсы в общие пулы и динамически распределять их между задачами, повышая эффективность и снижая простои, идеален для AI/HPC. В ProLiant DL380 Gen12 добавили поддержку хранилища CXL — до 8 ТБ.

Lenovo ThinkSystem SR650 V4 тоже предлагает CXL 2.0 из коробки, с опциями для до 4 ТБ расширения.

Marvell Structera — семейство продуктов на основе CXL для масштабируемой и эффективной архитектуры ЦОДов. Structera CXL первыми в отрасли поддерживают четыре канала памяти, встроенное сжатие LZ4 и используют 5-нанометровый техпроцесс.

По сути это готовая платформа для CXL-контроллеров и ускорителей (модели Structera A и Structera X) для расширения памяти и обработки данных. Structera прошла полевое тестирование с DDR4/DDR5 и сертифицирована как с 5-м поколением Intel Xeon, так и с AMD EPYC.

Structera A — это CXL-ускорители с 16 ядрами ARM и четырьмя каналами памяти (для задач с высокой пропускной способностью, например, DLRM), а Structera X — это CXL-контроллеры расширения памяти, позволяющие добавить терабайты ОЗУ в сервер.

У Gigabyte есть AI Top CXL R5X4 — плата расширения на PCIe, добавляющая 512 ГБ регистровой DDR5 через CXL 2.0. Отличное решение для рабочих станций с чипсетами TRX50 (AMD Threadripper) и W790 (Intel Xeon W). Запущена недавно, в августе 2025, — просто вставляете в слот, и получаете когерентную память. Идеально для разработки, малых проектов AI или локальных/небольших внедрений ИИ, где нужно быстро апгрейдиться без замены всей системы.

Заключение: куда CXL движется

CXL начинался как очередной стандарт от Intel (коих бесчисленное множество), но всего за шесть лет вырос в полноценную экосистему, в которую инвестируют, пожалуй, все крупные игроки. Его сила не только в технических преимуществах над PCIe — когерентность, объединение памяти, дезагрегация, но и в том, что он предлагает новое видение архитектуры для ЦОДов и крупных IT-инфраструктур. В том, что он может сэкономить деньги бизнесу и упростить жизнь айтишникам.

Если PCIe когда-то дал индустрии общий интерконнект, то CXL даёт общий язык для ресурсов серверов. Он снимает барьеры между CPU, GPU, FPGA и памятью, позволяя работать с данными, как с единым целым. Не исключено, что в будущем мы отойдём от понятия отдельных серверов с жёстко заданными конфигурациями, и прийдём к модульным ЦОДам, где память, ускорители и вычисления аппаратно подключаются и перераспределяются так же легко, как сейчас виртуальные машины делают это через абстракции, накладные расходы и ПО.

Ближайшее будущее — внедрение CXL 3.x в массовых продуктах, стандартизация поддержки в ОС и ПО, а также первые примеры крупных дезагрегированных инфраструктур в дата-центрах у гиперскейлеров. Следующий шаг — выход за пределы Enterprise, HPC и облаков. CXL пойдёт (и в каком-то роде уже пошел) в средние и малые корпоративные среды, где каждый специалист и каждый рубль на счету.

Можно спорить о сроках — станет ли CXL повсеместным стандартом через 5 лет или потребуется десятилетие. Но я делаю ставку на то, что эпоха, когда память и вычисления были жёстко привязаны к одному устройству, подходит к концу.

Спасибо, что прочитали этот лонгрид, друзья!