Под капотом современных AI-систем: разбираем железо

Как объединить по сети вычислители? Что происходит при компиляции кода для железа под капотом и какие есть нюансы при работе с AI в пространстве ядра? ИИ с ноги ворвался во все сферы разработки, работы — вагон и маленькая тележка. Но на чём и как она должна ехать? У каждой программы есть свои требования, универсальных советов нет.

О новых решениях можно будет узнать на конференции OS DevConf 25 ^[1] — там будет целый трек, посвящённый железу для AI. Пул экспертов соберётся, чтобы показать, как устроен современный стек ИИ — от базового железа для инференса до системных рантаймов и объединения ферм GPU, чтобы обучить большие языковые модели. Участники не просто узнают об инструментах, но и ознакомятся с методиками, как программировать это железо до уровня «можно использовать в Pythorch».

«Будем начинать с самых азов и дальше по всему стеку от инференса до сетей для кластеров GPU. Доклады будут интересны и новичкам — мы специально подготовили как вводные материалы доклады, так и выступления для тех, кто уже активно работает с AI», — рассказали в программном комитете конференции.

На OS DevConf 25 ^[1] трек AI собран таким образом, чтобы участники смогли узнать новое и систематизировать имеющиеся знания.

Для этого мы собрали доклады по разным темам, начиная от описания работы GPU. Например, Эдгар Сипки из MWS Cloud Platform в своём выступлении «Почему мы задыхаемся от GPU, но NPU всё ещё не изменили мир?» ^[2] разберёт эволюцию ^[3] вычислительных архитектур для ИИ — от универсальных CPU к массово-параллельным GPU и специализированным NPU/TPU/ASIC. Эксперт подробно объяснит, почему именно так сложился ландшафт. 

В ходе доклада он покажет архитектурные причины, по которым CPU и «обычная RAM» упираются в пропускную способность и локальность данных, а GPU выигрывают за счет параллелизма и быстрой HBM/VRAM. Также в ходе общения (у участников конференции обязательно будет возможность задавать вопросы по ходу) обсудим, почему десятки попыток «сбежать с GPU» на профильные кристаллы упираются в экосистему, стоимость, доступность и зрелость софта — и что должно измениться, чтобы альтернатива стала реальной.

Его коллега из Сбера Владимир Горбацевич расскажет о современных ускорителях ИИ ^[4]и прольёт свет на текущее состояние и основные тенденции их развития. В его докладе рассматриваются основные архитектуры ускорителей, компании-производители и их особенности.

Помимо всего прочего, AI оказывает существенное влияние на пользовательских опыт ^[5] владельцев мобильных устройств. Например, AI-агенты помогают распознавать речь, искать информацию, служат голосовым интерфейсом для управления функциями. Разработчики также увеличивают свою эффективность через генерацию кода и документации. Но что дальше? О том, что будет, если AI будет в центре ОС, а не наложенным агентом и какого вида будет AI-centered мобильная ОС следующего поколения расскажет Роман Аляутдин из Открытой мобильной платформы в своём докладе «AI для архитектуры мобильных ОС» ^[6].

А мы далее поговорим о том, как GPU собрать в кластера — как работает сеть. Стремительное развитие HPC, AI/ML-вычислений выдвигает новые требования к дизайну сети ЦОД и используемым там технологиям. Борис Хасанов из MWS Cloud Platform в докладе «Ultra Ethernet (UE) — сеть для AI/ML?» ^[7] представит обзор используемых в наше время сетевых технологий для HPC, а также описание новой, созданной как раз под такие задачи технологии Ultra Ethernet (UE), включая используемые в её спецификации уровни и их функционал.

Тем не менее, теории мало — нужна практика. В прикладной части члены ПК конференции выделили использование AI в системном программировании. Большие языковые модели (LLM) захватили мир, но их эффективное внедрение в продакшен упирается в «стеклянный потолок» экосистемы Python. Проблемы с GIL, управлением памятью ^[8] и сложностью развертывания заставляют искать новые, более системные подходы.

Андрей Носов из Raft с докладом «Будущее системного ПО в эпоху AI: компиляторы, рантаймы и наш путь к OxideRT на Rust» ^[9] назвал Rust самым главным кандидатом для будущего высокопроизводительной AI-инфраструктуры. В своём докладе он не просто расскажет о теории, но и покажет практический путь проектирования OxideRT — концептуального, легковесного рантайма для моделей на Rust. Докладчик продемонстрирует, как с помощью этого инструмента можно получить полный контроль над исполнением, безопасно работать с GPU через FFI и заложить архитектуру для будущих компиляторных оптимизаций. Этот доклад для тех, кто хочет заглянуть под капот современных AI-фреймворков и понять, как системное программирование решает их ключевые проблемы.

Наконец, у участников конференции будет возможность заглянуть под капот и увидеть, как железо и софт работают вместе от кода DeepLearning разработчика до железа через все слои.

Современные модели машинного обучения ^[10] развиваются по пути увеличения архитектурной сложности. Это повышает интерес ^[11] к разработке специализированных аппаратных ускорителей (AI-ускорителей) для их эффективного выполнения. Использование всех доступных возможностей AI-ускорителей невозможно без наличия развитого программного инструментария существенной частью которого является AI-компилятор.

Иван Кулагин из ИСП РАН в докладе «AI-компилятор для современного аппаратного обеспечения: использование инфраструктуры Executorch для периферийных устройств на базе архитектуры RISC-V» ^[12]представит анализ современных AI-ускорителей, основные архитектурные особенности и принципы их проектирования. Особое внимание ^[13] в его выступлении будет уделено практическим аспектам создания инструментария для компиляции и выполнения нейронных сетей на периферийных устройствах. 

Для наглядности в докладе будут рассмотрены основные этапы компиляции и выполнения PyTorch-модели средствами инфраструктуры Executorch для процессора на базе архитектуры RISC-V, обладающего векторным и матричным расширениями. Заключительная часть доклада будет посвящена перспективам развития AI-компиляторов, включая полиэдральные компиляторы и инфраструктуру MLIR.

Приходите 3 декабря на сплав системного ПО, железа и AI на OS DevConf 25 ^[1]— вас ждёт ещё много интересного! В конференции можно принять участие как в офлайн-формате в Москве, так и онлайн через нашу платформу.