Какие возможности даст PCIe 8.0. Он быстрее, чем внутренняя память RTX 5090
PCIe 8.0 - это будет действительно быстро
Как приручить LLM: подбор инфраструктуры для инференса. Часть 1
Привет, Хабр! Меня зовут Антон, и сейчас я активно занимаюсь вопросами инфраструктуры для ML и AI
SK hynix запустила поставки мобильной DRAM с улучшенным теплоотводом
Южнокорейская компания SK hynix Inc. объявила о начале поставок новых мобильных чипов памяти DRAM с повышенной эффективностью теплоотвода. Ключевым нововведением стало применение инновационного материала High-K Epoxy Molding Compound (EMC) с высокой теплопроводностью, который впервые используется в данной отрасли.
Работа над ошибками
Достаточно большой период времени занимался технической поддержкой СУБД Oracle. Накопилось некоторое количество историй и заметок на полях по этому поводу, не могу не поделиться ими с вами. В общем – садимся по удобнее, берем попкорн, чашку горячего чая или кофе.. Дело было так.
Полмиллиона GPU за 4 месяца: как Маск строит самый мощный кластер в мире
В 2024 году компания xAI, основанная Илоном Маском, запустила суперкомпьютерный кластер Colossus в Мемфисе. Его построили всего за 122 дня, что не много для такой мощной системы. С тех пор Colossus несколько раз наращивали, и теперь его ждет следующий, еще более масштабный апгрейд. Сегодня поговорим о том, как устроен Colossus, что за технологии в нем используются и какие задачи он должен решать. Поехали!
Где живут LLM: разбираем инференс-кластер YADRO и гоняем в нем модели
Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер YADRO: зачем он нужен, что у него под капотом и как в такой конфигурации показывают себя популярные модели. Кроме того, я немного порассуждаю об альтернативных реализациях кластера и поделюсь планами по развитию реализации нашей.
300 сенсоров, AWS и ИИ: почему в «Формуле-1» теперь больше обгонов
Если в эти выходные вы смотрели Austrian GP или трейлер нового фильма «F1» — знайте: за кадром гонок разворачивается не менее захватывающая технологическая гонка.Под капотом F1: 300 сенсоров и 1,1 млн данных в секунду
GPU Server and AI Infrastructure: тренды архитектуры 2030
Мы в OpenYard внимательно следим за тем, как развивается инфраструктура для искусственного интеллекта — от железа до сетей и архитектуры дата-центров. Причём это не просто рабочая необходимость, а и то, что нам самим по-настоящему интересно. В эту статью попали материалы, которые мы собираем и анализируем в процессе исследований для наших новых продуктов. Здесь собраны ключевые тренды, которые уже начинают влиять на то, как мы будем строить свою инфраструктуру и запускать модели ИИ в ближайшие 5–7 лет.
