gpu.
Почему видеокарты до сих пор не получили модульную память?
Представьте, что вы купили видеокарту с 8 ГБ VRAM, а через год игры или иференсы модели стали требовать 32 ГБ. Не проще ли было бы докупить модуль памяти, как с оперативкой? Увы, это невозможно. Почему же производители десятилетиями игнорируют модульность видеопамяти? Давайте разбираться.
Прогноз: железные новинки, которые выйдут до конца 2025 года
Привет, Хабр! Меня зовут Сергей Ковалёв, я менеджер выделенных серверов в Selectel. Вот уже несколько лет я ежемесячно пишу дайджесты про серверное железо и другие комплектующие, которые мы используем в своих дата-центрах. В начале года я подумал о том, что необходимо систематизировать ожидания от производителей компонентов и сделать прогноз, как будут развиваться технологии в 2025 году. Что из этого получилось — рассказываю под катом.
LLM в науке, тюнинг и регулирование систем ИИ
Продолжим рассказ о том, для чего можно использовать виртуальную инфраструктуру с GPU. Сегодня поговорим о том, какие ИИ пишут научные статьи, кто оптимизирует LLM с помощью других LLM, а также затронем регулирование систем ИИ. Мечта студента
Насколько RTX 5090 лучше RTX 4090: реальные сравнительные тесты
Ее ждали достаточно долго, чтобы требовать от нее многоеВот мы и дождались выхода GeForce RTX 5090. Компания Nvidia наконец-то представила
ОЦЕНКА ПОТРЕБНОСТЕЙ В GPU ДЛЯ AGI МАСШТАБА МОЗГА
Определение того, на сколько GPU может приблизиться к вычислительной мощности человеческого мозга, связано с серьёзными техническими, теоретическими и архитектурными сложностями. Современные системы на базе GPU фундаментально отличаются от биологических нейронных сетей, поэтому любые разговоры о «GPU-эквивалентах» стоит воспринимать как приблизительные. Ниже приводится анализ и синтез ключевых идей и имеющихся неопределённостей. 1. ВЫЧИСЛИТЕЛЬНЫЕ ПОТРЕБНОСТИ ЧЕЛОВЕЧЕСКОГО МОЗГА
LLM в телекоме, ЦОД и на периферии [исследования]
Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.
Специальная архитектура для дата-центров, которые обрабатывают AI-операции: в чем Rubin обходит Blackwell
Только недавно NVIDIA сообщила, что выпуск суперкомпьютера GB200 NVL72 на архитектуре Blackwell задерживается, а суперсервер GB300 выпустят в середине 2025 года. Получается, эти устройства выйдут практически в одно и то же время с архитектурой Rubin, хотя последняя позиционируется как некстген. В статье рассмотрим эти технологии и попробуем разобраться, куда компания так спешит с релизом новой платформы.Почему NVIDIA торопится с разработкой RubinАрхитектуру Rubin презентовали в 2024 году на конференции Computex вместе с версией Blackwell — о ней мы в декабре писали в блоге
NVIDIA выпустят архитектуру Rubin на полгода раньше, чем планировалось. А как же Blackwell?
Только недавно NVIDIA сообщила, что выпуск суперкомпьютера GB200 NVL72 на архитектуре Blackwell задерживается, а суперсервер GB300 выпустят в середине 2025 года. Получается, эти устройства выйдут практически в одно и то же время с архитектурой Rubin, хотя последняя позиционируется как некстген. В статье рассмотрим эти технологии и попробуем разобраться, куда компания так спешит с релизом новой платформы.Почему NVIDIA торопится с разработкой RubinАрхитектуру Rubin презентовали в 2024 году на конференции Computex вместе с версией Blackwell — о ней мы в декабре писали в блоге
Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара
Когда дело доходит до инференса ML-моделей, на ум приходит стандартный вариант — задеплоить Helm chart с Triton в Kubernetes. А что если добавить магии, как в «Аватаре»? Привет! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В статье я продолжу рассказывать о нашем новом продукте — Inference-платформе (для которой все еще доступен бесплатный двухнедельный тест). На этот раз рассмотрим пять новых фичей, которые и отличают ее от стандартного варианта. Прошу под кат — там тест работающих моделей без даунтайма, генерация котят голосом и много другой магии.
