Alibaba придумала, как сократить потребность в GPU на 82%
Компания Alibaba Cloud представила систему Aegaeon, которая может радикально снизить количество необходимых видеокарт Nvidia для обслуживания AI-моделей. Почти в пять раз. Новый подход решает одну из главных проблем облачных сервисов. Неэффективное распределение вычислительных мощностей между тысячами моделей, которые загружаются неравномерно.
Обычно в таких системах лишь несколько моделей. Например, Qwen или DeepSeek постоянно загружены, тогда как сотни других простаивают, занимая дорогостоящие GPU. Aegaeon же перераспределяет ресурсы динамически. Ускорители переключаются между моделями в реальном времени, прямо в процессе генерации ответов.
Один GPU теперь способен обслуживать до семи моделей одновременно, вместо двух или трёх, как раньше. А задержки при переключении между задачами сократились на 97%.
Система уже внедрена на маркетплейсе Bailian от Alibaba Cloud, где размещены сотни AI-моделей от сторонних разработчиков. Эксперты считают, что Aegaeon может стать важным шагом в сторону более устойчивого и дешёвого AI — особенно в эпоху дефицита мощных GPU.
Делегируйте часть рутинных задач вместе с BotHub! [1] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [2] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник [3]
Автор: cognitronn
Источник [4]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/20966
URLs in this post:
[1] BotHub!: https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=ALIBABA%20HAS%20FOUND%20A%20WAY%20TO%20REDUCE%20GPU%20REQUIREMENTS%20BY%2082%
[2] По ссылке: https://bothub.chat/?invitedBy=m_aGCkuyTgqllHCK0dUc7
[3] Источник: https://www.scmp.com/business/article/3329450/alibaba-cloud-claims-slash-nvidia-gpu-use-82-new-pooling-system
[4] Источник: https://habr.com/ru/companies/bothub/news/958824/?utm_source=habrahabr&utm_medium=rss&utm_campaign=958824
Нажмите здесь для печати.