VRAM.
Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве
Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно и, вполне вероятно, столкнулись с одной из типичных проблем:«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».«Платим за A100, а реально используем лишь 30% ее мощности».Привет, на связи Павел, ML-инженер в Cloud.ru. Я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.
Кому нужны игровые видеокарты NVIDIA с 48 ГБ VRAM и почему их до сих пор нет
Геймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые потребительские видеокарты с 24 ГБ или 32Gb VRAM не всегда справляются с тяжелыми задачами. Например, для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.
Новая версия DLSS от Nvidia обеспечивает снижение потребления VRAM на 20%
Nvidia оптимизировала
Почему видеокарты до сих пор не получили модульную память?
Представьте, что вы купили видеокарту с 8 ГБ VRAM, а через год игры или иференсы модели стали требовать 32 ГБ. Не проще ли было бы докупить модуль памяти, как с оперативкой? Увы, это невозможно. Почему же производители десятилетиями игнорируют модульность видеопамяти? Давайте разбираться.
