FLUX.2-dev GGUF Q4_K_M на Apple Silicon: куда уходят 29 гигабайт?
Как я пытался понять на что именно тратится VRAM при генерации изображений.В процессе моих изысканий о том как-же создавть изображения локально, я столкнулся с неочевидной, для себя, проблемой в виде колоссального потребления VRAM, которое не сходилось с тем что написано в карточках моделей и в интернете. Разбираемся на примере современной FLUX.2-dev. Чтобы теоретически влезать в доступную мне VRAM на моем оборудовании я выбрал вариант GGUF Q4_K_M. И вот тут началось все самое интересное.Модель: unsloth/FLUX.2-dev-GGUF-Q4_K_M — FLUX.2-dev (DiT-архитектура) с квантизацией Q4_K_M (4-бит, K-means block scaling). Начнем с того, что для
Stable Diffusion 3.5 medium на Apple M1 16Gb
В этой статье, про ИИ, написанной не полностью ИИ, про генерацию изображений - не будет изображений. В конце этой статьи мы будем запускать эту модель на указанном чипе, но начнем мы с чуть более мощного - он понадобиться чтобы разобраться с проблемой.Первая проблема с которой я столкнулся - это потребление памяти. Поиски в интернете, описание самой модели говорили о том что она должна помещаться в ~10GB VRAM. Чего должно с запасом хватать для Apple M1 16GB. Однако фактическое зафиксированное потребление памяти составило 21 GB, не зафиксированное 28 GB (после чего я и начал исследование).
The information: OpenAI купила медицинский стартап Torch из четырёх человек за $100 млн акциями
OpenAI и Torch заявили об объединении. Неназванный источник сообщил
