Qwen3-VL теперь работает в llama.cpp

Модель Qwen3-VL официально стала совместима с фреймворком llama.cpp, что позволяет запускать её прямо на локальных устройствах без необходимости подключения к облаку. Теперь пользователи могут использовать Qwen3-VL на CPU, CUDA, Metal, Vulkan и других аппаратных бэкендах, делая работу с мультимодальной моделью максимально гибкой и автономной.

Доступны GGUF-веса для всех версий — от компактной 2B до флагманской 235B. Это значит, что модель можно адаптировать под любые ресурсы.

Такой шаг открывает новые возможности для офлайн-использования AI. Qwen3-VL можно применять для анализа изображений, видео, текста и других типов данных без риска утечки информации и зависимости от внешних сервисов.

Подробнее ознакомиться с релизом можно на платформах:

Hugging Face ^[1]

ModelScope ^[2]

Pull Request на GitHub ^[3]

Хотите быть в курсе важных новостей из мира ИИ? Подписывайтесь на наш Telegram‑канал BotHub AI News ^[4].