Локальный запуск GLM-5.1

Перевод подготовил автор канала Друг Опенсурса, приятного прочтения, заранее благодарю за подписку

GLM-5.1 — это новая открытая модель от Z.ai. Она имеет 744 млрд параметров (40 млрд активных) и контекстное окно 200K. По сравнению с GLM-5 в ней улучшены написание кода, работа с инструментами и логические задачи.

Для хранения полной модели нужно 1,65 ТБ. Квантованные версии GGUF от Unsloth занимают меньше места: 2-битная версия требует 220 ГБ, 1-битная 200 ГБ.

Но не используйте CUDA 13.2 для GGUF, это портит качество ответов.

Требования к оборудованию

Версия UD-IQ2_M подходит для Mac с 256 ГБ оперативной памяти. Также она работает на ПК с одной видеокартой на 24 ГБ и 256 ГБ оперативной памяти через MoE offloading. Для 1-битной версии нужно 220 ГБ памяти, для 8-битной 805 ГБ.

В GLM-5.1 по умолчанию включен режим рассуждения. Для его отключения используйте

--chat-template-kwargs '{"enable_thinking":false}'

Использование Unsloth Studio

Установка для MacOS, Linux, WSL

curl -fsSL https://unsloth.ai/install.sh | sh

Установка для Windows PowerShell

irm https://unsloth.ai/install.ps1 | iex

Запуск

unsloth studio -H 0.0.0.0 -p 8888

После запуска откройте  http://localhost:8888 В поиске найдите GLM-5.1. Рекомендуется выбирать версию UD-Q2_K_XL. Если VRAM не хватит, система задействует оперативную память.

Использование llama.cpp

Соберите llama.cpp из репозитория GitHub. Для систем без GPU или на Mac с Metal используйте -DGGML_CUDA=OFF.

Для сборки

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build 
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Запуск обычной версии

export LLAMA_CACHE="unsloth/GLM-5.1-GGUF"
./llama.cpp/llama-cli 
    -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M 
    --ctx-size 16384 
    --temp 0.7 
    --top-p 1.0

Запуск для вызова инструментов

export LLAMA_CACHE="unsloth/GLM-5.1-GGUF"
./llama.cpp/llama-cli 
    -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M 
    --ctx-size 16384 
    --temp 1.0 
    --top-p 0.95

Работа через API

Для запуска сервера

./llama.cpp/llama-server 
    --model unsloth/GLM-5.1-GGUF/UD-IQ2_M/GLM-5.1-UD-IQ2_M-00001-of-00006.gguf 
    --alias "unsloth/GLM-5.1" 
    --prio 3 
    --temp 1.0 
    --top-p 0.95 
    --ctx-size 16384 
    --port 8001

Пример кода на Python для обращения к серверу

from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/GLM-5.1",
    messages = [{"role": "user", "content": "Create a Snake game."},],
)
print(completion.choices[0].message.content)

Вызов функций

GLM-5.1 поддерживает вызов инструментов. Для этого нужно определить функции в Python и передать их описание в модель.

def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)

def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        return "Dangerous command"
    return str(subprocess.run(command, capture_output = True, text = True, shell = True).stdout)

Модель может использовать эти функции для выполнения расчетов или команд в системе. При использовании llama-server автоматическая обработка вызовов настраивается через цикл, который проверяет наличие tool_calls в ответе модели и возвращает результат выполнения функции.