Своя нейросеть дома, доступная из любой точки мира

Надоели лимиты токенов, дорожающие подписки и ощущение, что каждый запрос логируется. Дома стоит нормальная машина — почему бы модели не крутиться на ней? Рассказываю коротко, как собрать личный LLM-сервер.

Железо

• CPU 8 ядер, 32 ГБ RAM — модель живёт в памяти ^[1] целиком.

• GPU на 12 ГБ желателен: с ним 7–8B модели летают. Без него работают на CPU, просто медленнее.

1. Ставим Ollama

«Docker для LLM»: одна команда — рантайм, вторая — модель.

bash

curl -fsSL https://ollama.com/install.sh | sh   # Linux
ollama pull llama3.1:8b
ollama run llama3.1:8b

2. Открываем API в сети

Ollama держит REST на 127.0.0.1:11434. Чтобы слушал всю домашнюю сеть, правим unit:

bash

sudo systemctl edit ollama

Добавляем:

ini

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

И перезапускаем:

bash

sudo systemctl restart ollama

3. Доступ снаружи через туннель

Пробрасывать порт на роутере — боль ^[2] и дыра. Проще туннель: сервер сам стучится наружу и получает постоянный адрес. Я подключил nozi.io ^[3] — один адрес и из дома, и с телефона, независимо от NAT и серого IP.

⚠️ Раз API теперь в интернете — закройте его. Минимум: заголовок с токеном и его проверка на входе. Эндпоинт без авторизации сканеры найдут за часы и начнут греть вашу видеокарту.

4. Чтобы жило само

Комп перезагружается, интернет моргает — туннель падает. Оборачиваем в systemd, чтобы поднимался сам.

Юнит /etc/systemd/system/nozi-tunnel.service:

ini

[Unit]
Description=Keep Ollama tunnel alive
After=network-online.target ollama.service
Wants=network-online.target

[Service]
ExecStart=/home/user/keep-tunnel.sh
Restart=always
RestartSec=5
User=user

[Install]
WantedBy=multi-user.target

Скрипт keep-tunnel.sh ^[4] просто перезапускает туннель в цикле:

bash

#!/usr/bin/env bash
set -u
while true; do
    nozi tunnel --port 11434   # команду подставьте под клиент сервиса
    echo "туннель упал, перезапуск через 5с"
    sleep 5
done

Включаем:

bash

sudo systemctl daemon-reload
sudo systemctl enable --now nozi-tunnel.service

Итог

Персональная нейросеть на своём железе: данные остаются дома, без подписок и лимитов (плачу за электричество), один адрес отовсюду, полный контроль над моделями. Топовые облачные гиганты она не заменит, но для 90% задач — код, тексты, документы, быстрые вопросы — хватает с головой.

Начните с Ollama и маленькой модели, туннель через nozi.io ^[3] прикрутите последним шагом. И не забудьте про авторизацию. Серьёзно.

Ссылки

• Ollama — https://ollama.com ^[5]

• Каталог моделей — https://ollama.com/library ^[6]

• Обратный туннель (nozi) — https://nozi.io ^[7]