Как добавить свою LLM в aish

Привет, меня зовут Наташа, я менеджер проектов в Selectel. Недавно я рассказывала, как и зачем мы создавали aish ^[1] — ИИ-агента в терминале серверной ОС. Предлагаю перейти к практике и подключить к нему стороннюю LLM. В этой статье покажу, как выбрать подходящую модель, правильно ее настроить и избежать типичных ошибок при интеграции.

aish — это терминальный ИИ-агент операционной системы SELECTOS ^[2]. С версии 0.3 в нем стало доступно добавление моделей: локально развернутых или от сторонних провайдеров. Давайте посмотрим, как по шагам подключить модель к агенту — и для примера возьмем GLM-5.2 из ИИ-роутера Selectel. ^[3]

ИИ-роутер — это сервис единого доступа к генеративным языковым моделям. Он позволяет использовать модели разных поставщиков без отдельных интеграций, договоров с вендорами и валютных платежей. Получить доступ к моделям можно за несколько минут по инструкции ^[4].

Совместимые модели

С aish можно использовать модели, которые поддерживают OpenAI Chat Completions API и Tool Calling. Например, в ИИ-роутере можно увидеть наличие tool и chat сразу в списке моделей.

Добавляем модель через интерфейс

Шаг 1

Вызовите меню Commands сочетанием клавиш Alt+C или клавишей F9. В Terminal на MacOS используйте клавишу Option вместо Alt.

В меню Commands по умолчанию выбран пункт Select model — нажмите Enter.

Шаг 2

В окне Models с помощью клавиш ↑↓ или Tab переместите фокус на кнопку + Add в правом нижнем углу окна и нажмите Enter.

Шаг 3

Укажите провайдера в окне Select provider. В нашем примере мы рассмотрим, как подключить модель GLM-5.2 из ИИ-роутера Selectel ^[3].

Провайдер LLM — это компания или сервис, который предоставляет инфраструктуру для работы с искусственным интеллектом ^[5] и открывает к нему доступ через программный интерфейс (API) или веб-интерфейс. Для подключения к моделям провайдера нужен API-ключ и URL провайдера. Как правило, провайдер его предоставляет при оформлении подписки. Если вы подключаете корпоративную модель, эти данные предоставляет администратор сервиса.

Если вы добавляете модель впервые, список провайдеров будет пуст. В окне Select provider окажется выбран пункт New provider — нажмите Enter.

Если вы уже свои добавляли модели ранее и хотите добавить еще одну модель в заведенного ранее провайдера, выберите его с помощью клавиш ↑↓ или Tab и нажмите Enter.

Если хотите добавить еще одного провайдера, выберите пункт New provider и нажмите Enter.

Шаг 4

После выбора провайдера заполните форму Connect Models. Вы можете вставить данные из буфера обмена. Перемещайтесь по полям с помощью клавиш ↑↓ или Tab.

Если вы создаете нового провайдера, обязательно заполните все поля формы — ниже разберем, как это сделать. А если вы добавляете еще одну модель в рамках подключенного провайдера, впишите только ее идентификатор, нажмите Enter и Save. Поле ввода модели будет сразу в фокусе.

Как заполнять поля

• Provider name — имя провайдера. Записывается в свободном формате, как вам удобно. Рекомендуем выбирать краткие имена, в нашем примере это AI-router.

• Provider URL — сетевой адрес, который указывает на API провайдера. Значение имеет формат ссылки: https://ai.provider.example.ru. В ИИ-роутере ^[3] эта ссылка находится внутри карточки роутера в разделе Обзор → Base URL.

• API key — приватный ключ доступа к сервису провайдера формата UUID с возможными префиксами в зависимости от провайдера. В ИИ-роутере API-ключ выводится один раз при создании роутера — скопируйте его сразу. Если не успели или забыли это сделать, добавьте новый ключ во вкладке Ключи и Лимиты.

• Models (ID) — идентификаторы модели формата qwen3.6-27b, glm-5.2 и т.п. Рекомендуем копировать точный идентификатор из панели провайдера.

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер → ^[6]

Важно: после ввода идентификатора модели обязательно нажмите Enter. Строка модели должна появиться под полем ввода. Вы можете добавить сразу несколько доступных вам моделей.

Если вы решите удалить модель внутри провайдера, возьмите ее в фокус и нажмите клавишу Delete (или Option+Backspace на MacOS).

Когда закончите заполнять форму, сохраните изменения. Для этого переместите фокус на кнопку Save с помощью клавиш ↑↓ или Tab.

Обратите внимание ^[7]: для сохранения изменений важно, чтобы все поля на форме были заполнены и указана хотя бы одна модель. При ошибке ^[8] сохранения верните фокус в поле и заполните его. В случае с моделью — нажмите Enter, чтобы она добавилась в список под полем ввода.

Шаг 5

После сохранения вы вернетесь к списку моделей. Выберите модель в списке с помощью клавиш ↑↓ или Tab и нажмите Enter.

Должен появиться круглый маркер слева от модели:

В чате пока что мы не отображаем, какая именно модель отвечает, но в случае успешного подключения чат продолжит работать с предыдущим контекстом.

А если что-то пойдет не так — несовместима модель, провайдер или ошибки в конфиге, — в чате на любой запрос появится сообщение об ошибке:

Добавляем модель через конфигурационный файл

Вы можете добавить модель или провайдера и через конфигурационный файл описанным ниже способом.

Примечание: мы рекомендуем добавлять провайдеров и модели, а также редактировать данные через TUI. Но удаление провайдера через TUI пока что не предусмотрено — оно доступно только через редактирование конфигурационного файла.

Пример команды для редактора nano:

nano /root/.local/share/aish/llm_registry.json

Пример конфигурационного файла:

{
  "map": {
    "AI-provider": {
      "api_key": "exampleAPIkey1",
      "endpoint": "https://provider.example.ru",
      "models": [
        "qwen3-6-27b"
      ]
    }
    "AI-router": {
      "api_key": "exampleAPIkey2",
      "endpoint": "https://ai.provider.example.ru",
      "models": [
        "z-ai/glm-5.2"
      ]
    }
  },
  "selected": [
    "aish",
    "aish_model"
  ]

Заключение

Мы разобрали два способа добавления модели в aish: через интерфейс и конфигурационный файл. По такому же принципу вы можете добавить другие модели — из ИИ-роутера или локально развернутые. Важно, чтобы модели поддерживали OpenAI Chat Completions API и Tool Calling.

Попробуйте aish и поделитесь впечатлениями ^[9] от работы в нашем коммьюнити ^[10].