Краткий обзор 10 локальных UI для LLM

Если вы хотите поиграться с LLM у вас есть несколько вариантов: можно задействовать LLM через код, можно воспользоваться чатом одного из облачных провайдеров, а можно развернуть у себя UI-клиента для работы с LLM. Их довольно много. И функционал у них может сильно различаться. В самом простом виде есть только чат. У наиболее продвинутых есть встроенные базы знаний, работа с изображениями и много других функций.

Ниже краткий обзор 9 таких клиентов (отсортированы по предпочтению автора):

1. Open WebUI ^[1]

2. LM Studio ^[2]

3. Msty Studio ^[3]

4. Librechat ^[4]

5. Cherry Studio ^[5]

6. Chatbox ^[6]

7. AnythingLLM ^[7]

8. GPT4All ^[8]

9. Jan.ai ^[9]

10. Ollama ^[10]

1. Open WebUI

• Git: https://github.com/open-webui/open-webui ^[11]

• Документация: https://docs.openwebui.com ^[12]

• Клиент: веб (докер)

• Модели: поддерживает как локальные веса, так и подключение по API.

• Функции: работа со звуком (запись голоса, TTS), работа с изображениями, веб-поиск, работа с файлами, RAG, встроенная база знаний, function/tool calling, многопользовательский режим (аккаунты, роли).

• Лицензия: слегка модифицированный BSD-3 ^[13].

Один из самых популярных клиентов. Имеет современный и продуманный интерфейс. Довольно развитый функционал. Возможно лучший кандидат для развертывания в локальной сети предприятия.

2. LM Studio

• Скачать: https://lmstudio.ai ^[14]

• Документация: https://lmstudio.ai/docs/app ^[15]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: только скаченные на локальный на диск. Встроенный каталог моделей с Hugging Face (не нужно искать и скачивать вручную). Поддержка GPU.

• Функции: RAG, База знаний, можно поднять OpenAI-совместимый локальный сервер, работа с файлами, поддержка мультимодальных моделей, настройка параметров генерации.

• Лицензия: проприетарная, но LM Studio бесплатен ^[16] как для личного, так и для коммерческого использования.

LM Studio все всем замечательная. Но есть один жирный недостаток – LM Studio не может работать по API (ни с облачными провайдерами, но со своими сервисами). Т.е. она предназначена только для локального использования на текущем компьютере и только с локально скаченными моделями. В остальном функционал очень богатый (особенно в части поддержки разных форматов и движков инференса).

3. Msty Studio

• Скачать: https://msty.ai ^[17]

• Документация: https://docs.msty.studio/getting-started ^[18]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные (Ollama) или через API (широкий набор провайдеров)

• Функции: инструменты, RAG, база знаний, работа с файлами и изображениями, веб-поиск, настройка параметров генерации.

• Лицензия: freemium. Базовый функционал бесплатен, но есть платные функции, для доступа к которым нужна лицензия. 

Msty имеет очень приятный и продуманный интерфейс. Функционал богатый, но есть платные функции.

4. Librechat

• Сайт: https://www.librechat.ai ^[19]

• Git: https://github.com/danny-avila/LibreChat ^[20]

• Документация: https://www.librechat.ai/docs ^[21]

• Клиент: веб (docker)

• Модели: только по API. Имеется ряд преднастроенных провайдеров.

• Функции: RAG, работа с файлами, база знаний, инструменты, агенты, веб-поиск, настройка параметров генерации, работа с кодом, мультимодальность (работа с изображения/аудио), память ^[22], запись аудио (TTS). Многопользовательский режим (аутентификация, роли).

• Лицензия: MIT ^[23]

Интерфейс хорошо проработан. Из недостатков: многие настройки делаются через через конфигурационные файлы. Также подходит для развертывания в сети компании (легко поднимается через докер), но с настройками придется повозиться.

5. Cherry Studio

• Сайт: https://www.cherry-ai.com/ ^[24]

• Git: https://github.com/CherryHQ/cherry-studio ^[25]

• Документация: https://docs.cherry-ai.com/ ^[26]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные (через Ollama) или по API. Куча поддерживаемых провайдеров.

• Функции: RAG, работа с файлами, база знаний, инструменты, веб-поиск, настройка параметров генерации, управление ризонингом, память, мультимодальность (работа с изображения/аудио).

• Лицензия: GNU ^[27]

Очень приятный и продуманный интерфейс. Очень богатый Функционал. Единственная каля дегтя – иногда проскакивают китайские иероглифы в интерфейса (не все перевели).

6. Chatbox

• Сайт: https://chatboxai.app ^[28]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные модели (через Ollama или LM Studio) + куча облачных провайдеров.

• Функции: работа с файлами, генерация изображений, инструменты, база знаний, веб-поиск, работа с кодом.

• Лицензия: GNU ^[29]

Интерфейс простой, а функционал довольно навороченный.

7. AnythingLLM

• Скачать: https://anythingllm.com/desktop ^[30]

• Документация: https://docs.anythingllm.com ^[31]

• Клиент: есть и десктоп (Win/Linux/macOS) и веб-клиент (docker)

• Модели: локальные и по API (имеется куча провайдеров)

• Функции: RAG, работа с документами, рабочие пространства, векторная БД, инструменты/агенты, поддержка мультимодальных моделей, TTS. 

• Лицензия: MIT ^[32]

(Имхо) немножко устаревший/карявенький интерфейс. В остальном довольно богатый функционал.

8. GPT4All

• Сайт: https://www.nomic.ai/gpt4all ^[33]

• Документация: https://docs.gpt4all.io/ ^[34]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные + готовый список облачных провайдеров + можно подключить OpenAI API совместимые. Загрузка моделей с HuggingFace.

• Функции: RAG, база знаний.

• Лицензия: MIT ^[35]

Немножко не современный интерфейс. Функционал базовый. А в остальном неплохое приложение.

9. Jan.ai

• Сайт: https://www.jan.ai ^[36]

• Документация: https://www.jan.ai/docs/desktop ^[37]

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные модели (через lama.cpp), готовый список облачных провайдеров + можно подключить OpenAI совместимые API. Загрузка моделей через хаб.

• Функции: вызов инструментов, настройка параметров генерации. Можно поднять свой локальный сервер.

• Лицензия: AGPL-3.0 ^[38]

Простой и легкий клиент. Функционал скромный, но для несложных экспериментов вполне достаточный. Интерфейс хороший, но без изысков.

10. Ollama

• Сай: https://ollama.com ^[39]

• Документация: https://docs.ollama.com ^[40]

• Клиент: десктоп (Win/Linux/macOS).

• Модели: локальные. Загрузка с собственного хаба.

• Функции: только чат.

• Лицензия: MIT ^[32]

Интерфейс простой как две копейки, но симпатишный :) Из функционала – только чат и возможность скачивать модели из собственного репозитория.

Вместо вывода. Если нужен веб, то сначала смотрим на Open WebUI, потом Librechat (там чуть сложнее настройки). Если нужно десктоп приложение, то фаворита два: LM Studio и Msty Studio. LM Studio смотрится помощнее, но не может никуда подключаться по API. А если не смущают мелкие огрехи в интерфейсе, то обязательно попробуйте Cherry Studio.

Помимо рассмотренных есть и другие решения. Например: private-gpt, KoboldCpp, SillyTavern, Text Generation WebUI (oobabooga). Они менее известны. Они отсутствуют в этой подборке либо потому что мне не удалось из запустить (без танцев с бубном), либо они имеют совсем устаревший интерфейс (судя по скринам).

Мои курсы: Разработка LLM с нуля ^[41] | Алгоритмы Машинного обучения с нуля ^[42]