С чего всё началось (можете пропустить, тут немного жизы)
С приходом LLM у меня возникло желание использовать их с пользой для компании. Куча маркетинговых видеона ютубе — как ИИ заменил сотрудников, стал всё знать и прочий шум, который только набирает обороты, — меня очень вдохновили. И я, вооружившись LM Studio, закинув всю документацию в контекст и задав вопрос, быстро приземлился на землю.
TTFT (время до генерации первого токена) на домашней видеокарте 4070 Super, входном контексте в 120к токенов и 8B‑модели — 4 минуты. TPS (скорость генерации) — 3,5 т/с. Качество ужасное: нюансов доменной области компании ИИ не понимает. Итог: не годится.
Далее я узнал про такой подход, как RAG. Подумал: серебряная пуля. Стал изучать эту тему — и оказалось, что там настолько обширный цветник из подходов к чанкингу, парсингу, ретриву, да и в целом паттернов RAG (native, graph, CAG), куча метрик (recall, precision и ещё сотня наберётся), что я вот до сих пор, уже год с лишним, изучаю это. И могу точно сказать, что ни одна готовая система или фреймворк не закроет на 100% конкретно Ваш случай. И честно, ПростоГраф тоже. Но об этом далее.
Что такое LightRAG?
LightRAG — это open‑source RAG‑фреймворк от команды HKUDS, который отвечает на вопросы по твоим документам. Его особенность в том, что он совмещает обычный векторный поиск с графом знаний: при индексации вытаскивает из текста сущности и связи между ними. За счёт этого он лучше отвечает на вопросы, где важны отношения между объектами, а не просто похожие куски текста, где можно упустить важные тонкости.
Официальный репозиторий LightRAG
Почему LightRAG?
Причин много, основные:
-
Open‑source
-
Достаточно эффективный поисковый движок под капотом
-
Готовый парсер (включая мощный Docling) и чанкер
-
Простота в управлении системой в целом
-
Готовый WebUI
Я перепробовал много разных RAG‑фреймворков и систем, RAGFlow, Flowise, AutoRAG. Пробовал десктоп‑варианты — Jan, AnythingLLM, GPT4ALL и прочие. Строил с нуля свои пайплайны, но возвращался к LightRAG.
В целом у LightRAG хорошее, крепкое ядро, и дабы не раздувать статью пересказами уже существующей информации, более подробно Вы можете почитать в их официальном репо и статьях:
Как мы улучшали качество поиска с помощью графа знаний и что из этого вышло
Графы знаний в юридическом домене: эксперимент с LightRAG
Там логика и архитектура LightRAG разобрана до косточек.
ПростоГраф, что это? И зачем он вообще поя™вился?
Как я уже сказал это форк, глубокий форк, но не самого поискового движка, его я не трогал.
Работает? НЕ ТРОГАЙ!
Я оснастил его мощной обвязкой, чтобы сотрудники из разных отделов компании могли использовать его как рабочий инструмент, а не MVP. Позволяя очень тонко управлять контекстом, промптами, ролями и отделами. Что позволяет загрузить один раз документацию, немного донастроив всё через удобный WebUI, дать учетку Вашему бухгалтеру или инженеру технической поддержки и тем самым здорово упростив им жизнь. У них будет лишь простая веб страничка перед глазами, к который уже все так привыкли в обычном формате общения с LLM.
Что есть в ПростоГраф, чего нет в LightRAG?
-
Управление отделами, пользователями и их учетными данными.
-
Выбор — какие документы физически доступны разным отделам. Не нужная для отдела продаж спецификация API даже не дойдет до ретрива, не потратит токены.
-
Кастомизация системных промптов для каждого отдела. Стиль ответов для отдела продаж и отдела тестирования — разный.
-
Возможность выборочно некоторые документы целиком подавать в контекст для генерации. Важно для процедурных инструкций, где нужно строго выполнить инструкцию по пунктам, а не верить в чанки.
-
Возможность каждому документу добавить свою метаинформацию. Не меняет документ, но позволяет до настроить поведение LLM при ответе.
-
Сбор обратной связи от пользователей под каждым ответом.
-
Просмотр всех чатов и оценок на странице администратора, фактически в бою собираем реальный eval сет.
-
Передача в LLM истории сообщений, фиксированное кол‑во последних пар вопрос‑ответ, чтобы LLM видела историю и не ломалась на Multi‑Turn кейсах.
-
Сохранение истории чатов у пользователя (а‑ля боковое меню).
-
Просмотр исходных документов сразу в чате.
-
Управление провайдерами LLM, эмбеддингов, реранкеров — сразу в WebUI.
-
Настройка чанкинга (размер/перекрытие) в WebUI.
-
Полностью русский интерфейс, грамотно переведены десятки крупных, подкапотных промптов ядра. Переведены почти все сообщения пайплайна. Да, в LightRAG был русский, но очень в ограниченном объеме. Система заточена под реальный РУ‑сегмент.
-
Безопасность тоже забыта не полностью, — персистентный JWT‑секрет, защита /login от перебора, предупреждение о дефолтном пароле, отзыв доступа в реальном времени (роль/отдел перечитываются из БД на каждый запрос), ACL учитывается даже в кэше ответов.
-
Ну и главное(шутка:)) — кастомизация страницы входа. Подсказка гуманитарию куда он попал и что делать.
В общем
Я использовал эту систему пару месяцев, ловил и исправлял баги, добавлял функционал и по сути это сейчас готовое решение из коробки. Я выложил проект на Гитхаб.
Берите, пользуйтесь, возможно, через ИИ вы допилите что‑то под себя, а возможно и этот функционал сразу покроет все Ваши потребности. Пишите замечания, баги, предложения, — если проект Вам понравится, доделаем его вместе:)
Как установить и запустить?
git clone https://github.com/Denis-ya-32/prostograf.git
cd prostograf
cp .env.example .env # ключи можно вписать сюда или позже в веб-интерфейсе
docker compose up -d --build # первая сборка ~2-4 мин (дольше при первой загрузке базовых образов)
На самом деле — раз уж я стараюсь подавать всё максимально просто — дайте нейронке ссылку на гит и промпт «Скачай и запусти ПростоГраф», и она справится. Возможно, придётся немного посисадминить: настроить реверс‑прокси наружу, чтобы пользоваться могли люди из разных уголков необъятной, но и с этим она спокойно справится. Статья не о сетевом администрировании.
Дальше
-
Заходим в WebUI, на страницу авторизации:
http://localhost:9621/webui/#/login -
Авторизуемся под admin/admin и нажимаем «Войти».
И всё:) Вы в админке!
Давайте теперь посмотрим, как подготовить систему к работе и заодно на весь тот функционал, что я описывал выше
-
Сразу идем в «Отделы и пользователи» и меняем пароль администратора.
-
Идем в «Настройки» > «Провайдеры LLM» и выбираем провайдера, модель и ключ для LLM и эмбеддингов.
3. Опционально можете включить реранкер (рекомендую), но и без него качество Вас может полностью устроить.
4. Размер чанка менять не нужно. Это значение по умолчанию из LightRAG. Если очень хочется, тестируйте. Нажимаем «Сохранить и применить». Сервер быстро (10–30с) перезагрузится.
5. Дальше там же, в настройках идем на вкладку «Тестирование» и кликаем «Проверить провайдеров». Если названия моделей, настройки и ключи правильные, — увидите 200 код.
Основные настройки все. Просто правда?
Дальше идем на вкладку документы и кликаем «Загрузить», ну там уж очень очевидно, не буду останавливаться, после выбора документов у Вас начнется автоматом извлечение сущностей для построения графа и параллельно векторное представление чанков.
Если в процессе будут ошибки, система покажет, повторное нажатие «Сканировать/Повторить», в крайнем случае удаление и повторная загрузка, решают все проблемы. Я пока иного не наблюдал, если что пофиксим, главное, сообщайте о таком:)
Когда документы будут загружены, можем зайти на вкладку «Граф знаний» и помедитировать на цветные кружочки с ребрами.
Ну и после медитации, идем в «Чат» и задаем вопрос, медитируем снова
А теперь к более полезной практике
Задача:
-
Создать два отдела, — бухгалтерия и техническая поддержка.
-
Прикрепить юзеров Иванова А.А и Петрова В.В к бухгалтерии.
-
Прикрепить юзера Герасимов Б.Б к отделу техпод.
-
Загрузить документы «Глоссарий системы», «Зарплатные ведомости», «Спецификация API» в систему.
-
Бухгалтерии дать доступ к «Глоссарий системы» и «Зарплатные ведомости». API им не нужен.
-
Техподу дать доступ к «Глоссарий системы» и «Спецификация API». К зарплатным ведомостям доступ не нужен.
Мы уже знаем как загружать документы. Остается создать отделы, юзеров и настроить доступ к докам.
-
Идем на вкладку «Отделы и пользователи» и в разделе «Отделы» создаем отдел «BUH» и «TECHPOD», кликаем создать.
2. В разделе «Пользователи» вводим логин «a.ivanova», пароль «12345», имя «Иванова А.А». Выбираем роль «Пользователь» и отдел BUH. Кликаем «Добавить». Увидим уведомление и нового юзера.
То же самое делаем с другими юзерами.
3. Далее идем ниже, к разделу «Доступ отдела к документам». Выбираем отдел и ставим галочки в чек‑боксах рядом с теми документами, которые должны попадать в ретривер для отдела и нажимаем «Сохранить». Тут же, можете указать промпт конкретному отделу, он имеет приоритет перед промптом по умолчанию из вкладки «Настройки» > «Промпты».
4.На вкладке «Документы» есть две важные функциональные возможности
-
Чек‑бокс «Целиком» — при включении документ попадает целиком в ретривер! Это очень важно, когда инструкция процедурная, где описан поэтапно какой-либо сложный процесс, где цена ошибки велика. Любые ограничения на размер и бюджет токенов в «Настройки» > «Параметры запроса», — игнорируются.
* Этот пункт сделан не просто так, это реальная боль во многих компаниях и это здорово выручает, не нужно свой RAG целиком строить на Child‑Parent паттерне, который достаточно дорогой. Включаем только на процедурку. -
META — Также важная надстройками поверх промптов. Позволяет корректировать поведение генератора на каких‑то узких/сложных документах. Не меняет текст документа, просто подается как { metainfo: «text» } при успешном ретриве документа/его фрагментов.
Все это Вы можете более подробно почитать в разделе «Документация». Я собрал там Wiki страничку с удобным поиском.
Теперь отправляем URL и доступы Герасимову Б.Б.
Лови!
URL: http://localhost:9621/webui/#/login
Login: b.gerasimov
Password: 12 345
Он заходит и задаёт вопрос, получает ответ и оценивает (на самом деле нужно заставлять оценивать, не все понимают насколько это важно). Видит магию
При желании может посмотреть исходник документа в правом меню и увидеть что данные реальные.
Вернемся в админку, посмотрим, жжёт ли Герасимов токены на выбор фильма
Точнее оценим ответ, посмотрим процесс мышления LLM, скорость ответа, использованные документы, расход токенов, оценку. Всё это можно увидеть на вкладке «История».
Все чаты, в том числе удаленные сохраняются в SQLite, потом на их основе можно собирать реальный eval‑сет, а не синтетику.
Послесловие
Я не AI инженер, скорее обычная шестеренка, у которой была боль, как все организовать для компании численностью чуть более ста человек и огромное желание и интерес к LLM и RAG в частности.
Я постарался максимально простым языком показать как использовать эту систему и сделал её простой для конечных пользователей, — рядовых сотрудников и администраторов.
Мне система нужна именно в таком виде, возможно кому‑то тоже будет полезна. Берите, модифицируйте под себя, благо сейчас это очень просто и быстро. Будет важно получать от вас обратную связь, Issue, личка Хабра. Если есть похожие инструменты, готовые, бесплатные, — делитесь. Я тоже в поисках хорошего:)
Дальнейшие планы
-
Добавить возможность перенаправлять ответы на других провайдеров LLM, эмбеддингов, реранкера в случае если текущий провайдер «лежит».
-
Вынести больше настроек из-под капота в WebUI. Да их там море.
-
Добавить возможность автоматизировано собирать и делать eval таблицу для тестов прям в WebUI. Отслеживать метрики после изменений.
Это глобальные задачи, по мере того как буду находить свободное время, проект собираюсь развивать.
Автор: Front-Den
