Мой RAG спалил, что я сижу в ролках. llm.. llm. Natural Language Processing.. llm. Natural Language Processing. pgvector.. llm. Natural Language Processing. pgvector. PostgreSQL.. llm. Natural Language Processing. pgvector. PostgreSQL. python.. llm. Natural Language Processing. pgvector. PostgreSQL. python. rag.. llm. Natural Language Processing. pgvector. PostgreSQL. python. rag. гибридный_поиск.. llm. Natural Language Processing. pgvector. PostgreSQL. python. rag. гибридный_поиск. Поисковые технологии.. llm. Natural Language Processing. pgvector. PostgreSQL. python. rag. гибридный_поиск. Поисковые технологии. эвалы.

Атрибуция фактов в персональной памяти LLM: гибридный поиск на Postgres + pgvector, эвалы и вопрос «чей это факт»

Я загрузила в RAG свои переписки за несколько лет, чтобы мой ИИ‑агент знал меня и моих друзей. Он действительно узнал меня. А еще Клайда и Крейга из Южного Парка, Афелия из Лиги Легенд и человека, в которого я впервые влюбилась в интернете (это был ролевик за Кайто). А заодно он решил, что я айтишник, не жмот и зожник (конечно, все в мужском роде).

Это статья про то, как устроена персональная память для LLM‑ассистента, и почему самое сложное в ней это не векторы и не реранкинг, а вопрос «чей это вообще факт».

TL;DR

Два Telegram‑бота и Mini App разделяют общую память на Postgres + pgvector с гибридным поиском (FTS + Dense Retrieval + RRF + Haiku Reranking). Факты в нее извлекались LLM из экспорта моих чатов в TG и VK. Каждый факт хранит автора, цитату‑источник и дату. Экспорт также защищен от попадания чувствительных фактов в выборку для сохранения конфиденциальности и содержит только общие факты (предпочтения, общая информация). База личная: она живет на моем сервере, факты о друзьях вижу только я, и никуда они не публикуются. Тексты при обработке проходят через API моделей, поэтому о друзьях модель сразу просила доставать только общие факты, без здоровья, денег и личного.

Сломалась атрибуция по грамматическому роду, а сработала атрибуция по автору цитаты и грамматическому лицу. Но текстовые ролевые игры автоматика от реальной жизни в принципе не отличает, тут поможет только ручной разбор.

Вся чистка фактов о себе (которых оказалось около ~1600) стоила меньше двух центов в деньгах и больше часа реального времени. Дорогим оказалось не LLM, а мое внимание.

❓️️Что это за система❓️️

У меня СДВГ, поэтому внешняя память для меня не игрушка, а буквально протез. Поэтому я собрала себе ИИ‑агентов в виде двух Telegram‑ботов и Mini App:

Первый бот, Nexus, это мой личный ассистент. Задачи, финансы, бюджет, списки, фото чеков, голосовые и память: он менеджерит всю мою жизнь, включая лотки для котов и заметки о мерче Славы КПСС. Пишешь ему свободным текстом, он сам понимает, что с этим делать дальше и напоминает при необходимости. Такой вот мозговой центр всей моей инфраструктуры.

Второй бот, Arcana, это CRM моей эзотерической практики. Клиенты, расклады, ритуалы — в общем, все, о чем я стараюсь сильно не светить, но что составляет весомую часть моей жизни. Да, так бывает.

А Mini App — это веб‑интерфейс внутри Telegram. В нем все то же самое, но красивое и с анимациями, включая раздел «Память», карточки людей и разбор фактов.

Нексус и Аркана выглядят так:

Мой RAG спалил, что я сижу в ролках - 1

Стек: Python, aiogram 3, FastAPI, Postgres + pgvector, эмбеддинги Voyage, Claude Haiku для рутины и Claude Sonnet для сложного. Живет на одном VPS в Docker Compose + мой сабдомен heylark.dev. Деплой идет только после зеленых тестов в CI.

Память одна на все. Реализована как таблица фактов, разложенная по субъектам: я, люди, коты, все остальное. У каждого факта в памяти есть текст («не ест кинзу»), тип (любит/не любит, важное или другое) и категория (хобби, здоровье, работа и тому подобное). Если факт про кого‑то, к нему привязана ссылка на человека. Еще у факта хранится источник, то есть цитата, из которой достали факт, ее автор, платформа и дата, и статус разбора: на проверке, подтвержден или отклонен.

На каждого человека, включая меня, заведена отдельная карточка‑сущность с именем, алиасами, датой рождения и аккаунтами в TG и VK. Один человек может иметь несколько аккаунтов, два разных человека могут быть тезками.

❓️️Как бот ищет в памяти❓️️

RAG (Retrieval‑Augmented Generation) — это когда модель отвечает не из головы, а по фрагментам, которые поиск достал из базы.

Я внедряла RAG в свои проекты по двум причинам: СДВГ и потому что умею это делать. У меня целая инфраструктура из своих проектов (не все заканчивается на Нексус‑Аркане), я компульсивный автоматизатор собственной жизни и просто получаю фан от новых интересных кейсов в работе.

Честно говоря, первая версия у меня была стыдная: поиск по подстроке (ILIKE ‘%слово%’), сортировка по дате создания. Векторный поиск включался только если нашлось меньше трех фактов. На вопрос «что я не ем» она находила что угодно кроме списка того, что я не ем. Сейчас пайплайн устроен так.

Сначала идет разбор вопроса, без LLM, правилами. Определяем субъект (я, конкретный человек, несколько тезок или хз кто) и тип вопроса (что любит, не любит, что важно). Имена резолвятся с учетом падежей и алиасов: «что любит Сашенька» и «что подарить Саше» придут в одну карточку.

Потом бот выбирает маршрут. Если человек и тип известны, то идем прямым SQL. День рождения берем из карточки, а не из фактов, а все остальное идет в гибридный поиск.

В гибридном поиске два поиска идут параллельно. Полнотекстовый поиск (FTS) Postgres с русской морфологией находит точные слова, а векторный поиск pgvector (эмбеддинги Voyage) находит смысл. Пример: на вопрос «что я не ем» он достает список продуктов, даже если слова «ем» там нет.

Результаты двух поисков сливаются через RRF (Reciprocal Rank Fusion). RRF — это алгоритм слияния результатов из двух разных источников. Он пересчитывает позиции документов без необходимости приводить их скоры к одной шкале, поднимая наверх те фрагменты, которые высоко оценили оба метода. У меня каждый факт получает сумму 1 / (60 + место) из обоих списков, к одной шкале не приводим и ориентируемся только на порядок.

После слияния идет реранк: Claude Haiku смотрит на топ кандидатов и оставляет только те, что реально отвечают на вопрос.

И последний шаг — генерация с проверкой. Хайку пишет короткий ответ списком и возвращает JSON, где у каждой строки есть id фактов, на которые она опирается. Код проверяет, что эти айди существуют и действительно были в выдаче (grounding), а строка без опоры вылетает. Если сломалось все, то бот просто покажет список всех найденных фактов.

Под ответом стоит источник («по фактам из TG/VK, год») и кнопка «Все факты». Каждый запрос пишет трейс: маршрут, что нашел FTS, что нашли векторы, что оставил реранк и что ушло в ответ. Без трейса дебажить RAG — гадание на кофейной гуще, а я ведьма и знаю, о чем говорю.

Качество измеряется оффлайн‑эвалами: recall@5 (полнота топ-5) на наборе вопросов с известными правильными фактами + проверка граундинга. На синтетическом наборе из 9 вопросов recall@5 был 72% у поиска по подстроке, 86% после гибрида FTS + RRF и 100% после добавления разбора вопроса. Набор крошечный, так что это скорее проверка, что пайплайн не врет, чем победа над бенчмарком.

Схема целиком

Мой RAG спалил, что я сижу в ролках - 2

Если человек и тип вопроса известны, то поиск не нужен. Все остальное проходит через оба поиска, слияние и реранк.

❓️️Откуда взялись факты❓️️

Руками я бы заполняла эту память до пенсии. Зато у меня есть годы переписок в Telegram и ВКонтакте, в которых люди рассказывают, что любят, чего боятся и когда у них день рождения. И где я сама рассказываю про себя больше, чем стоило бы.

Пайплайн экспорта устроен так. Сначала чаты экспортируются из TG Desktop и VK API. Потом переписки нарезаются на окна и прогоняются через Haiku с задачей «вытащи факты о людях». На выходе JSON: текст факта, тип, дословная цитата‑источник и автор цитаты. Задача была сформулирована таким образом, чтобы на выходе остались только общие, не чувствительные, факты о других людях и вообще все факты обо мне. Спойлер: на этом я впоследствии и прогорела.

Дальше факт привязывается к человеку по аккаунту собеседника, имени и алиасам, и все падает в базу со статусом «На проверке». Потом идет базовый human‑in‑the‑loop: разбираем факты в миниаппе (принять, отклонить, перенести другому человеку, склеить дубли, сменить категорию)

Цитата‑источник и ее автор оказались самым ценным решением во всей системе. Без них факт — это пересказ LLM, с которым никак не поспоришь. С ними любую ошибку можно перепроверить и исправить правилами, не гоняя LLM заново.

Правило для всех массовых правок: dry‑run — оценка стоимости — выборка было/стало в локальный файл — моя проверка — применение с бэкапом. Ни одна правка не пишет в базу, пока человек не увидел примеры (дальше будет видно, почему).

😵‍💫 Главная проблема — чей это вообще факт 😵‍💫

В переписке двое. Диалог выглядит примерно так:

— я вообще не пью после того нового года

— а ты же вроде любишь вино да?

Из этого модель должна понять, кто не пьет, а кто любит вино. При извлечении Haiku пересказывает факты в третьем лице («не пьет»), поэтому персона теряется. В итоге в мою карточку насыпалось все, что мои собеседники говорили о себе. Один друг подарил мне 70 своих фактов.

Попытка 1: фильтр по роду

Первая идея была очевидной: я девушка, значит «устал», «пришел», «готов» — это не про меня. Получилась гора ложных срабатываний по двум причинам. Во‑первых, я сама часто пишу о себе в мужском роде (интернет, текстовые ролевые, онлайн‑игры — нужное подчеркнуть). Во‑вторых, Haiku при пересказе по умолчанию съезжает в мужской род, и мое «я устала» превращается в «устал от работы».

Род в тексте факта — это артефакт двух источников шума, а не признак автора.

Попытка 2: автор цитаты и грамматическое лицо

Смотрим не на пересказ, а на дословную цитату: кто ее написал и в каком она лице. Пол в правилах не участвует вообще.

Кто написал

Что в цитате

Чей факт

Я

«я» или глагол в 1 лице, в том числе без местоимения («не пью»)

Мой

Я

«ты» как подлежащее, без «я»

Собеседника

Собеседник

«я», себя в 1 лице, в том числе без местоимения, без «ты»

Собеседника

Собеседник

«ты» обо мне

Мой

Любой

«я», «когда ты…» где «я» — подлежащее

Автора цитаты

Любой

оба лица, непонятно, где подлежащее

Идет на ручную проверку

Любой

в тексте факта Собеседника

отклонить: мусор извлечения

Русский язык тут сильно помогает, потому что лицо читается по окончанию глагола даже без местоимения. У такой атрибуции есть плюсы: она детерминирована, дешевая и ее легко объяснить. Мы можем ткнуть на любой факт и посмотреть, какое правило сработало.

Понадобилось шесть итераций, на каждой из них я читала выборку. Итог: 70 фактов уехали человеку, которому они и принадлежали изначально, еще 50 фактов легли в «Проверить автора». По пути нашлась еще и карточка человека, собранная из чужого аккаунта (аккаунт принадлежал совсем другому).

🍺 Смешная часть: что бот думает обо мне 🍺

Когда с авторством мы разобрались, в моей карточке осталось ~1600 фактов. Их нужно было разложить по категориям, почистить от мусора и перевести в женский род. И вот тут началось.

Haiku переписывает тексты, код принимает правку только при условии смены окончания, а не смысла. Число слов должно совпадать, цифры тоже, схожесть с исходником допускается не ниже 80%. Без этих проверок модель начинает «улучшать». Вот что забраковал фильтр. Например, «не жмот, любит делать людям приятное» превратилось в «не жадина». Думаю, пояснять, чем отличаются по смыслу слова «жмот» и «жадина» в таком контексте не нужно.

Еще «в день рождения идет ко врачу» превратилось в «пошла». Не критично, учитывая что факт из прошлого, но род вместе со временем поменялись.

А «бесит объяснять, с кем общается» превратилось в «с кем общаешься». Это уже не род, а лицо, причем фильтр его пропустил, я поймала это при ручной вычитке.

Местоимения — отдельная история. Поэтому замены рода идут отдельным списком, каждую проверяю руками.

Ролки — биография, которой не было

А вот тут меня и спалили. Из чатов в память честно уехали факты вроде «есть сын», «помогает народу отдельно от сестры», «долго не могла найти вменяемого игрока по крайдам».

Сына у меня нет. Сестры тоже. Народу я помогаю разве что донатами в приюты для животных и эзотерической практикой. Но с точки зрения пайплайна все правильно: автор цитаты — я, первое лицо есть, значит факт мой. Правила атрибуции сработали безупречно, просто в текстовой ролевой «я» — это не я в реальной жизни. И вот это уже не лечится правилами, потому что ни в одном чате для модели нет никакого сигнала, что последние два часа люди писали за персонажей. Для этого я и предусмотрела ручной разбор с кнопкой «Отклонить».

Категории: ключевые слова понимают буквально

Раскладка по категориям двухступенчатая. Сначала работают ключевые слова — это бесплатно и детерминировано. Так разложилось 2/3, а остальное ушло в Хайку. Ключевые слова понимают все буквально. Так, «работает над тем, чтобы полюбить себя» уехало в категорию «Работа». В принципе, не поспоришь. «Мечтает завести хорька» попало в «Коты»: хорек не кот, но дух правильный. А «26 лет» уехало в «Быт». Не, ну возраст бытовая проблема так‑то. Правда, факт устаревший (ПРОСРОЧЕНОООО)

Это исправляется точечными правками по id без LLM, а в миниаппе одним тапом. Я не стремилась к идеальной автоматике, потому что мне нужна была автоматика, которую дешево поправить.

Дубли: один и тот же факт десятки раз

Про себя я рассказываю одно и то же разным людям, каждый пересказ становится отдельным фактом. Поиск дублей идет по косинусной близости эмбеддингов с порогом 0.90: система находит факты, близкие по смыслу, даже если они написаны разными словами. Получилось 155 групп кандидатов в дубли. Но автоматически ничего не склеивается, потому что «любит кофе» и «не любит кофе» для эмбеддинга почти одно и то же. Для решения этой задачи я сделала в миниаппе кнопки «Склеить», «Это разное» и отмену склейки.

💲 Цифры и деньги 💲

Вся чистка раздела «Я» стоила меньше двух центов. Мое время на чтение выборок — бесценно.

Проход

Объем

Стоимость

Категоризация (ключевые слова + Haiku)

1402 факта, из них 405 через LLM

0.0033

Добор остатка категорий

75 фактов

0.0003

Перевод в женский род

1550 просмотрено, 63 переписано

0.0122

Пересчет эмбеддингов Voyage

63 факта

0.00002

Живой бот тоже дешевый: около 0.7$ в неделю на все. У классификатора на каждом сообщении одинаковый префикс на 14–16 к токенов, он кешируется. Чтение из кеша стоит 10% от обычного входа. Но дешевые вызовы еще не гарантия, что баланс не кончится. У меня он заканчивался дважды, потому что на одном ключе было несколько проектов. Так что чисто по‑братски даю советик: отдельный ключ для скриптов, отдельный workspace с лимитом на проект (лимиты в Anthropic Console ставятся на воркспейс, а не на ключ) и алерт в Telegram, когда API отвечает ошибкой биллинга.

👀 Какие выводы я сделала 👀

RAG по личным данным — это прежде всего чистка данных. Я собрала гибридный поиск с реранком за пару вечеров, а вот атрибуция, категории и дубли заняли сильно больше времени.

Поэтому храни дословную цитату и ее автора: пересказ ЛЛМ теряет лицо, род и контекст, а цитата позволяет пересчитать что угодно заново (дешево и без ЛЛМ!) И не доверяй роду там, где есть лицо. Да и вообще нет смысла строить правила на поле человека, потому что все люди пишут о себе как хотят.

Все массовые правки — через dry‑run, выборку и бэкап, а еще строгий валидатор на выходе, потому что если разрешить модели поправить род, она поменяет и стиль, и время, и лицо.

Еще контекст не вытащить из одной реплики. Ролка, шутка, сарказм, цитата из фильма выглядят для модели одинаково, поэтому все импортированное и лежит со статусом «На проверке», пока живой человек не посмотрит. При этом ручной разбор — это не провал автоматизации, а часть дизайна: задача автоматики — сделать разбор быстрым, задача человека — подтвердить, что разбор правильный.

А еще теперь у меня есть бот, который с полной уверенностью считает, что мой отец владеет обувным бизнесом в штате Колорадо, и что я играла за Афелия. Второе, в отличие от первого, правда

Автор: dontkaiad

Источник