- BrainTools - https://www.braintools.ru -
Атрибуция фактов в персональной памяти [1] LLM: гибридный поиск на Postgres + pgvector, эвалы и вопрос «чей это факт»
Я загрузила в RAG свои переписки за несколько лет, чтобы мой ИИ‑агент знал меня и моих друзей. Он действительно узнал меня. А еще Клайда и Крейга из Южного Парка, Афелия из Лиги Легенд и человека, в которого я впервые влюбилась в интернете (это был ролевик за Кайто). А заодно он решил, что я айтишник, не жмот и зожник (конечно, все в мужском роде).
Это статья про то, как устроена персональная память для LLM‑ассистента, и почему самое сложное в ней это не векторы и не реранкинг, а вопрос «чей это вообще факт».
Два Telegram‑бота и Mini App разделяют общую память на Postgres + pgvector с гибридным поиском (FTS + Dense Retrieval + RRF + Haiku Reranking). Факты в нее извлекались LLM из экспорта моих чатов в TG и VK. Каждый факт хранит автора, цитату‑источник и дату. Экспорт также защищен от попадания чувствительных фактов в выборку для сохранения конфиденциальности и содержит только общие факты (предпочтения, общая информация). База личная: она живет на моем сервере, факты о друзьях вижу только я, и никуда они не публикуются. Тексты при обработке проходят через API моделей, поэтому о друзьях модель сразу просила доставать только общие факты, без здоровья, денег и личного.
Сломалась атрибуция по грамматическому роду, а сработала атрибуция по автору цитаты и грамматическому лицу. Но текстовые ролевые игры автоматика от реальной жизни в принципе не отличает, тут поможет только ручной разбор.
Вся чистка фактов о себе (которых оказалось около ~1600) стоила меньше двух центов в деньгах и больше часа реального времени. Дорогим оказалось не LLM, а мое внимание [2].
У меня СДВГ, поэтому внешняя память для меня не игрушка, а буквально протез. Поэтому я собрала себе ИИ‑агентов в виде двух Telegram‑ботов и Mini App:
Первый бот, Nexus, это мой личный ассистент. Задачи, финансы, бюджет, списки, фото чеков, голосовые и память: он менеджерит всю мою жизнь, включая лотки для котов и заметки о мерче Славы КПСС. Пишешь ему свободным текстом, он сам понимает, что с этим делать дальше и напоминает при необходимости. Такой вот мозговой центр всей моей инфраструктуры.
Второй бот, Arcana, это CRM моей эзотерической практики. Клиенты, расклады, ритуалы — в общем, все, о чем я стараюсь сильно не светить, но что составляет весомую часть моей жизни. Да, так бывает.
А Mini App — это веб‑интерфейс внутри Telegram. В нем все то же самое, но красивое и с анимациями, включая раздел «Память», карточки людей и разбор фактов.
Нексус и Аркана выглядят так:

Стек: Python, aiogram 3, FastAPI, Postgres + pgvector, эмбеддинги Voyage, Claude Haiku для рутины и Claude Sonnet для сложного. Живет на одном VPS в Docker Compose + мой сабдомен heylark.dev [3]. Деплой идет только после зеленых тестов в CI.
Память одна на все. Реализована как таблица фактов, разложенная по субъектам: я, люди, коты, все остальное. У каждого факта в памяти есть текст («не ест кинзу»), тип (любит/не любит, важное или другое) и категория (хобби, здоровье, работа и тому подобное). Если факт про кого‑то, к нему привязана ссылка на человека. Еще у факта хранится источник, то есть цитата, из которой достали факт, ее автор, платформа и дата, и статус разбора: на проверке, подтвержден или отклонен.
На каждого человека, включая меня, заведена отдельная карточка‑сущность с именем, алиасами, датой рождения и аккаунтами в TG и VK. Один человек может иметь несколько аккаунтов, два разных человека могут быть тезками.
RAG (Retrieval‑Augmented Generation) — это когда модель отвечает не из головы, а по фрагментам, которые поиск достал из базы.
Я внедряла RAG в свои проекты по двум причинам: СДВГ и потому что умею это делать. У меня целая инфраструктура из своих проектов (не все заканчивается на Нексус‑Аркане), я компульсивный автоматизатор собственной жизни и просто получаю фан от новых интересных кейсов в работе.
Честно говоря, первая версия у меня была стыдная: поиск по подстроке (ILIKE ‘%слово%’), сортировка по дате создания. Векторный поиск включался только если нашлось меньше трех фактов. На вопрос «что я не ем» она находила что угодно кроме списка того, что я не ем. Сейчас пайплайн устроен так.
Сначала идет разбор вопроса, без LLM, правилами. Определяем субъект (я, конкретный человек, несколько тезок или хз кто) и тип вопроса (что любит, не любит, что важно). Имена резолвятся с учетом падежей и алиасов: «что любит Сашенька» и «что подарить Саше» придут в одну карточку.
Потом бот выбирает маршрут. Если человек и тип известны, то идем прямым SQL. День рождения берем из карточки, а не из фактов, а все остальное идет в гибридный поиск.
В гибридном поиске два поиска идут параллельно. Полнотекстовый поиск (FTS) Postgres с русской морфологией находит точные слова, а векторный поиск pgvector (эмбеддинги Voyage) находит смысл. Пример: на вопрос «что я не ем» он достает список продуктов, даже если слова «ем» там нет.
Результаты двух поисков сливаются через RRF (Reciprocal Rank Fusion). RRF — это алгоритм слияния результатов из двух разных источников. Он пересчитывает позиции документов без необходимости приводить их скоры к одной шкале, поднимая наверх те фрагменты, которые высоко оценили оба метода. У меня каждый факт получает сумму 1 / (60 + место) из обоих списков, к одной шкале не приводим и ориентируемся только на порядок.
После слияния идет реранк: Claude Haiku смотрит на топ кандидатов и оставляет только те, что реально отвечают на вопрос.
И последний шаг — генерация с проверкой. Хайку пишет короткий ответ списком и возвращает JSON, где у каждой строки есть id фактов, на которые она опирается. Код проверяет, что эти айди существуют и действительно были в выдаче (grounding), а строка без опоры вылетает. Если сломалось все, то бот просто покажет список всех найденных фактов.
Под ответом стоит источник («по фактам из TG/VK, год») и кнопка «Все факты». Каждый запрос пишет трейс: маршрут, что нашел FTS, что нашли векторы, что оставил реранк и что ушло в ответ. Без трейса дебажить RAG — гадание на кофейной гуще, а я ведьма и знаю, о чем говорю.
Качество измеряется оффлайн‑эвалами: recall@5 (полнота топ-5) на наборе вопросов с известными правильными фактами + проверка граундинга. На синтетическом наборе из 9 вопросов recall@5 был 72% у поиска по подстроке, 86% после гибрида FTS + RRF и 100% после добавления разбора вопроса. Набор крошечный, так что это скорее проверка, что пайплайн не врет, чем победа над бенчмарком.
Схема целиком

Если человек и тип вопроса известны, то поиск не нужен. Все остальное проходит через оба поиска, слияние и реранк.
Руками я бы заполняла эту память до пенсии. Зато у меня есть годы переписок в Telegram и ВКонтакте, в которых люди рассказывают, что любят, чего боятся и когда у них день рождения. И где я сама рассказываю про себя больше, чем стоило бы.
Пайплайн экспорта устроен так. Сначала чаты экспортируются из TG Desktop и VK API. Потом переписки нарезаются на окна и прогоняются через Haiku с задачей «вытащи факты о людях». На выходе JSON: текст факта, тип, дословная цитата‑источник и автор цитаты. Задача была сформулирована таким образом, чтобы на выходе остались только общие, не чувствительные, факты о других людях и вообще все факты обо мне. Спойлер: на этом я впоследствии и прогорела.
Дальше факт привязывается к человеку по аккаунту собеседника, имени и алиасам, и все падает в базу со статусом «На проверке». Потом идет базовый human‑in‑the‑loop: разбираем факты в миниаппе (принять, отклонить, перенести другому человеку, склеить дубли, сменить категорию)
Цитата‑источник и ее автор оказались самым ценным решением во всей системе. Без них факт — это пересказ LLM, с которым никак не поспоришь. С ними любую ошибку [4] можно перепроверить и исправить правилами, не гоняя LLM заново.
Правило для всех массовых правок: dry‑run — оценка стоимости — выборка было/стало в локальный файл — моя проверка — применение с бэкапом. Ни одна правка не пишет в базу, пока человек не увидел примеры (дальше будет видно, почему).
В переписке двое. Диалог выглядит примерно так:
— я вообще не пью после того нового года
— а ты же вроде любишь вино да?
Из этого модель должна понять, кто не пьет, а кто любит вино. При извлечении Haiku пересказывает факты в третьем лице («не пьет»), поэтому персона теряется. В итоге в мою карточку насыпалось все, что мои собеседники говорили о себе. Один друг подарил мне 70 своих фактов.
Первая идея была очевидной: я девушка, значит «устал», «пришел», «готов» — это не про меня. Получилась гора ложных срабатываний по двум причинам. Во‑первых, я сама часто пишу о себе в мужском роде (интернет, текстовые ролевые, онлайн‑игры — нужное подчеркнуть). Во‑вторых, Haiku при пересказе по умолчанию съезжает в мужской род, и мое «я устала» превращается в «устал от работы».
Род в тексте факта — это артефакт двух источников шума, а не признак автора.
Смотрим не на пересказ, а на дословную цитату: кто ее написал и в каком она лице. Пол в правилах не участвует вообще.
|
Кто написал |
Что в цитате |
Чей факт |
|---|---|---|
|
Я |
«я» или глагол в 1 лице, в том числе без местоимения («не пью») |
Мой |
|
Я |
«ты» как подлежащее, без «я» |
Собеседника |
|
Собеседник |
«я», себя в 1 лице, в том числе без местоимения, без «ты» |
Собеседника |
|
Собеседник |
«ты» обо мне |
Мой |
|
Любой |
«я», «когда ты…» где «я» — подлежащее |
Автора цитаты |
|
Любой |
оба лица, непонятно, где подлежащее |
Идет на ручную проверку |
|
Любой |
в тексте факта Собеседника |
отклонить: мусор извлечения |
Русский язык тут сильно помогает, потому что лицо читается по окончанию глагола даже без местоимения. У такой атрибуции есть плюсы: она детерминирована, дешевая и ее легко объяснить. Мы можем ткнуть на любой факт и посмотреть, какое правило сработало.
Понадобилось шесть итераций, на каждой из них я читала выборку. Итог: 70 фактов уехали человеку, которому они и принадлежали изначально, еще 50 фактов легли в «Проверить автора». По пути нашлась еще и карточка человека, собранная из чужого аккаунта (аккаунт принадлежал совсем другому).
Когда с авторством мы разобрались, в моей карточке осталось ~1600 фактов. Их нужно было разложить по категориям, почистить от мусора и перевести в женский род. И вот тут началось.
Haiku переписывает тексты, код принимает правку только при условии смены окончания, а не смысла. Число слов должно совпадать, цифры тоже, схожесть с исходником допускается не ниже 80%. Без этих проверок модель начинает «улучшать». Вот что забраковал фильтр. Например, «не жмот, любит делать людям приятное» превратилось в «не жадина». Думаю, пояснять, чем отличаются по смыслу слова «жмот» и «жадина» в таком контексте не нужно.
Еще «в день рождения идет ко врачу» превратилось в «пошла». Не критично, учитывая что факт из прошлого, но род вместе со временем поменялись.
А «бесит объяснять, с кем общается» превратилось в «с кем общаешься». Это уже не род, а лицо, причем фильтр его пропустил, я поймала это при ручной вычитке.
Местоимения — отдельная история. Поэтому замены рода идут отдельным списком, каждую проверяю руками.
А вот тут меня и спалили. Из чатов в память честно уехали факты вроде «есть сын», «помогает народу отдельно от сестры», «долго не могла найти вменяемого игрока по крайдам».
Сына у меня нет. Сестры тоже. Народу я помогаю разве что донатами в приюты для животных и эзотерической практикой. Но с точки зрения [5] пайплайна все правильно: автор цитаты — я, первое лицо есть, значит факт мой. Правила атрибуции сработали безупречно, просто в текстовой ролевой «я» — это не я в реальной жизни. И вот это уже не лечится правилами, потому что ни в одном чате для модели нет никакого сигнала, что последние два часа люди писали за персонажей. Для этого я и предусмотрела ручной разбор с кнопкой «Отклонить».
Раскладка по категориям двухступенчатая. Сначала работают ключевые слова — это бесплатно и детерминировано. Так разложилось 2/3, а остальное ушло в Хайку. Ключевые слова понимают все буквально. Так, «работает над тем, чтобы полюбить себя» уехало в категорию «Работа». В принципе, не поспоришь. «Мечтает завести хорька» попало в «Коты»: хорек не кот, но дух правильный. А «26 лет» уехало в «Быт». Не, ну возраст бытовая проблема так‑то. Правда, факт устаревший (ПРОСРОЧЕНОООО)
Это исправляется точечными правками по id без LLM, а в миниаппе одним тапом. Я не стремилась к идеальной автоматике, потому что мне нужна была автоматика, которую дешево поправить.
Про себя я рассказываю одно и то же разным людям, каждый пересказ становится отдельным фактом. Поиск дублей идет по косинусной близости эмбеддингов с порогом 0.90: система находит факты, близкие по смыслу, даже если они написаны разными словами. Получилось 155 групп кандидатов в дубли. Но автоматически ничего не склеивается, потому что «любит кофе» и «не любит кофе» для эмбеддинга почти одно и то же. Для решения этой задачи я сделала в миниаппе кнопки «Склеить», «Это разное» и отмену склейки.
Вся чистка раздела «Я» стоила меньше двух центов. Мое время на чтение выборок — бесценно.
|
Проход |
Объем |
Стоимость |
|---|---|---|
|
Категоризация (ключевые слова + Haiku) |
1402 факта, из них 405 через LLM |
0.0033 |
|
Добор остатка категорий |
75 фактов |
0.0003 |
|
Перевод в женский род |
1550 просмотрено, 63 переписано |
0.0122 |
|
Пересчет эмбеддингов Voyage |
63 факта |
0.00002 |
Живой бот тоже дешевый: около 0.7$ в неделю на все. У классификатора на каждом сообщении одинаковый префикс на 14–16 к токенов, он кешируется. Чтение из кеша стоит 10% от обычного входа. Но дешевые вызовы еще не гарантия, что баланс не кончится. У меня он заканчивался дважды, потому что на одном ключе было несколько проектов. Так что чисто по‑братски даю советик: отдельный ключ для скриптов, отдельный workspace с лимитом на проект (лимиты в Anthropic Console ставятся на воркспейс, а не на ключ) и алерт в Telegram, когда API отвечает ошибкой биллинга.
RAG по личным данным — это прежде всего чистка данных. Я собрала гибридный поиск с реранком за пару вечеров, а вот атрибуция, категории и дубли заняли сильно больше времени.
Поэтому храни дословную цитату и ее автора: пересказ ЛЛМ теряет лицо, род и контекст, а цитата позволяет пересчитать что угодно заново (дешево и без ЛЛМ!) И не доверяй роду там, где есть лицо. Да и вообще нет смысла строить правила на поле человека, потому что все люди пишут о себе как хотят.
Все массовые правки — через dry‑run, выборку и бэкап, а еще строгий валидатор на выходе, потому что если разрешить модели поправить род, она поменяет и стиль, и время, и лицо.
Еще контекст не вытащить из одной реплики. Ролка, шутка, сарказм, цитата из фильма выглядят для модели одинаково, поэтому все импортированное и лежит со статусом «На проверке», пока живой человек не посмотрит. При этом ручной разбор — это не провал автоматизации, а часть дизайна: задача автоматики — сделать разбор быстрым, задача человека — подтвердить, что разбор правильный.
А еще теперь у меня есть бот, который с полной уверенностью считает, что мой отец владеет обувным бизнесом в штате Колорадо, и что я играла за Афелия. Второе, в отличие от первого, правда
Автор: dontkaiad
Источник [6]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38622
URLs in this post:
[1] памяти: http://www.braintools.ru/article/4140
[2] внимание: http://www.braintools.ru/article/7595
[3] heylark.dev: https://heylark.dev
[4] ошибку: http://www.braintools.ru/article/4192
[5] зрения: http://www.braintools.ru/article/6238
[6] Источник: https://habr.com/ru/articles/1108304/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108304
Нажмите здесь для печати.