Учимся отличать галлюцинации от плохого контекста
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Когда RAG-система выдаёт утверждение, которого нет в источниках, мы обычно называем это «галлюцинацией». Но очень часто за этим симптомом скрываются принципиально разные сбои, и путать их означает лечить не ту болезнь.Модель, к примеру, могла проигнорировать релевантный контекст или не получить его вовсе. А могла сгенерировать ответ из параметрической памяти и задним числом подобрать «подходящую» цитату.
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту
TL;DR. Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русских документов лучше готовых чанкеров.Я взял идею датской context-aware-splitter, пересобрал её под русский на базе T-lite-it-2.1 и изменил главное: модель возвращает индексы границ, а не переписанный текст. Хост потом режет оригинал по этим индексам.У index‑output оказалось три практических плюса:СвойствоЧто получаетсяLossless‑нарезкачанки совпадают с исходником байт‑в-байт
AI без Python: как исправить документацию и внедрить RAG в JVM-стеке
Привет, Хабр! Меня зовут Дмитрий Вдовин, я техлид команды Budget Tool. Мы отвечаем за продукт, через который в банке проходят процессы планирования и контроля расходов. Это внутренняя система, в которой формируются бюджеты, согласуются изменения и фиксируются расходы по направлениям. У нас много терминов, правил и нюансов. Например, чем OPEX отличается от CAPEX, зачем нужны кост-центры и группы расходов, что такое аллокация и реаллокация, как заполнять бюджет.
Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen – Llama -Gemma
Привет, Хабр! Это Андрей Носов, AI-архитектор в компании Raft, проектирую и внедряю высоконагруженные RAG-системы на предприятиях. Сегодня я расскажу о вызовах, которые мы преодолеваем каждый день, создавая такие системы, и сделаю акцент на чанкинге.
