RAG+Ragas: учим AI-помощника учить без галлюцинаций
Представьте ситуацию: вы прошли онлайн-курс, начинаете применять знания на практике, но что-то не получается и надо вернуться в учебные материалы, найти, где про это что-то рассказывали. Что будете делать: пролистывать все уроки (а их может быть пара десятков), писать куратору (а он может ответить через сутки)?
Тестирование качества работы RAG. Описание и сравнение метрик
В современном мире часто встречаются задачи с большим объемом данных, выполнение которых либо невозможно, либо сложно или затратно по времени/ресурсам автоматизировать обычными функциями и методами.Одним из способов решения для таких случаев является применение AI с использованием RAG.В этой статье мы постарались привести метрики для оценки качества работы подобных решений.RAG (Retrieval Augmented Generation) - генерация ответов с использованием внешнего источника данных.
Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 2
В прошлой части мы подробно разобрали 11 популярных техник RAG: как они устроены, какие у них есть сильные и слабые стороны, и в каких сценариях они могут быть полезны. Теперь пришло время перейти от теории к практике и посмотреть, как эти подходы показывают себя в деле.В этой статье мы посмотрим на результаты экспериментов: какие техники оказались наиболее эффективными на датасете Natural Questions, где они приятно удивили, а где — наоборот, не оправдали ожиданий. Для оценки будем использовать фреймворк RAGAS, а также метрики BertScore и ROUGE-2
Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 1
При проектировании RAG-системы инженер каждый раз сталкивается с множеством вопросов: как получать чанки, какую векторную базу использовать, как организовать получение релевантной информации из базы, да даже выбор эмбеддера может занять приличное время — и это лишь вершина айсберга. Идеальным решением является перебор основных вариантов, затем оценка качества и выбор подходящих для конкретной задачи. Ведь то, что хорошо работает, например, для техподдержки, может провалиться в юридическом анализе, и наоборот.
Retrieval-Augmented Generation (RAG): глубокий технический обзор
Retrieval-Augmented Generation (RAG)
