rag.
Первый RAG комом: как мы учились анализировать ошибки автотестов с помощью LLM
Привет! Меня зовут Алексей, я автотестер в hh.ru
Комнатный RAG: бесплатный ИИ-помощник-консультант по содержимому сайта
Про умных чат-ботов, которые помогают операторам контакт-центров, разбирают обращения и автоматизируют процессы, слышали, кажется, все. Помимо автоматизации целых служб есть и задача поменьше, с которой можно начать на обычном сайте.Вот обычный сайт небольшой компании. На нём описаны услуги, проекты, условия работы, иногда цены и клиенты. Посетитель приходит с конкретным вопросом: «Вы можете помочь с моей задачей?», «У вас было что-то похожее?», «А это можно установить у нас?» Чтобы разобраться, ему нужно прочитать несколько разделов и самому связать информацию.
Как сделать RAG-чат для сайта, который не выдумывает цены: пять решений из моего бота
С июня я делаю AI-чат для сайтов, который не выдумывает цены и не соглашается с клиентом во всём подряд. К пяти решениям из статьи я пришёл через ошибки.Зачем вообще ещё один чат-ботПо
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Препринт этой работы пока не опубликован на arXiv: для подачи мне нужен endorsement в категории cs.CL (Computation and Language). Если у вас есть право выдавать endorsement в этой категории и вы готовы помочь, буду благодарен — напишите мне в личные сообщения на Хабре.Код, файлы результатов, meta прогонов и реестр гипотез целиком, включая отрицательные: https://github.com/ADanMan/elm-research. Репозиторий пока приватный. Планирую открыть исходники после публикации статей.
Выбирать цитаты в ELM и находить ошибки поиска
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? В ELM я проверил этот способ без дообучения. При заданном абзаце выбор цитаты дал близкий к генерации общий счёт на моей выборке. Если абзац надо найти, результат зависит от поиска и последующего выбора строки судьёй.Отделить поиск от формулирования ответа
Ошибки RAG: 6 причин, почему лагает память ИИ-агента, и как провести диагностику retrieval
RAG (Retrieval-Augmented Generation или генерация с дополненной выборкой) — это технология, которая объединяет большую языковую модель (LLM) с внешней базой знаний. Вместо того чтобы полагаться только на заученные во время обучения данные, ИИ сначала ищет точную информацию в корпоративных документах, справочниках или интернете, а затем пишет ответ на её основе.
1С Напарник. Стоит он того?
Что решает — дорогое и долгое дообучение узкой модели или хорошая обвязка вокруг обычной облачной?На первый взгляд кажется очевидным, что модель от вендора, у которого привилегированный и неограниченный доступ к материалам, не оставит камня на камне от конкурентов. Но, может, мы уже дошли до того момента, когда разница в качестве ответов общих и специализированных моделей не оправдывает затрат на дообучение?Попробуем сравнить нашего интерактивного помощника на open-source стеке и Напарника
Я написал 61 тест для AI-ментора. Потом выяснилось, что тестам тоже нельзя верить
Репетитора не нанимают по резюме. Ему дают тетрадь реального ученика и смотрят не на то, знает ли он ответ, а на то, где он остановится. Подскажет, в какой строке ошибка, или перепишет задачу за ученика? Скажет «не знаю, давай проверим» или уверенно додумает?Месяц назад я встроил в свою учебную платформу AI-ментора: он видит уроки, прогресс студента и его последнюю попытку по заданию. Чтобы не выбирать модель и не править промпт по ощущениям, я собрал стенд из автоматических проверок и начал принимать решения по его цифрам.
