Оценивание LLM в RAG на клиентских и синтетических датасетах: методология и результаты
Привет, Хабр! Меня зовут Таня, я аналитик качества в команде Базы Знаний Just AI. Наша команда занимается разработкой продукта для клиентских баз знаний на основе RAG и созданием таких баз под ключ.Одной из ключевых задач POC для наших заказчиков является оценка качества и точности ответов системы, а также выбор модели, которая обеспечит эти показатели. Чем точнее ответы, тем больше доверия к системе со стороны сотрудников/клиентов и меньше ручного труда по поиску доп.информации. 90% точности ответов — одно из основных требований большинства наших клиентов при выборе Базы Знаний
Дискуссия: генеративный AI в разработке: yay or nay?
Собрались как-то на Conversations ребята из Яндекс Райдтех, Звука, Альфа-Банка и MTS AI, чтобы вместе с Just AI прийти к выводу: генеративный AI в разработке это супер или пока не очень? Дискуссия получилась суперинтересная, так что мы сделали для вас расшифровку!
Как оценить качество чат-бота? Бот с LLM vs бот на интентах по новой методологии usability-тестирования
Привет, Хабр! Я Юля, дизайнер диалоговых интерфейсов в Just AI. Мир захлестнула LLM-волна, и сфера чат-ботов оказалась в самом ее центре: все больше компаний хотят внедрять именно генеративные решения. Ведь уникальные ответы ChatGPT, тонко чувствующего контекст диалога и распознающего любой ваш вопрос, выглядят революционно. Хочется срочно такую умную нейронку опубликовать в виджете на своем сайте и заменить всех операторов-людей!
