От NLU-бота к ИИ-агенту: как мы пробили потолок автоматизации в поддержке крупного банка
Привет, Хабр! На связи команда Just AI.Когда NLU-сценарий вырастает до нескольких сотен веток, а процент автоматизации все равно не двигается — это не проблема настройки, это потолок технологии. Рассказываем, как мы помогли крупному банку его пробить: перевели поддержку по кешбэку на LLM-агентов, добавили агента-судью против галлюцинаций и улучшили понимание семантики и контекста пользовательских запросов.Потолок NLU-ботов и цели автоматизации в банковском сервисе
Основные метрики DeepEval для тестирования AI. Возможности и способы применения
Всем привет!DeepEval - фреймворк для оценки работы AI с открытым исходным кодом.Содержит в себе множество метрик и бенчмарков для оценки качества работы AI моделей, а также предоставляет инструменты для аналитики изменений качества работы в течение разных периодов времени.В предыдущей статье мы уже частично осветили имеющиеся у DeepEval метрики (метрики для оценки RAG).В этой статье постараемся объяснить, какой еще функционал предлагается DeepEval для работы с AI.Помимо указанных ранее в DeepEval присутствуют следующие метрики:Agentic- Task Completion- Tool Correctness- Argument Correctness
Разработчики научили нейросетевых агентов общаться на только им понятном языке, чтобы экономить ресурсы
Разработчики (Anton Pidkuiko) и Борис Старков (Boris Starkov) представили GibberLink — язык, который нейросетевые агенты могут использовать для общения друг с другом. Система общения построена так, что люди не понимают диалог, а модели машинного обучения при этом не расходуют ресурсы для генерации голоса.
