Основные метрики DeepEval для тестирования AI. Возможности и способы применения
Всем привет!DeepEval - фреймворк для оценки работы AI с открытым исходным кодом.Содержит в себе множество метрик и бенчмарков для оценки качества работы AI моделей, а также предоставляет инструменты для аналитики изменений качества работы в течение разных периодов времени.В предыдущей статье мы уже частично осветили имеющиеся у DeepEval метрики (метрики для оценки RAG).В этой статье постараемся объяснить, какой еще функционал предлагается DeepEval для работы с AI.Помимо указанных ранее в DeepEval присутствуют следующие метрики:Agentic- Task Completion- Tool Correctness- Argument Correctness
Разработчики научили нейросетевых агентов общаться на только им понятном языке, чтобы экономить ресурсы
Разработчики (Anton Pidkuiko) и Борис Старков (Boris Starkov) представили GibberLink — язык, который нейросетевые агенты могут использовать для общения друг с другом. Система общения построена так, что люди не понимают диалог, а модели машинного обучения при этом не расходуют ресурсы для генерации голоса.
