Оценка агентных систем
Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.ОпределенияПрежде чем погружаться в тестирование, договоримся о терминах:LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста. Tool (инструмент)
