Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.
