Метрики для задач NLP. Часть 2. Генерация текста: BLEU, ROUGE, METEOR, BERTScore
Всем привет! Меня зовут Максим. Я NLP‑инженер в red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI. Это вторая часть серии статей про метрики задач NLP, в которой я затрону тему оценки качества в задачах генерации текста. Мы рассмотрим следующие метрики: BLEUROUGEMETEORBERTScoreНачнем!Генерация текста
Инструмент c AI-логикой для создания дерева метрик MetricTree
Всем привет!Меня зовут Владимир Павлов, я продакт-менеджер. Недавно я проходил кейс-интервью и получил отказ со следующим комментарием: «Правильно выбираешь ключевые метрики, но не хватает измеримости, структуры, прокси‑ и контр‑метрик».Получив данный фидбек, я решил углубиться в метрики, но не нашел простого инструмента для тренировок их построения и работы с ними. Пришлось создать свой инструмент для этих целей :-)Оплатив платный доступ к GPT, приступил к Vibe Coding. Весь процесс занял примерно 2 недели, занимаясь по вечерам в будние дни + выходные.Остановился на следующем объеме функциональности:
