На конференции EMNLP 2025 Яндекс показал систему RATE (Refined Assessment for Translation Evaluation). Это инструмент, который изучает качество перевода не только по факту точности, но и по тому, насколько результат звучит живо и естественно. RATE помогает находить случаи, когда модель формально передает смысл, но при этом использует неверный тон, стиль или уровень вежливости.
В ходе тестирования RATE выявила ошибок в семь раз больше, чем популярные методики MQM и ESA. Это демонстрирует, что прежние системы оценки часто пропускают важные стилистические отклонения. Например, когда перевод выглядит грамматически правильным, но звучит слишком прямолинейно, чрезмерно формально или просто неестественно для живой речи.
RATE уже используется в процессе развития переводческих моделей Яндекса. Такой подход позволяет проверять, насколько хорошо нейросети справляются с реальными сценариями: от деловой переписки до бытовых диалогов и текстов интерфейсов. Благодаря этому разработчики могут точнее понимать, где модель сбивается с нужного тона и как улучшить итоговую подачу текста.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
