Учёные «Сбера» и НИУ ВШЭ научили искусственный интеллект точнее распознавать человеческие эмоции

Специалисты из Центра Практического Искусственного Интеллекта ^[1] «Сбербанка» и ВШЭ представили ^[2]систему для идентификации эмоций ^[3], которая анализирует мимику, голос и речь одновременно. Это позволяет точнее определять эмоциональное состояние по сравнению с инструментами, которые анализируют только мимику. 

Как указывают в «Сбере», новая технология на базе временных свёрточных сетей (TCN) и трансформерных мультимодальных архитектур на 10% точнее определяет эмоции ^[4] по сравнению с самыми эффективными моделями, которые фокусируются исключительно на анализе выражения лица. 

«Наша система делает взаимодействие человека и искусственного интеллекта более естественным и осмысленным. Мы научились не просто распознавать базовые эмоции, но и учитывать их динамику в реальных условиях — при разном освещении, фоновом шуме и других помехах. Это особенно важно для тех отраслей бизнеса, где понимание эмоций клиентов помогает повышать качество сервиса. Наша технология уже показывает отличные результаты в тестах, а в перспективе её можно адаптировать для виртуальных ассистентов, систем безопасности и даже телемедицины. Главное преимущество — гибкость. Аудиовизуальная модель работает даже при недостаточных данных, например, когда не видно лицо или плохо слышно голос», — рассказал Андрей Савченко, научный ^[5] директор Центра Практического Искусственного Интеллекта «Сбербанка».

Разработку предлагается внедрять в коммерции, сфере безопасности и социальной работе. Так, она сможет отслеживать настроение звонящих в колл-центрах и определять признаки агрессивного или панического поведения ^[6]. Исследователи продолжают работу над повышением точности распознавания эмоций.