Mejora del funcionamiento de sistemas de diálogo hablado mediante reconocimiento del estado emocional de usuarios

Abstract

Este artículo propone una nueva técnica para mejorar el funcionamiento de sistemas de diálogo hablado mediante el reconocimiento del estado emocional de los usuarios. La técnica se basa en el uso de dos módulos de fusión para combinar predicciones emocionales. El primer módulo emplea varios métodos de fusión para combinar predicciones generadas por clasificadores que procesan distintos tipos de información relacionada con cada frase pronunciada por el usuario. Estas predicciones constituyen la entrada del segundo módulo de fusión, el cual emplea un determinado método de fusión para combinar las predicciones generadas por el primer módulo, y obtener así la predicción de mayor probabilidad. Esta predicción representa la decisión final de nuestra técnica acerca del estado emocional del usuario. Hemos realizado experimentos considerando dos categorías emocionales (‘No-Negativo’ y ‘Negativo’) y clasificadores que procesan información prosódica, acústica, léxica y relacionada con actos del diálogo. Los resultados obtenidos usando un corpus emocional creado en nuestra Universidad muestran que el primer módulo de fusión mejora notablemente las tasas de reconocimiento de los clasificadores, así como el funcionamiento de un sistema de reconocimiento de referencia. El segundo módulo de fusión, que representa la novedad de nuestro trabajo, permite incrementar las tasas de reconocimiento del primer módulo en un porcentaje del 2,25% absoluto.

In this paper we propose a new technique to enhance the performance of spoken dialogue systems by means of recognising users’ emotional states. The technique employs two fusion modules that combine emotional predictions. The former employs a number of fusion methods to combine predictions made by classifiers that deal with different types of information regarding each sentence uttered by the user. These predictions are the input to the second fusion modules, which employs a fusion method to combine the predictions and obtain the most likely emotional category. This category represents the final decision of our technique regarding the emotional state of the user. We have carried out experiments considering two emotional categories (‘Non-negative’ and ‘Negative’) and classifiers to deal with information regarding prosody, acoustics, lexical items and dialogue acts. The results obtained employing an emotional corpus collected in our University show that the first fusion module clearly outperforms the classifiers, and so it does regarding a baseline system. The second fusion module, which represents the novelty of our study, enables enhancing the accuracy of the former fusion method by 2.25% absolutely.