Resumen de Análisis de metodologías de evaluación de sistemas de diálogo multimodal

Zoraida Callejas Carrión, Ramón López-Cózar Delgado, Francisco Miguel Gea Megías

• español

  Los sistemas de diálogo multimodal constituyen un campo de investigación de grao interés en la actualidad, pues mejoran notablemente la interacción proporcionada por los sistemas de diálogo oral. Este artículo presenta, de forma resumida, el resultado de un amplio y profundo estudio roo el que hemos pretendido conocer cómo se pueden evaluar tales sistemas, y en qué se diferencia esta evaluación de la realizada con sistemas de diálogo oral. Las conclusiones del estudio indican que no existen unos métodos claramente aceptados por la comunidad científica que puedan considerarse estándares de evaluación. Ello sumado a la gran diversidad de tareas y diferencias de complejidad de unos sistemas frente a otros, dificulta en gran medida la comparación de los sistemas de una forma objetiva. Por consiguiente, son necesarias técnicas estándar que faciliten la evaluación teniendo en cuenta las características específicas de cada sistema, así como métodos que faciliten la comparación de sistemas diseñados para tareas diferentes

• English

  Multimodal dialogue systems represent a very challenging research field nowadays, as they enhance the interaction provided by spoken dialogue systems. This paper presents, in a summarised way, the results of a wide and deep study we have carried out to try to find the cues for the evaluation of these systems, as well as the main differences in comparison with the evaluation of spoken dialogue systems. Our conclusions indicate there are no methods clearly accepted by the scientific community that can be considered as evaluation standards. This fact, together with the diversity of tasks and differences in the system complexity, makes it very difficult to compare systems objectively. Thus, new techniques are necessary to ease the evaluation taking into account the specific features of each system, as well as new methods to compare systems designed for different tasks.