Una nueva técnica para evaluar sistemas conversacionales basada en la generación automática de diálogos

Abstract

En este artículo se presenta una nueva técnica que permite evaluar sistemas conversacionales mediante la simulación de las interacciones que realizan los usuarios de los mismos. Creemos que la técnica puede ser útil para conocer aspectos de los sistemas conversacionales que se deben mejorar antes de que se encuentren operativos en condiciones reales. Utilizando esta técnica, se ha evaluado el funcionamiento de un sistema conversacional desarrollado en nuestro laboratorio, el cual se encuentra en fase experimental actualmente. La evaluación se ha realizado considerando diversas condiciones de ruido. Los resultados obtenidos muestran que el uso de una técnica de compensación de ruido mejora el funcionamiento del sistema. La técnica propuesta ha permitido detectar errores de la estrategia utilizada por el sistema para procesar las confirmaciones de los usuarios.