El Test de Turing para la evaluación de resumen automático de texto

Molina Villegas, Alejandro ; Torres Moreno, Juan Manuel ^[1]
1. [1] Laboratoire Informatique d'Avignon
  
  Laboratoire Informatique d'Avignon
  
  Arrondissement d’Avignon, Francia
Localización: Linguamática, ISSN 1647-0818, Vol. 7, Nº. 2, 2015, págs. 45-55
Idioma: español
Títulos paralelos:
- The Turing Test for Automatic Text Summarization Evaluation
Enlaces
- Texto completo

Resumen
- español
  Actualmente existen varios métodos para producir resúmenes de texto de manera automática, pero la evaluación de los mismos continua siendo un tema desafiante. En este artículo estudiamos la evaluación de la calidad de resúmenes producidos de manera automática mediante un método de compresión de frases. Abordamos la problemática que supone el uso de métricas automáticas, las cuales no toman en cuenta ni la gramática ni la validez de las oraciones. Nuestra propuesta de evaluación está basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automático, de una serie de resúmenes. También explicamos como validar las respuestas de los jueces por medio del test estadístico de Fisher.
- English
  Currently there are several methods to produce summaries of text automatically, but the evaluation of these remains a challenging issue. In this paper, we study the quality assessment of automatically generated abstracts. We deal with one of the major drawbacks of automatic metrics, which do not take into account either the grammar or the validity of sentences. Our proposal is based on the Turing test, in which a human judges must identify the source of a series of summaries. We propose how statistically validate the judgements using the Fisher's exact test.