Inter-Annotator Agreement for the Factual Status of Predicates in the TAGFACT Corpus

• Autores: Ana María Fernández Montraveta, Irene Castellón Masalles
• Localización: Revista signos: estudios de lingüística, ISSN-e 0718-0934, ISSN 0035-0451, Vol. 56, Nº. 111, 2023, págs. 59-75
• Idioma: inglés
• Títulos paralelos:
  • Estudio del acuerdo entre anotadores del estatus factual de los predicados en el corpus TAGFACT
• Enlaces
  • Texto completo
• Resumen
  • español

    En este trabajo presentamos un estudio sobre el acuerdo entre anotadores alcanzado en la fase de anotación manual del Gold Standard del corpus TAGFACT. Este corpus ha sido creado dentro del proyecto TAGFACT, cuyo objetivo final es automatizar la clasificación factual de los eventos narrados en textos periodísticos escritos en español. En nuestro estudio, seis anotadores han etiquetado un corpus con los cuatro niveles de descripción lingüística propuestos en nuestro proyecto para extraer información factual. Cada uno de estos niveles se ha evaluado de forma independiente. Como cabe esperar, cuanto más precisa sea la descripción lingüística, más problemática resulta la clasificación. Este estudio identifica algunas de las diferencias más importantes y se presentan los problemas que justifican que no se dé un acuerdo completo. Para el 60FERNÁNDEZ-MONTRAVETA &CASTELLÓNanálisis del acuerdo en la anotación hemos utilizado la Kappa de Cohen, así como un análisis estadístico descriptivo.

  • English

    This paper reports on a study of the inter-annotation agreement to assess the manual annotation of the TAGFACT Gold Standard corpus. This corpus has been created as part of a larger project (TAGFACT), whose final objective is to automatize the classification of the factual status of events in a corpus of Spanish journalistic texts. In our study, six annotators labeled a corpus using the four levels of linguistic description proposed in our project to extract factual information. Each one of these levels hasbeen assessed independently. As expected, the more fine-grained the classification is, the more problematic the annotation. This study identifies some of the most important differences and discusses the main problems encountered to obtain full agreement. We use Cohen’s Kappa to measure inter-annotation agreement as well as descriptive statistical analysis