Definición y análisis de parámetros lingüísticos cuantitativos para herramientas automáticas de evaluación aplicables al español lengua extranjera (ele)

• Autores: María Paz Ferrero García de Jalón
• Directores de la Tesis: Rachel Whittaker (codir. tes.)
• Lectura: En la Universidad Autónoma de Madrid ( España ) en 2011
• Idioma: español
• Tribunal Calificador de la Tesis: Jesús Sánchez Lobato (presid.), Ana Fernández (secret.), Daniel Cassany Comas (voc.), Mick O'Donnell (voc.), Lluís Padró Cirera (voc.)
• Materias:
  • Lingüística
  • Filosofía
    • Antropología filosófica
      • Filosofía del lenguaje
• Enlaces
  • Tesis en acceso abierto en: Biblos-e Archivo
• Resumen

  • En este estudio, se ha desarrollado una serie de métodos automáticos para evaluar el nivel de competencia de textos escritos en castellano, según los seis niveles de referencia definidos por el Marco Común Europeo de Referencia para las Lenguas: Aprendizaje, Enseñanza, Evaluación (MCERL): A1-A2, B1-B2, C1-C2. Consideramos de forma separada las áreas léxica, sintáctica y semántica. Junto con el nivel de referencia se definen parámetros de confianza que miden la fiabilidad de la determinación del nivel.

    La evaluación de la competencia léxica se basa en la clasificación de las palabras dada en el inventario del Plan Curricular del Instituto Cervantes (PCIC), considerándolo como la norma para este estudio. Para aquellas palabras no incluidas en el listado del PCIC, se han desarrollado otros criterios basados en la presencia de tales palabras en una combinación de varios glosarios. Además, las multipalabras son evaluadas para refinar la determinación del nivel del texto. Finalmente, el conjunto del texto se nivela cuantitativamente aplicando la ley de Zipf después de distribuir las palabras en los seis niveles del MCERL.

    La evaluación del nivel sintáctico se calcula mediante la identificación, en el texto objeto de estudio, de estructuras sintácticas previamente niveladas. Para ello, se ha creado una numerosa colección de estructuras sintácticas niveladas basándonos en el PCIC. El nivel sintáctico de cada estructura se ha dado en función de la complejidad de la estructura.

    Estas estructuras son identificadas en el texto bajo análisis y los resultados cuantitativos de esta identificación se comparan frente a un corpus de referencia de un determinado nivel.

    En el nivel semántico identificamos el contenido de un texto teniendo en cuenta los campos semánticos dados por el PCIC. Por ello, utilizando un conjunto apropiado de textos, es posible correlar cuantitativamente los campos semánticos del texto sometido al análisis con los del corpus. Es más, el Análisis Semántico Latente evidencia el agrupamiento de los textos en conjuntos que pueden ser fácilmente identificados y utilizados para la evaluación del nivel semántico.

    La calificación automática léxica, sintáctica y semántica es posible tras procesar el texto mediante un analizador morfosintáctico (FreeLing). Los métodos desarrollados en esta tesis se han probado con 80 textos escritos por aprendices de español como segunda lengua con el fin de obtener el Diploma de Español como Lengua Extranjera (DELE).

    Estos textos ya han sido previamente calificados por personas evaluadoras oficiales. Los resultados obtenidos mediante el calificador automático muestran una buena correlación con los resultados dados por los evaluadores humanos.