Assessing EFL University Students’ Writing: A Study of Score Reliability

• Elsa Fernanda González ^[1] ; Nelly Paulina Trejo ^[1] ; Ruth Roux ^[1]
  1. [1] Universidad Autónoma de Tamaulipas

     Universidad Autónoma de Tamaulipas

     México

     
• Localización: REDIE: Revista Electrónica de Investigación Educativa, ISSN-e 1607-4041, Vol. 19, Nº. 2, 2017, págs. 91-103
• Idioma: inglés
• Títulos paralelos:
  • Evaluando la escritura de alumnos universitarios de EFL: estudio sobre la confiabilidad de las calificaciones
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    La evaluación de la escritura en inglés como lengua extranjera (EFL) es un proceso que depende del juicio humano, por lo que es difícil de obtener evaluaciones justas, acertadas y confiables (Pearson, 2004, p. 117; Hamp-Lyons, 2003). Este estudio reporta la variabilidad existente entre las calificaciones analíticas que 11 docentes Mexicanos universitarios de EFL proporcionaron a cinco trabajos escritos. Describe las percepciones de los participantes en torno a la evaluación de la escritura y el uso de las rúbricas de evaluación. Los datos obtenidos de las calificaciones de cada trabajo y de un cuestionario escrito revelaron que existe gran variedad entre las calificaciones proporcionadas y que los evaluadores difieren en sus niveles de exigencia, sugiriendo así que antecedentes homogéneos y el uso de una misma rúbrica no son suficientes para obtener confiabilidad en las evaluaciones. Las percepciones de los participantes fueron similares en relación al uso de las rúbricas.

  • English

    The assessment of English as a Foreign Language (EFL) writing is a complex activity that is subject to human judgment, which makes it difficult to achieve a fair, accurate and reliable assessment of student writing (Pearson, 2004: 117; Hamp-Lyons, 2003). This study reports on the variability that exists between the analytical grades that 11 Mexican EFL university teachers awarded to five writing samples. It describes the raters’ views on writing assessment and their use of analytical scoring rubrics. Data obtained from the grades awarded to each paper, and a background questionnaire, suggested that great variability was found between grades, and raters differed in their levels of leniency and severity, suggesting that having similar backgrounds and using the same rubric are not enough to ensure rater reliability. Participants’ perceptions were found to be similar in terms of the use of analytical rubrics.