Las Rúbricas No neutralizan el Efecto de los correctores: una estimación con el modelo de facetas múltiples de Rasch

• Rubén Fernández-Alonso ^[1] ; Pamela Woitschach ^[1] ; José Muñiz ^[1]
  1. [1] Universidad de Oviedo

     Universidad de Oviedo

     Oviedo, España

     
• Localización: Revista de educación, ISSN 0034-8082, Nº 386, 2019, págs. 89-112
• Idioma: español
• Títulos paralelos:
  • Rubrics do not neutralize Raters’ effects: A many-faceted Rasch model estimation
• Enlaces
  • Texto completo  1    2 (pdf) 
• Dialnet Métricas: 2 Citas
• Resumen
  • español

    Los ítems de respuesta construida son ampliamente utilizados en todo tipo de evaluaciones educativas. A pesar de la utilización de rúbricas muy específicas para su corrección, la influencia de los correctores está bien documentada en la literatura, afectando a los resultados de la evaluación. El objetivo central del presente trabajo es la estimación de los efectos de los correctores y de las rúbricas en una tarea de expresión escrita. Se utilizaron 13 correctores que revisaron 375 producciones escritas de estudiantes de sexto curso. Los correctores fueron asignados a los ensayos escritos siguiendo un cuadrado Youden de 13 bloques, un diseño de bloques incompletos balanceado. En el análisis de datos se empleó el modelo de Rasch de facetas múltiples con tres facetas: corrector, rúbricas y dificultad de paso de los mismos. Se compararon diferentes modelos y se analizaron los efectos del corrector y las características de las rúbricas. Los resultados ponen de manifiesto las diferencias entre los correctores en cuanto la severidad y la exactitud de sus juicios. Se concluye que no incluir el efecto del corrector en la estimación de los resultados del alumnado puede introducir un componente claro de inequidad en las evaluaciones.

  • English

    Constructed response items are widely used in all types of educational evaluations. Despite the use of very specific rubrics for scoring the items, the influence of raters is well documented in the literature, affecting the results of the evaluations. The main goal of the present study is the estimation of the effects of the raters and the rubrics in the assessment of written expression. We used 13 raters that reviewed 375 written productions of sixth grade students. The raters were assigned to the written essays following a 13-block Youden square, a balanced incomplete block design. In the data analysis, the many-faceted Rasch model was used with three facets: corrector, rubrics and difficulty of passing them. Different models were compared and the effects of the raters and the characteristics of the rubrics were analyzed. The results reveal the differences between the raters in terms of the severity and accuracy of their judgments. It is concluded that not considering the effect of the rater in the estimation of student outcomes can introduce a clear component of inequity in the evaluations.