Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement

• Gerardo Prieto ^[1] ; Eloísa Nieto ^[1]
  1. [1] Universidad de Salamanca

     Universidad de Salamanca

     Salamanca, España

     
• Localización: Psicológica: Revista de metodología y psicología experimental, ISSN-e 1576-8597, ISSN 0211-2159, Vol. 35, Nº 2, 2014, págs. 385-397
• Idioma: inglés
• Títulos paralelos:
  • Análisis de la severidad de los calificadores de un examen de expresión escrita mediante el modelo Many Faceted Rasch Measurement.
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 3 Citas
• Resumen
  • español

    En este trabajo se describe cómo se puede aplicar el modelo Many Faceted Rasch Measurement (MFRM) para analizar la evaluación del rendimiento mediante calificadores. El manuscrito presenta una introducción al modelo MFRM, una descripción de los procedimientos de análisis y un ejemplo para ilustrar cómo se analizan los efectos de diversos factores en el rendimiento de los examinados en un test de expresión escrita. Los resultados ilustran la utilidad del modelo para detectar los calificadores que presentan valores extremos en el continuo de severidad. El modelo MFRM aporta puntuaciones en una métrica común de los diversos elementos de las facetas integradas en el proceso de medición (examinados, tareas, calificadores).

    Esta integración aporta ventajas para comprender el marco de la evaluación.

  • English

    This paper describes how a Many Faceted Rasch Measurement (MFRM) approach can be applied to performance assessment focusing on rater analysis. The article provides an introduction to MFRM, a description of MFRM analysis procedures, and an example to illustrate how to examine the effects of various sources of variability on test takers’ performance on a writing test by means of a MFRM analysis. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the severity continuum. MRFM provides a common metric for the facet scores (test takers, tasks, raters). This is advantageous because it facilitates understanding of the assessment process as well as providing objective measurement of facet elements.