Una aproximación inicial a la optimización de la clasificación de estudiantes en evaluaciones de gran escala

• Pérez León Ibañez, Humberto ^[1]
  1. [1] Universidad Católica San Pablo

     Universidad Católica San Pablo

     Arequipa, Perú

     
• Localización: Educationis Momentum, ISSN 2517-9853, ISSN-e 2414-1364, Vol. 10, Nº. 1, 2024 (Ejemplar dedicado a: Educationis Momentum), págs. 58-70
• Idioma: español
• Títulos paralelos:
  • An Initial Approach to Optimizing the Classification of Students in Large-Scale Assessments
• Enlaces
  • Texto completo
• Resumen
  • español

    La mayoría de los actos de evaluación implica clasificar a los estudiantes en categorías. Especialmente en las evaluaciones de altas consecuencias, esta clasificación conlleva una gran responsabilidad por las afectaciones que se derivan de ella. La puntuación bruta no refleja la naturaleza del error de medición y sus implicancias para la clasificación de los estudiantes. Por el contrario, el modelo Rasch ofrece un enfoque basado en la relación entre la probabilidad de acertar un ítem y la diferencia entre la habilidad del estudiante y la dificultad del ítem, aproximación que abre la posibilidad de calcular los errores estándar asociados a las medidas de ítems y personas. En el marco de este enfoque, este trabajo se propone investigar si la concentración de ítems alrededor de un punto de corte mejora la precisión de la clasificación, medida por el índice de precisión de Rudner. Se investigó esta relación en tres escenarios de dispersión de estudiantes. Los resultados muestran: a) que a mayor concentración de ítems alrededor del corte, mayor precisión de la clasificación; y b) que la fuerza de esta asociación se ve beneficiada en contextos de mayor concentración de la habilidad de los estudiantes.

  • English

    Most evaluation activities involve classifying students into categories. Especially in high-stakes assessments, such classification carries significant responsibility due to the ensuing consequences. Raw scores do not reflect the nature of measurement error or its implications for student classification. In contrast, the Rasch model offers an approach based on the relationship between the probability of answering an item correctly and the difference between the student’s ability and the item’s difficulty, an approach that allows for the calculation of standard errors associated with item and person measures. Within this framework, this study aims to investigate whether concentrating items around a cutoff point improves classification accuracy, measured using Rudner’s accuracy index. This relationship was examined under three scenarios with varying levels of student dispersion. The results show: (a) that the greater the concentration of items around the cutoff, the higher the classification accuracy; and (b) that the strength of this association is enhanced in contexts where students’ abilities are more concentrated.