Test results with and without blueprinting: Psychometric analysis using the Rasch model

• Hussein Abdellatif ^[1]
  1. [1] Sultan Qaboos University, College of Medicine and Health Sciences, Muscat, Oman; University of Mansoura, Mansoura, Egypt
• Localización: Educación médica, ISSN 1575-1813, Vol. 24, Nº. 3, 2023
• Idioma: inglés
• Títulos paralelos:
  • Resultados de pruebas con y sin Blueprinting: Análisis psicométrico usando el modelo de Rasch
• Enlaces
  • Texto completo
• Resumen
  • español

    Introducción:El plan de pruebas une los procesos de enseñanza, aprendizaje y evaluación.Describe qué medir en qué dominio de aprendizaje y en qué nivel de competencia. Se utilizó elanálisis de Rasch para comparar los resultados de las pruebas y los patrones de respuesta a ítemsde dos pruebas uro-reproductivas. El examen Otoño-2020 (Prueba uno) se desarrolló sin un plande pruebas, mientras que el examen Otoño-2021 (Prueba dos) utilizó un plan de pruebas.Métodos:El estudio analizó datos de 143 estudiantes de medicina de la Universidad SultanQaboos que aprobaron el curso en el otoño de 2020 y el otoño de 2021. Se eligieron 25 MCQs alazar. El análisis psicométrico se realizó mediante el modelo de Rasch. Se calcularon medias,errores de medición e índices de confiabilidad. El modelo dicotómico de Rasch calculó la PCARpara unidimensionalidad, independencia local de ítem, estimación de separación de personas yestadísticas de ajuste para la conformidad de ítem.Resultados:Ambas pruebas mostraron variaciones no significativas en las puntuaciones de laspruebas, índices de separación de personas (IPE) y confiabilidad de los ítems. En la prueba dos,las medidas de separación de ítems mostraron tres niveles de dificultad. Los supuestos deunidimensionalidad fueron validados en ambas pruebas. Los reactivos 16 y 18 estuvieronintercorrelacionados 0,53, indicando dependencia de la respuesta. Ambas pruebas produjeronestadísticas de infit aceptables, con 8 ítems en la prueba uno y 6 en la prueba dos no aptos para elrango de outfit (0,7–1,3). La prueba dos ICC tenía una gama más amplia de dificultad de elementos.El mapa ítem-persona mostró que las habilidades de los estudiantes son mayores que las dificultadesítem en ambas pruebas, con un rango más amplio de habilidades en la prueba dos.Conclusiones:Las pruebas sicométricamente sólidas requieren planos de prueba. El modelo deRasch analiza la psicometría de las pruebas de manera efectiva. La precisión de la puntuación deprueba, la diferenciación de los elementos y la independencia de los elementos mejoraron con eldiseño. La creación de una prueba con una alta correlación entre la dificultad del elemento y lacapacidad del estudiante redujo los errores de medición de puntuación. La investigación generaldebe examinar los métodos de diseño y los hitos educativos.

  • English

    Introduction:The test blueprint bridges the teaching, learning, and assessment processes. Itdescribes what to measure in which learning domain and at what competency level. We usedRasch analysis to compare the test results and item response patterns of two uro-reproductivetests. The Fall-2020 (Test one) exam was developed without a test blueprint, while the Fall-2021(Test two) exam used a test blueprint.Methods:The study analyzed data from 143 Sultan Qaboos University medical students whopassed the course in fall 2020 and fall 2021. 25 MCQs were chosen at random. Psychometricanalysis was performed using the Rasch model. Means, measurement errors, and reliabilityindices were calculated. Rasch's dichotomous model computed PCAR for unidimensionality, localitem independence, person separation estimate, and fit statistics for item conformity.Results:Both tests exhibited non-significant variations in test scores, person separation indices(PSI), and item reliability. On test two, item separation measures showed three difficulty levels.Unidimensionality assumptions were validated in both tests. Test one items 16 and 18 were 0.53intercorrelated, indicating response dependence. Both tests produced acceptable infit statistics,with 8 items in test one and 6 in test two unfitting for the outfit range (0.7–1.3). Test two ICC had awider range of item difficulty. The item-person map showed that students' abilities are greater thanitem difficulties in both tests, with a wider range of abilities in test two.Conclusions:Psychometrically sound tests require test blueprints. The Rasch model analyzestest psychometrics effectively. Test score accuracy, item differentiation, and item indepen-dence improved with blueprinting. Creating a test with a high correlation between itemdifficulty and student ability reduced score measuring errors. General research should examineblueprinting methods and educational milestones.