An ecological view of measurement: Focus on multilevel model explanation of differential item functioning

• Pamela Woitschach ^[1] ; Bruno D. Zumbo ^[1] ; Rubén Fernández-Alonso ^[2]
  1. [1] University of British Columbia

     University of British Columbia

     Canadá

     
  2. [2] Universidad de Oviedo

     Universidad de Oviedo

     Oviedo, España

     
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 31, Nº. 2, 2019, págs. 194-203
• Idioma: inglés
• Títulos paralelos:
  • Un enfoque ecológico de la medición: explicación con modelos multinivel del funcionamiento diferencial de los ítems
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 3 Citas
• Resumen
  • español

    Antecedentes: el tercer Estudio Regional Comparativo y Explicativo informa, analiza y compara los resultados académicos en matemáticas, ciencias y lectura de 15 países latinoamericanos. La validez es el fundamento del procedimiento de prueba y el proceso de validación es clave para el éxito de la evaluación educativa en general. Este estudio metodológico se enfoca desde un punto de vista ecológico que sitúa a la persona, el proceso, el contexto y el tiempo donde se desarrolla la prueba. Estas descripciones señalan eventos específi cos cómo y qué variables a nivel individual, escuela o país pueden dar un entendimiento profundo del proceso de respuesta. El objetivo fue investigar el funcionamiento diferencial del ítem desde un marco ecológico. Método: se analizó la prueba de ciencias aplicada en 2013 a los alumnos de 6º grado, los datos abarcan a 12.657 alumnos, 2.609 escuelas y 15 países. Se realizó una inclusión progresiva de niveles de distribución de la varianza en diferentes modelos de regresión logística Bernoulli.

    Resultados: los análisis mostraron la presencia de funcionamiento diferencial del ítem en el 32% de la prueba de ciencias. Conclusión: la principal fuente de funcionamiento diferencial del ítem se ve asociado al nivel de desarrollo humano de los países participantes

  • English

    Background: The 3rd Regional Comparative and Explanatory Study reports, analyses and compares academic results in mathematics, sciences, and reading for 15 Latin American countries. Validity is the foundation of a testing procedure, and the process of validation is important to the overall success of educational assessment as a whole. This methodological study deals specifi cally with an ecological point of view which includes and situates the person, process, context, and time of the testing situation. These descriptions indicate specifi c events showing how and what variables at the individual, school, or country level can give a deep understanding of the response process. The aims were to investigate ecological explanations of differential item functioning. Method: The study analysed the science test given in 2013 to 6th grade students and the data pool consisted of 12,657 students from 2,609 schools and 15 countries.

    A progressive inclusion of the variance distribution in different Bernoulli logistic regression models was carried out. Results: The analyses showed the presence of differential item functioning in 32% of the science items.

    Conclusions: The main source of differential item functioning was related to the human development level of the participating countries