Bayesian Multi-Faceted TRI Models for Measuring Professor's Performance in the Classroom

• Autores: Karen Rosana Cordoba, Alvaro Mauricio Montenegro
• Localización: Revista Colombiana de Estadística, ISSN-e 2389-8976, ISSN 0120-1751, Vol. 44, Nº. 2, 2021, págs. 385-412
• Idioma: inglés
• Títulos paralelos:
  • Un modelo TRI de múltiples facetas bayesiano para la evaluación del desempeño docente en el aula
• Enlaces
  • Texto completo
• Resumen
  • español

    Resumen Las evaluaciones del desempeño del profesor se basan en el supuesto de que los estudiantes aprenden más de profesores altamente calificados y el hecho de que los estudiantes observan el desempeño del profesor en el aula. Sin embargo, muchos estudios cuestionan las metodologías utilizadas para tales mediciones, en general, porque los promedios de las respuestas categóricas tienen poco sentido estadístico. En este artículo, proponemos modelos Bayesianos de Teoría de Respuesta al Ítem de múltiples facetas para medir el desempeño. El modelo propuesto tiene en cuenta los efectos asociados con la severidad de los estudiantes que responden a la encuesta y los cursos que se evalúan. El modelo se aplica a un conjunto de datos obtenido de una encuesta de percepción del desempeño del profesor realizada por la Facultad de Ciencias de la Universidad Nacional de Colombia a sus estudiantes. Los puntajes del profesor que se obtienen como resultados del modelo son valores numéricos reales que se pueden usar para calcular estadísticas comunes en la evaluación del profesor. En este caso, las estadísticas son matemáticamente consistentes. Se muestra que algunos de ellos ilustran la utilidad del modelo.

  • English

    Abstract Evaluations of professor performance are based on the assumption that students learn more from highly quali-ed professors and the fact that students observe professor performance in the classroom. However, many studies question the methodologies used for such measurements, in general, because the averages of categorical responses make little statistical sense. In this paper, we propose Bayesian multi-faceted item response theory models to measure teaching performance. The basic model takes into account efects associated with the severity of the students responding to the survey, and the courses that are evaluated. The basic model proposed in this work is applied to a data set obtained from a survey of perception of professor performance conducted by Science Faculty of the Universidad Nacional de Colombia to its students. Professor scores that are obtained as model outputs are real numerical values that can be used to calculate common statistics in profesor evaluation. In this case, the statistics are mathematically consistent. Some of them are shown to illustrate the usefulness of the model.