Resumen de Models estadístics en avaluació educativa: les proves d'accés a la universitat
La tesis se inscribe en un doble ámbito científico formado por la Estadística y la Pedagogía. El objetivo de la tesis es la investigación de modelos estadísticos y estrategias de análisis que puedan ser de utilidad en el seguimiento de sistemas de evaluación complejos. Su motivación se encuentra en la necesidad de analizar las Pruebas de Aptitud para el Acceso a la Universidad (PAAU), que regulan el acceso a la universidad en España, desde la perspectiva de la ciencia estadística. La validez y fiabilidad de los exámenes COU (Curso de Orientación Universitaria) y PAAU han merecido una atención especial a lo largo de la investigación. Asimismo, se analizan con detenimiento las principales fuentes de variación de dichas notas: las diferencias entre centros de secundaria y el proceso de corrección de las pruebas PAAU.
En la Introducción, una vez resumidas las características del sistema de evaluación de las pruebas PAAU y discutido el papel de la estadística en el tratamiento de datos en educación, se establecen los objetivos concretos de la tesis, a la luz de las necesidades existentes y de los trabajos de investigación realizados hasta el momento.
El Capítulo 1 ilustra las diferencias entre los exámenes COU y las pruebas PAAU. Se aborda el estudio de la asociación entre ambas puntuaciones. La modelización de la variación de la nota PAAU individual por medio de modelos de regresión coeficientes aleatorios permite evidenciar (y medir) las diferencias entre centros de secundaria en cuanto a los estándares utilizados en COU. Este primer capítulo contiene una detallada introducción a los modelos de coeficientes aleatorios, también llamados modelos de nivel múltiple, que posteriormente se aplicaran en los capítulos 2 y 4, en la versión de modelos multivariantes de componentes de la varianza. El segundo capitulo, en un enfoque que complementa el anterior, se centra en el estudio de las medias (de COU y de PAAU) de cada centro, en la estructura de covarianza entre ambas. Como resultado relevante cabe citar la aplicación a la selección de la combinación más eficiente.
El Capítulo 3 se ha dedicado enteramente a la calidad del sistema de corrección de los exámenes PAAU. La modelización presentada ha permitido evaluar el impacto de los correctores en términos de la varianza debida a las diferencias en el grado de severidad y a la varianza generada por la inconsistencia. Para la obtención de los datos se ha requerido del diseño de experimentos. Dichos experimentos, que han evidenciado una serie de puntos débiles del sistema, deberían ser realizados de manera sistemática cada año en una estrategia de mejora de la calidad del proceso.
El Capítulo 4 estudia la covarianza del conjunto de notas PAAU tanto a nivel estudiante como a nivel centro, ofreciendo nuevos elementos de reflexión para la validez de dichas pruebas.
El Capítulo 5 resume la aplicación de varias propuestas de la tesis a la primera convocatoria de las pruebas PAAU-LOGSE.
El Capítulo 6 incluye las conclusiones de la tesis así como una serie de propuestas de seguimiento y mejora de la calidad global del sistema.
