Propuesta de validación de la homogeneidad de un modelo de rúbrica de evaluación del TFG en el grado de enfermería de la UCM

• Autores: Ivan Diago Sánchez
• Directores de la Tesis: Ramón del Gallego Lastra (dir. tes.), Enrique Pacheco del Cerro (dir. tes.)
• Lectura: En la Universidad Complutense de Madrid ( España ) en 2021
• Idioma: español
• Número de páginas: 282
• Títulos paralelos:
  • Proposal to validate the homogeneity of a model for the evaluation rubric of the EDP in the Nursing Degree at UCM
• Tribunal Calificador de la Tesis: Alfonso Meneses Monroy (presid.), Yolanda García Álvarez (secret.), Raquel Herrera Espada (voc.), Esther García García (voc.), Juan Manuel Arribas Marín (voc.)
• Programa de doctorado: Programa de Doctorado en Cuidados en Salud por la Universidad Complutense de Madrid
• Materias:
  • Pedagogía
    • Teoría y métodos educativos
      • Evaluación de alumnos
• Enlaces
  • Tesis en acceso abierto en: Docta Complutense
• Resumen
  • español

    La evaluación del Trabajo Fin de Grado (TFG) en el Grado de Enfermería de la UCM, asignatura en la que participa un número elevado de profesores para la tutorización del trabajo autónomo desarrollado por los estudiantes, se realiza mediante el uso de una rúbrica que se detalla en la Normativa de la asignatura que se pone a disposición de estudiantes y docentes al inicio de cada curso académico.

    El proceso de elaboración de la rúbrica de evaluación utilizada se inicia en el curso 2010-2011 y se ha revisado en los sucesivos cursos académicos, elaborando una nueva rúbrica para su utilización en el curso 2014-2015, para la que es necesario confirmar si permite realizar una evaluación homogénea.

    El proceso de validación de la homogeneidad de la respuesta de distintos evaluadores se tiene que realizar en un contexto en el que no se dispone de una metodología ampliamente consensuada para realizar esta comprobación. Este análisis se puede realizar para cada uno de los criterios de evaluación utilizados, de manera que permita identificar aquellos criterios que presentan una menor homogeneidad frente a otros de los criterios que componen la rúbrica.

    Se analiza la homogeneidad de las sesenta y cuatro respuestas que cumplen los criterios de inclusión para el TFG tipo Plan de cuidados y el TFG tipo revisión bibliográfica en el Grado en Enfermería de la UCM en el curso 2014-2015.

    Se concluye que la rúbrica utilizada en la evaluación de la asignatura de TFG permite una evaluación con una homogeneidad de las respuestas de los evaluadores expertos que se considera entre ¿ligera¿ y ¿justa¿, según la escala de valoración arbitraria propuesta por Landis y Coch, tanto en el TFG del tipo Plan de cuidados como en el TFG del tipo Revisión bibliográfica (porcentaje de acuerdo 46%, k = 0,135 (concordancia ligera), ICC = 0,2081 (concordancia ligera) para el TFG tipo Plan de cuidados y porcentaje de acuerdo 36%, k = 0,099 (concordancia ligera), ICC = 0,2724 (concordancia justa) para el TFG tipo Revisión bibliográfica).

    Las respuestas de los evaluadores son más homogéneas para cada uno de los criterios de evaluación de forma independiente en la evaluación de una memoria de TFG del tipo Plan de cuidados que en la del TFG del tipo Revisión bibliográfica, excepto para dos criterios para los que se han obtenido valores muy próximos de homogeneidad relativa; la tipología del TFG evaluado parece influir en la homogeneidad de las respuestas de los evaluadores.

    Los criterios de evaluación de la rúbrica analizada en los que las respuestas de los evaluadores presentan mayor homogeneidad respecto al conjunto de criterios evaluados son aquellos que, o bien están centrados de forma específica en los aspectos propios de la profesión, o están planteados de forma sencilla, o los evaluadores disponen de información detallada en documentos complementarios para facilitar el consenso.

    Los criterios de evaluación de la rúbrica analizada en los que las respuestas de los evaluadores presentan menor homogeneidad respecto al conjunto de criterios evaluados son aquellos que requieren mayor abstracción por parte del evaluador, y pueden estar reflejando la existencia de una cierta flexibilidad de la evaluación realizada por los docentes en criterios que es frecuente que presenten deficiencias en los TFG presentados por los estudiantes.

    El análisis realizado de la homogeneidad de las respuestas para cada uno de los criterios de evaluación de forma independiente puede facilitar la revisión y mejora de la calidad de rúbrica como herramienta de evaluación, aportando una información más completa y detallada que otros modelos en los que únicamente se utilizan los valores de fiabilidad inter-evaluadores para el conjunto de la rúbrica, para la mejora continua de esta herramienta y de la calidad del proceso de enseñanza ¿ aprendizaje ¿ evaluación

  • English

    The European Higher Education Area (EHEA) promotes a change in teaching-learning methodologies, which focuses on the student to develop the necessary skills and facilitates the harmonization of university systems. One of the changes promoted within the EHEA is reflected in a student-centered evaluation process, as well as the teaching-learning process. Another change introduced in the implementation of the EHEA, is the need for the official bachelor’s teachings to conclude with the preparation and defense of an End-of-Degree Project (EDP), aimed at evaluating competencies associated with the degree. The evaluation of the EDP in the Nursing Degree at UCM, a subject in which a large number of professors participate for the tutoring of the autonomous work carried out by the students, is carried out through the use of a rubric, detailed in the Regulations of the subject made available to students and teachers at the beginning of each academic year. The process of elaboration of the evaluation rubric begins in the academic year 2010-2011 and has been revised in successive academic years, developing a new rubric in the 2014-2015 academic year, for which it is necessary to confirm whether it allows a homogeneous evaluation in which the student is not affected depending on who performs the evaluation. The process of validating the homogeneity in the response of different evaluators, has to be carried out in a context in which there is no widely agreed methodology for this verification; Authors who have addressed reviews of studies in which some type of inter-rater reliability analysis is reported, include different evaluation methodologies, such as the percentage of agreement, Cohen's Kappa or the Intra-class Correlation Coefficient (ICC) among others less frequent. This analysis can be carried out for each evaluation criteria used, to identify those criteria that present less homogeneity compared to other criteria that make up the rubric, so as to identify those criteria that may need to be reviewed in a process of continuous improvement of the evaluation tool to ensure the quality of the process and equal opportunities for the students who are evaluated...