Resumen de Proceso de mejoría de pruebas de conocimiento con preguntas de selección múltiple en un curso teórico de pregrado de medicina.

Eduardo Kattan T., Gonzalo Pérez D., Catalina Le Roy O., Marisol Sirhan N., Agustín González C., Tomás Rybertt L., Luz Collins V., Nancy Solís, Margarita Pizarro, Marco Arrese J., Arnoldo Riquelme

• español

  Introducción: La metodología de evaluación ha tenido un crecimiento exponencial en los últimos años. La evaluación escrita con preguntas de selección múltiple (PSM) sigue siendo el instrumento más utilizado para evaluar conocimientos.

  Objetivos: Evaluar la calidad de las PSM durante un proceso de implementación de mejorías en la calidad de la construcción de pruebas de conocimiento.

  Material y Método: Se analizó la calidad de las PSM utilizadas en las evaluaciones escritas de un curso teórico del Pregrado de Medicina (período 2002-2005) de acuerdo a: validez (contenido, construcción, y predictiva), % de PSM con violaciones de los principios de escritura (criterios de Haladyna) y niveles cognitivos explorados (taxonomía de Bloom). Se utilizó una pauta de construcción de pruebas, con énfasis en la cobertura de los contenidos y el mapeo de los objetivos del curso. En 2006 se crearon PSM nuevas, se evaluó calidad de las PSM y confiabilidad del instrumento según método de Cronbach. Las comparaciones se realizaron con Test Z y corrección Bonferroni posthoc.

  Resultados: La cobertura de temas subió progresivamente hasta el 100% (p=0,001). En el período 2002-2005, un 54% de las PSM presentaba al menos una violación de los principios de escritura, disminuyendo a un 18,8% (p=0,001) el año 2006. Paralelamente, se observó un aumento significativo de los niveles cognitivos superiores de Bloom (p<0,001).

  Conclusiones: El uso de una pauta para la construcción de una prueba teórica con PSM, así como la revisión sistemática de las PSM de acuerdo a los criterios de Haladyna por educadores médicos con formación en evaluación, permitió ampliar la cobertura de los temas del curso evaluado y mejorar la validez y confiabilidad del instrumento, explorando niveles cognitivos superiores.

• English

  Introduction: Methodology related to assessment has experienced an exponential growth in the last years. The written evaluation with multiple-choice-questions (MCQ) is still the leading instrument used to assess knowledge.

  Objectives: To evaluate the quality of MCQ, during the implementation of a quality improvement process of cognitive assessment instruments.

  Material and Method: Quality of MCQ used in the period between 2002-2005, for written assessment of a theoric lecture in undergraduate of Medical school was analyzed according to: validity issues (content, constructive and predictive validity), the percentage of MCQ with writing principles violations (Haladyna’s criteria) and cognitive levels explored (Bloom’s taxonomy). Test construction blueprint was used to ensure the coverage of the course themes and objectives. Through year 2006, a new set of MCQs were created, in which the quality MCQs and reliability (Cronbach’s alpha) were evaluated. Comparisons were made with Z test and Bonferroni posthoc correction.

  Results: The coverage of themes progressively increased arising 100% (p=0.001). During years 2002-2005, 54% of MCQs presented at least one kind of violation of writing principles. In the year 2006, a significant improvement was observed decreasing to 18.8% (p=0.001). According to Bloom’s taxonomy assessment, there was a significant increase in the proportion of MCQs exploring higher cognitive levels (p<0.001).

  Conclusions: Using a blueprint for the construction of a cognitive MCQ test, combined with the evaluation of MCQ by medical educators trained in evaluation, demonstrate a significant improvement of the coverage of the themes of a course, increasing the content validity of the MCQ, and exploring higher cognitive levels.