Evaluación del ambiente educacional pre-clínico en seis Escuelas de Medicina en Chile

Evaluation of the undergraduate educational environment in six medical schools in Chile

 

CRISTIAN HERRERA^1,7,a, JORGE PACHECO^2,7,a, FRANCISCA ROSSO^3,7,b, CYNTHIA CISTERNA^4,7,b, DANIELA AICHELE^5,7,b, SUSANA BECKER^6,7,b, OSLANDO PADILLA^1,8,c, ARNOLDO RIQUELME^1,9

¹Escuela de Medicina, Pontificia Universidad Católica de Chile. ²Escuela de Medicina, Universidad de Concepción. ³Escuela de Medicina, Universidad de Santiago. ⁴Escuela de Medicina, Universidad Católica de la Santísima Concepción. ⁵Escuela de Medicina, Universidad Austral de Chile. ⁶Escuela de Medicina, Universidad de la Frontera. ⁷Asociación de Estudiantes de Medicina de Chile (ASEMECH). ⁸Departamento de Salud Pública, ⁹Departamento de Gastroenterología, Centro de Educación Médica, Pontificia Universidad Católica de Chile. Santiago de Chile. ^aInterno de Medicina. ^bAlumno de Medicina. ^cEstadístico.

Dirección para correspondencia

---

Background: The Dundee Ready Education Environment Measure (DREEM) is the most valid and reliable instrument to measure the educational environment (EE) in undergraduate medical education. Aim: To evaluate the EE perceived by undergraduate medical students in Chile, using a Spanish version of the DREEM questionnaire. Material and Methods: The DREEM was applied during 2008 in third, fourth and ffith undergraduate years of six medical schools. The individual results were calculated and means of both global and individual domain scores of the DREEM were compared, by year, gender and between different Schools. Results: One thousand ninety two students (77% of the total universe of students), answered the questionnaire. The mean score of the six Schools was 113.9. The domains of Perception of Learning and Social Self-Perception obtained the lower scores, with a global outcome indicating a more positive than negative EE. Two schools obtained mean scores of 128.32 and 126.87, that were significantly higher than the global scores obtained by other schools. No relevant differences by years or gender were observed. Conclusions: There is a signifiicant variability between the six schools evaluated and two of these obtained signifiicantly better scores than the rest. The identified positive and negative areas will orient the actions to improve the EE for undergraduate medical students.

Key words: Education, medical, undergraduate; Educational measurement; Questionnaires.

---

El ambiente educacional (AE) es un aspecto importante que debe ser considerado en la educación médica tanto de pregrado como de postgrado. Su impacto ha sido reconocido y aceptado por su real influencia sobre la satisfacción y éxito de los estudiantes^1-3. Han sido reconocidos dos grupos de factores que influencian el AE: cursos/currículo, y docentes individuales, supervisores y facilitadores. El primero está compuesto por el estilo curricular, calidad de enseñanza, señalización y claridad de los procesos, resultados, evaluaciones y mecanismos de apoyo. El segundo se relaciona con estilos/técnicas de enseñanza, entusiasmo, ambiente físico y modelos a seguir. Estos factores llevan a la motivación, relevancia percibida y sentido del deber por el estudiante, lo que finalmente termina en sus resultados de aprendizaje⁴.

Entre los instrumentos disponibles para medir el AE de pregrado, la Dundee Ready Education Environment Measure (DREEM) ha sido reconocida como la más válida y fidedigna⁵. La DREEM fue desarrollada en 1997 y ha sido traducida a distintos idiomas. Deza et al, en la Universidad de Tucumán (Argentina) tradujeron los 58 ítems del cuestionario preliminar de la DREEM al español y encontraron que era confiable con una consistencia interna de 0,91⁶. Es apropiada en la medición del AE de pregrado, particularmente en la etapa inicial del currículo (cursos de ciencias básicas y pre-clínica)⁶. En etapas más avanzadas de la carrera, el aprendizaje independiente en la práctica diaria se hace más importante y aspectos relacionados al ambiente del aula de clases son menos relevantes. No obstante, la DREEM ha sido aplicada en estudiantes de medicina de postgrado y sus propiedades psicométricas fueron determinadas en ese escenario con resultados interesantes⁷. En pregrado, la DREEM ha sido aplicada en escuelas de medicina en Brasil⁸, Canadá⁹, India¹⁰, Irlanda¹¹, Reino Unido¹², Trinidad¹³, Arabia Saudita¹⁴, Singapur¹⁵, Sri Lanka¹⁶, Nigeria, Nepal¹⁷, India¹⁸ y Chile¹⁹. La Asociación de Estudiantes de Medicina de Chile (ASEMECH), preocupada por el bienestar de los estudiantes y por la calidad de la educación médica en el país, se propuso aplicar la versión en español del cuestionario DREEM en 6 escuelas de medicina de Chile con el objetivo de evaluar el AE percibido por sus estudiantes y comparar sus resultados.

Métodos

La DREEM se compone de 50 ítems que se responden con una escala de Likert de 5 opciones: 4 = Completamente de acuerdo; 3 = De acuerdo; 2 = No sabe; 1 = En desacuerdo; 0 = Completamente en desacuerdo. Debido a que los ítems 4, 8, 9, 17, 25, 35, 39, 48 y 50 contienen enunciados en negación, los puntajes fueron invertidos. Por lo tanto, un puntaje más alto significa una percepción más positiva.

La DREEM mide 5 dominios o subescalas: 1. Percepción del aprendizaje (ítems 1, 7, 13, 16, 20, 22, 24, 25, 38, 44, 47 y 48), que aborda la visión de los estudiantes sobre las actividades de enseñanza como, por ejemplo, si reciben objetivos claros en sus cursos, y si la enseñanza es enfocada a los estudiantes y promueve el aprendizaje activo en vez de ser una enseñanza centrada en el docente; 2. Percepción de los Docentes (ítems 2, 6, 8, 9, 18, 29, 32, 37, 39, 40 y 50), que aborda la visión de los estudiantes sobre la calidad de los docentes, incluyendo sus habilidades comunicacionales, si entregan retroalimentación a sus estudiantes y pacientes, su nivel de conocimientos y preparación de clases; 3. Percepción Académica (ítems 5, 10, 21, 26, 27, 31, 41 y 45), que incluye la visión de los estudiantes sobre las estrategias de aprendizaje y las habilidades para resolver problemas que han desarrollado para prepararse para su profesión; 4. Percepción de la Atmósfera (ítems 11, 12, 17, 23, 30, 33, 34, 35, 36, 42, 43 y 49), que incluye áreas como cuan relajada es la atmósfera durante las clases y las pasadas en centros clínicos, si las actividades de enseñanza motivan a los estudiantes, y si hay oportunidades para los estudiantes de desarrollar habilidad de relación interpersonal; y 5. Percepción Social (ítems 3, 4, 14, 15, 19, 28 y 46), que aborda la visión de los estudiantes sobre los sistemas de apoyo disponibles para quienes se estresan, el ambiente físico de la Escuela, la calidad de la vida social, y si los estudiantes encuentran buenas amistades en la Escuela. La escala permite entregar resultados por cada una de las preguntas, de los dominios, y del total de la encuesta. El puntaje máximo de la DREEM es 200. A continuación, se entrega una aproximación para interpretar el resultado total:

0- 50 AE muy pobre.

51-100 AE con muchos problemas.

101-150 AE más positivo que negativo.

151-200 AE excelente.

Para los 5 dominios, los puntajes deben ser interpretados de la siguiente manera:

1. Percepción del aprendizaje:

• 0-12 Muy pobre.
• 13-24 La enseñanza es percibida negativamente.
• 25-36 Una percepción más bien positiva de la enseñanza.
• 37-48 La enseñanza es muy bien evaluada.

2. Percepción de los Docentes: 0-11 Abismante.

• 12-22 Necesitan entrenamiento educacional.
• 23-33 Encaminado en la dirección correcta.
• 34-44 Docentes modelo.

3. Percepción Académica:

• 0- 8 Sentimientos de fracaso total.
• 9-16 Muchos aspectos negativos.

17-24 Sintiéndose más en el lado positivo.

• 25-32 Seguro del futuro académico.

4. Percepción de la Atmósfera:

• 0-11 Un ambiente pésimo.
• 13-24 Hay muchos aspectos que necesitan cambiar.
• 25-36 Una actitud más bien positiva.
• 37-48 Percepción general buena.

5. Percepción Social:

• 0- 7 Miserable.
• 8-14 No es un buen lugar.
• 15-21 No tan mal ambiente social.
• 22-28 Muy buen ambiente social.

La DREEM se aplicó durante el año 2008 a 1.092 alumnos de 3º a 5º año de las escuelas de medicina de las Universidades: Católica de Chile, de Concepción, Santiago de Chile, Católica de la Santísima Concepción, Austral, y de la Frontera, cuya aplicación y tabulación estuvo a cargo de un alumno respectivo perteneciente a cada casa de estudio y miembro del equipo investigador.

Estadística

Se calcularon frecuencias absolutas y relativas, medias y desviación estándar en general, por sexo, por año y por Universidad. Se realizaron pruebas chi-cuadrado para: 1) evaluar la homogeneidad de las poblaciones de las diferentes universidades según sexo y distribución por año; 2) ver si existían diferencias en cómo eran evaluadas las universidades según la categorización en rangos en los diferentes dominios y el total que establece la guía del DREEM; 3) ver si esta categorización dependía del sexo y el año; 4) ver si la respuesta a cada ítem de la escala es diferente según sexo, año y universidad.

Se usó la prueba ANOVA para comparar el total de la escala y de los subdominios entre universidades y años, seguida de las pruebas post-hoc de Scheffé, Tukey o Tamhane cuando no había igualdad de varianzas para identificar entre qué grupos había diferencias. Se usó la prueba t de Student para comparar hombres y mujeres según los promedios en cada dominio y en el total de la escala. Se usó la prueba no paramétrica de Kruskal-Wallis para comparar los rangos promedios de cada pregunta entre universidades y años, seguida de las pruebas no paramétricas de Mann-Whitney con la corrección de Bonferroni para identificar entre qué grupos había diferencias. Se usó además la prueba de Mann-Whitney para comparar hombres y mujeres según los rangos promedios en cada ítem de la escala.

La confiabilidad del instrumento se hizo mediante el cálculo de consistencia interna y el resultado se expresa en rangos de 0 a 1 donde un coeficiente > 0,8 se considera altamente confiable²⁰.

Resultados

Descripción de la población

Un total de 1.092 de 1.419 estudiantes (77%) respondieron la DREEM. El curso con más encuestas fue tercer año con 381 (34,9%). En la muestra hubo más mujeres, con 577 estudiantes encuestadas (52,8%). Los encuestados tuvieron una edad mediana de 22 años con un mínimo de 19 y un máximo de 38. La estadística descriptiva de los encuestados en las 6 Escuelas se muestra en la Tabla 1.

Resultados Generales y por Escuela

Como se observa en la Tabla 2 y en la Figura 1, la Escuela 1 (E-1) y la Escuela 5 (E-5) obtuvieron mejores promedios tanto en el análisis por dominio, como en el resultado total de la encuesta. Los resultados a nivel de las 6 Escuelas son interpretados de la siguiente manera:

Figura 1. Promedio total de la dreeM por escuela y de las 6 escuelas. *las letras muestran los subconjuntos con homogeneidad estadística. a vs b: p < 0,0001. e: escuela. 6e: seis escuelas.

Dominio "Percepción del Aprendizaje".

-  La enseñanza es percibida negativamente. Dominio "Percepción de los Docentes".

-  Encaminado en la dirección correcta.

Dominio "Percepción Académica".

-  Sintiéndose más en el lado positivo. Dominio "Percepción de la Atmósfera":

-  Una actitud más bien positiva. Dominio "Percepción Social":

-  No es un buen lugar. Puntaje Total:

-  AE más positivo que negativo.

El DREEM puede ser analizado por pregunta, donde si el resultado de un ítem es menor a 2, se considera como un área específica problemática que debe ser examinada de cerca. Por otro lado, los ítems que tienen promedio mayor a 3, denotan las áreas específicas que contribuyen a un buen AE dentro de la Escuela. En la Tabla 3 se muestran los promedios por pregunta del DREEM en las 6 Escuelas. El puntaje obtenido en 12 de los 50 ítems (24%), -3, 4, 12, 14, 17, 22, 24, 25, 27, 42, 46 y 47- denotan áreas problemáticas y 3 de los 50 ítems (6%) -2, 10, 15- revelan puntos que aportan a un buen AE.

 

Resultados desagregados de la encuesta DREEM

Al hacer los análisis de los resultados totales por curso en las 6 Escuelas, vemos que 3° año tiene un AE más positivo que 4° año, sin diferencias significativas entre 3° y 5° año, ni 4° y 5° año (Tabla 4).

En el desagregado por género, no se evidencian diferencias en los resultados totales de ninguna de las Escuelas ni en el promedio general. Sin embargo, al ver los resultados por pregunta, evidenciamos que hay diferencias significativas. A favor de las mujeres está su percepción de que los docentes no son tan autoritarios (Pregunta 9); que la enseñanza en la Escuela no pone tanto énfasis en el aprendizaje de detalles (Pregunta 25); que se sienten más cómodas, socialmente, en clases (Pregunta 33); que les parece más relevante la enseñanza para su carrera como médico (Pregunta 45); y que causan menos irritación a los docentes (Pregunta 50). Por el otro lado, a favor de los hombres está que perciben que hay un mejor sistema de apoyo para los estudiantes que sufren de estrés (Pregunta 3); que tienen más confianza de que van a pasar el año (Pregunta 10); y que la enseñanza en la Escuela está suficientemente preocupada de desarrollar su confianza (Pregunta 22).

Por último, la encuesta resultó ser altamente confiable con un Cronbach alfa de 0,92.

Discusión

La encuesta DREEM tuvo una alta tasa de respuesta (77%), lo cual entrega una buena confianza en cuanto a la representatividad de estos resultados.

Al revisar los resultados generales, se evidencia una variabilidad significativa entre las Escuelas, y vemos que la Escuela 1 y la Escuela 5 obtuvieron promedios significativamente mejores que las otras 4, lo que las sitúa como las Escuelas con mejor AE en Chile, entre las 6 evaluadas en este estudio.

En los resultados totales, el AE en estas Escuelas puede ser calificado como más positivo que negativo, aunque tendiente a estar muy en la parte baja del tramo definido para dicha denominación, lo que da luces de que se deben tomar medidas para mejorar el AE, sobre todo en las 4 Escuelas que están bajo el promedio.

En el análisis por dominio, la percepción del aprendizaje y la percepción social califican negativamente. Esto tiene su correlato al ver los resultados promedio por pregunta, donde se identifican 3 grupos de problemas. El primero, se refiere al estrés, la tensión y el cansancio que muestran los estudiantes, lo que podría estar explicado por la falta de espacios físicos de esparcimiento y a la exigencia académica de los cursos en las Escuelas donde se privilegia los horarios que ocupan largas jornadas de cada día y el aprendizaje de detalles, lo que lleva a memorizar contenidos y a la inmediatez del aprendizaje por sobre el largo plazo. El segundo, apunta a la enseñanza en las Escuelas de Medicina, donde por un lado se percibe a los docentes como más autoritarios, sin capacidad de estimular la auto-confianza en lo que se hace y, por otro lado, se percibe que los cursos son aburridos y se utilizan mal los tiempos de enseñanza. Y el tercero, se relaciona con el reconocimiento de la copia como un problema en las Escuelas. Al haber identificado estos grupos de problemas, las Escuelas debiesen profundizar particularmente en estas áreas para definir estrategias que permitan abordarlos en conjunto con los estudiantes (por ejemplo, realizar focus groups, tanto de docentes como de estudiantes y acercarse a los Centros de Estudiantes). Especial énfasis debiese ponerse en el tema de la copia, ya que la medicina es una profesión en que el conocimiento implica resultados que inciden directamente sobre la vida y calidad de vida de personas.

Por otra parte, del análisis por pregunta podemos decir que es preocupante que sólo 3 ítems estén contribuyendo a un buen AE. Se desprende que los estudiantes ven a sus docentes como bien capacitados en sus materias, que tienen la confianza de pasar el año y, quizás lo más destacable, que tienen buenos amigos en la Escuela, lo que habla de un factor social muy importante para sobrellevar la carrera.

Al ver estos puntos positivos y negativos, es interesante observar que a pesar del estrés en los estudiantes y todo lo que puede provocarlo, ellos confían que podrán pasar de curso sin problemas. Además, podemos desprender que los docentes son percibidos como buenos en sus áreas de especialización pero sin tener herramientas para impartir una buena enseñanza (autoritarios, cursos aburridos, mala utilización de tiempos), lo cual debiese ser abordado por las Escuelas para entregar capacitación docente a los clínicos.

El análisis desagregado por curso, muestra una diferencia estadística que favorece a 3° año por sobre 4° año. Sin embargo, no existe una tendencia clara en las Escuelas lo que indica que el año de carrera no sería un predictor del AE. En la exploración por sexos, no se evidencian diferencias significativas en ninguna Escuela, lo que habla de la igualdad en el AE percibido por hombres y mujeres.

En conclusión, el AE en las 6 Escuelas de Medicina es relativamente positivo, pero áreas como la sobre-exigencia académica, el apoyo a los estudiantes para combatir el estrés, la falta de espacio para actividades extracurriculares y la copia en las evaluaciones se evidencian como problemáticas y deben ser abordadas con políticas participativas para confeccionar un plan de acción en cada Escuela que apunte a mejorar el AE de los estudiantes de pregrado de las escuelas de medicina Chilenas.

 

Referencias

1. Pimparyon P, Roff S, Mcaleer S, Poonchai B, Pemba S. Educational environment, student approaches to learning and academic achievement in a Thai nursing school. Med Teach 2000; 22: 359-64.

2. Genn JM. AMEE Medical Education Guide No 23 (Part 1): Curriculum environment, climate, quality and change in medical education -a unifying perspective. Med Teach 2001a; 23: 337-44.

3. Cavanaugh S, Simmons P. Evaluation of a school climate instrument for assessing affective objectives in health professional education. Eval Health Prof 1997; 20: 455-79.

4. Hutchinson L. ABC of learning and teaching: Educational environment. BMJ 2003; 326: 810-2.

5. Soemantri D, Herrera C, Riquelme A. Measuring the educational environment in health professions studies: a systematic review. En prensa, Med Teach.

6. Roff S, Mcaleer S, Harden RM, Al-Qahtani M, Uddin AA, Deza H, et al. Development and Validation of the Dundee Ready Education Environment Measure (DREEM). Med Teach 1997; 19: 295-9.

7. De Oliveira Filho GR, Vieira JE, Schonhorst L. Psychometric properties of the Dundee Ready Educational Environment Measure (DREEM) applied to medical residents. Med Teach 2005; 27: 343-7.

8. Sobral DT. Medical students’ self-appraisal of first-year learning outcomes: use of the course valuing inventory. Med Teach 2004; 26: 234-8.

9. Till H. Identifying the perceived weaknesses of a new curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory. Med Teach 2004; 26: 39-45.

10. Abraham R, Ramnarayan K, Vinod P, Torke S. Students’ perceptions of learning environment in an Indian medical school. BMC Med Educ 2008; 8: 20.

11. Avalos G, Freeman C, Dunne F. Determining the quality of the medical educational environment at an Irish medical school using the DREEM inventory. Ir Med J 2007; 100: 522-5.

12. Dunne FS, McAleer S, Roff S. Assessment of the undergraduate medical education environment in a large UK medical school. Health Educ J 2006; 65 (2): 149-58.

13. Bassaw B, Roff S, McAleer S, Roopnarinesingh S, de Lisle J, Teelucksingh S. Students’ perspectives on the educational environment, Faculty of Medical Sciences, Trinidad. Med Teach 2003; 25: 522-6.

14. Al-Ayed IH, Sheik SA. Assessment of the educational environment at the College of Medicine of King Saud University, Riyadh. East Mediterr Health J 2008; 14: 953-9.

15. O’Brien AP, Chan TM, Cho MA. Investigating nursing students’ perceptions of the changes in a nursing curriculum by means of the Dundee Ready Education Environment Measure (DREEM) inventory: results of a cluster analysis. Int J Nurs Educ Scholarsh 2008; 5: Article 25.

16. Jiffry MT, McAleer S, Fernando S, Marasinghe RB. Using the DREEM questionnaire to gather baseline information on an evolving medical school in Sri Lanka. Med Teach 2005; 27: 348-52.

17. Roff S, McAleer S, Ifere O, Bhattacharya S. A global diagnostic tool for measuring educational environment: comparing Nigeria and Nepal. Med Teach 2001; 23: 378-82.

18. Mayya SS, Roff S. Students’ perceptions of educational environment: a comparison of academic achievers and underachievers at Kasturba Medical College, India. Educ Health 2004; 17: 280-91.

19. Riquelme A, Oporto M, Oporto J, Méndez JI, Viviani P, Salech F, et al. Measuring Students’ Perceptions of the Educational Climate of the New Curriculum at the Pontificia Universidad Católica de Chile: Performance of the Spanish Translation of the Dundee Ready Education Environment Measure (DREEM). Education for Health, 2009; Volume 22: Issue 1.

20. Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16: 297-334.

 

Recibido el 12 de junio de 2009, aceptado el 26 de mayo de 2010.

Correspondencia a: Cristian Herrera Riquelme. Escuela de Medicina Pontifiicia Universidad Católica de Chile. Marcoleta 367, Santiago, Chile. Teléfonos: 56-2-3543820 E-mail: crherrer@uc.cl