Competency assessment of residents of Intensive Care Medicine through a simulation-based objective structured clinical evaluation (OSCE): A multicenter observational study

• Á. Castellanos-Ortega ^[2] ; M.J. Broch ^[2] ; D. Palacios-Castañeda ^[3] ; V. Gómez-Tello ^[4] ; M. Valdivia ^[3] ; C. Vicent ^[2] ; I. Madrid ^[2] ; N. Martinez ^[3] ; María José Párraga Quiles ; E. Sancho ^[2] ; M.d.C. Fuentes-Dura ^[1] ; M.D. Sancerni-Beitia ^[1] ; R. García-Ros ^[1]
  1. [1] Universitat de València

     Universitat de València

     Valencia, España

     
  2. [2] Hospital Universitario y Politécnico La Fe (Valencia)
  3. [3] Hospital Puerta de Hierro (Majadahonda)
  4. [4] University Hospital Moncloa (Madrid)
  5. [5] Hospital Universitario Morales Meseguer (Murcia)

  Mostrar afiliaciones +
• Localización: Medicina intensiva, ISSN-e 1578-6749, ISSN 0210-5691, Vol. 46, Nº. 9, 2022, págs. 491-500
• Idioma: inglés
• Títulos paralelos:
  • Evaluación del nivel de competencia de residentes de Medicina Intensiva mediante una evaluación clínica, objetiva y estructurada basada en simulación (ECOE): estudio multicéntrico observacional
• Enlaces
  • Texto completo
• Resumen
  • español

    Objetivos El modelo de formación en medicina intensiva (MI) en España se basa en la experiencia adquirida durante una serie de rotaciones programadas por diferentes áreas clínicas. El objetivo principal del estudio fue determinar el nivel de competencia (I principiante – V autónomo) de los residentes de MI al finalizar el tercer año de residencia (R3) mediante una ECOE basada en simulación. Objetivos secundarios: 1) identificar brechas en el desempeño; 2) investigar la fiabilidad y validez de una ECOE simulada multicéntrica como método de evaluación.

    Diseño Estudio multicéntrico observacional.

    Ámbito Trece servicios españoles de Medicina Intensiva.

    Participantes Treinta y seis R3.

    Intervención Los 36 R3 participaron en cinco escenarios clínicos simulados de 15 minutos de duración en cuatro centros de simulación. Las actuaciones se grabaron en video y posteriormente se calificaron por pares de expertos.

    Variables de interés principales Un panel de intensivistas expertos seleccionó mediante el método Delphi los elementos críticos esenciales de cada escenario para definir los niveles de competencia.

    Resultados La consistencia interna de los listados de verificación fue adecuada (KR-20:0,64-0,79). La fiabilidad interjueces fue elevada (coeficiente de correlación intraclase [mediana]: 0,89 [0,65-0,97]). Los niveles de competencia conseguidos fueron: nivel I (18,8%), II (35,2%), III (42,6%), IV/V (3,4%). Globalmente, se observó una gran heterogeneidad en el desempeño.

    Conclusión El nivel de competencia esperado se logró únicamente en la mitad de las actuaciones. Se necesita un modelo de formación más basado en objetivos y evidencias. La evaluación mediante escenarios simulados en múltiples centros demostró ser factible y fiable.

  • English

    Objectives The current official model of training in Intensive Care Medicine (ICM) in Spain is based on exposure to experiences through clinical rotations. The main objective was to determine the level of competency (I novice to V independent practitioner) achieved by the residents at the end of the 3rd year of training (R3) in ICM through a simulation-based OSCE. Secondary objectives were: (1) To identify gaps in performance, and (2) To investigate the reliability and feasibility of conducting simulation-based assessment at multiple sites.

    Design Observational multicenter study.

    Setting Thirteen Spanish ICU Departments.

    Participants Thirty six R3.

    Intervention The participants performed on five, 15-min, high-fidelity crisis scenarios in four simulation centers. The performances were video recorded for later scoring by trained raters.

    Main variables of interest Via a Delphi technique, an independent panel of expert intensivists identified critical essential performance elements (CEPE) for each scenario to define the levels of competency.

    Results A total of 176 performances were analyzed. The internal consistency of the check-lists were adequate (KR-20 range 0.64–0.79). Inter-rater reliability was strong [median Intraclass Correlation Coefficient across scenarios: 0.89 (0.65–0.97)]. Competency levels achieved by R3 were: Level I (18.8%), II (35.2%), III (42.6%), IV/V (3.4%). Overall, a great heterogeneity in performance was observed.

    Conclusion The expected level of competency after one year in the ICU was achieved only in half of the performances. A more evidence-based educational approach is needed. Multiple center simulation-based assessment showed feasibility and reliability as an evaluation method of competency.