Applicability of an unsupervised cluster model developed on first wave COVID-19 patients in second/third wave critically ill patients

• Alejandro Rodríguez ^[1] ; Josep Gómez ^[1] ; Álvaro Franquet ^[1] ; Sandra Trefler ^[1] ; Emili Díaz ^[10] ; Jordi Sole-Violán ^[11] ; Rafael Zaragoza ^[12] ; Elisabeth Papiol ^[2] ; Borja Suberviola ^[3] ; Montserrat Vallverdú ^[4] ; María Jimenez-Herrera ^[5] ; Antonio Albaya-Moreno ^[6] ; Alfonso Canabal Berlanga ^[13] ; María del Valle Ortíz ^[7] ; Juan Carlos Ballesteros ^[14] ; Lucía López Amor ^[8] ; Susana Sancho Chinesta ^[15] ; Maria de Alba-Aparicio ^[9] ; Angel Estella ^[16] ; Ignacio Martín-Loeches ^[17]
  1. [1] Hospital Universitari de Tarragona Joan XXIII

     Hospital Universitari de Tarragona Joan XXIII

     Tarragona, España

     
  2. [2] Hospital Vall d'Hebron

     Hospital Vall d'Hebron

     Barcelona, España

     
  3. [3] Hospital Universitario Marqués de Valdecilla

     Hospital Universitario Marqués de Valdecilla

     Santander, España

     
  4. [4] Hospital Universitario Arnau de Vilanova

     Hospital Universitario Arnau de Vilanova

     Lérida, España

     
  5. [5] Universitat Rovira i Virgili

     Universitat Rovira i Virgili

     Tarragona, España

     
  6. [6] Hospital Universitario de Guadalajara

     Hospital Universitario de Guadalajara

     Guadalajara, España

     
  7. [7] Complejo Asistencial Universitario de Burgos

     Complejo Asistencial Universitario de Burgos

     Burgos, España

     
  8. [8] Hospital Universitario Central de Asturias

     Hospital Universitario Central de Asturias

     Oviedo, España

     
  9. [9] Hospital Universitario Reina Sofia

     Hospital Universitario Reina Sofia

     Cordoba, España

     
  10. [10] Hospital Parc Tauli (Sabadell, Spain)
  11. [11] Hospital Universitario Dr. Negrin/Universidad Fernando Pessoa (Las Palmas de Gran Canaria, Spain)
  12. [12] Hospital Dr. Peset (Valencia, Spain)
  13. [13] Hospital de La Princesa (Madrid, Spain)
  14. [14] Hospital Clínico de Salamanca (Salamanca, Spain)
  15. [15] Hospital Universitario y Politécnico La Fe (Valencia, Spain)
  16. [16] Hospital Universitario de Jerez (Jerez de la Frontera, Spain)
  17. [17] St. James’s Hospital (Dublin, Ireland)

  Mostrar afiliaciones +
• Localización: Medicina intensiva, ISSN-e 1578-6749, ISSN 0210-5691, Vol. 48, Nº. 6, 2024, págs. 326-340
• Idioma: inglés
• Títulos paralelos:
  • Aplicabilidad de un modelo no supervisado de conglomerados desarrollado en pacientes COVID-19 de primera oleada en pacientes críticos de segunda/tercera oleada
• Enlaces
  • Texto completo
• Resumen
  • español

    Objetivo Validar el modelo de conglomerados no supervisado (USCM) desarrollado durante la primera ola pandémica en una cohorte de pacientes críticos de la segunda y tercera ola.

    Diseño Estudio observacional, retrospectivo y multicéntrico.

    Entorno Unidad de Cuidados Intensivos (UCI).

    Pacientes Pacientes adultos ingresados con COVID-19 e insuficiencia respiratoria durante la segunda/tercera ola pandémica.

    Intervenciones Ninguna.

    Variables de interés principals Se recogieron características demográficas y clínicas, comorbilidades, laboratorio y evolución en UCI. Para validar el USCM original, asignamos un fenotipo a cada paciente de la cohorte de validación. El rendimiento se determinó mediante análisis de silueta (AS) y modelización lineal general. En un análisis post-hoc desarrollamos y validamos un USCM específico para el conjunto de validación. El rendimiento del modelo se midió mediante la prueba de exactitud y el área bajo la curva (AUC) ROC.

    Resultados Se incluyeron 2033 pacientes (edad media 63 [53–-82] años, 1643 (70,5%) varones, APACHE II (12 [9–16]) y SOFA (4 [3–6]). La mortalidad en UCI fue del 27,2%. El USCM clasificó a los pacientes en 3 fenotipos clínicos: A (n = 1206 pacientes, 51.8%); B (n = 618 pacientes, 26.5%), and C (n = 506 pacientes, 21.7%). Las características de los pacientes dentro de cada fenotipo fueron significativamente diferentes de la población original. El AS fue −0.007 y la inclusión de la clasificación por fenotipos en un modelo de regresión no mejoró el rendimiento del modelo (ROC 0.79 y 0.78 para el modelo original y de validación). El modelo post-hoc obtuvo mejores resultados que el modelo de validación (AS −0.08).

    Conclusiones Los modelos desarrollados durante la primera oleada pandémica no pueden aplicarse con un rendimiento adecuado a los pacientes ingresados en oleadas posteriores sin una validación previa.

  • English

    Objective To validate the unsupervised cluster model (USCM) developed during the first pandemic wave in a cohort of critically ill patients from the second and third pandemic waves.

    Design Observational, retrospective, multicentre study.

    Setting Intensive Care Unit (ICU).

    Patients Adult patients admitted with COVID-19 and respiratory failure during the second and third pandemic waves.

    Interventions None.

    Main variables of interest Collected data included demographic and clinical characteristics, comorbidities, laboratory tests and ICU outcomes. To validate our original USCM, we assigned a phenotype to each patient of the validation cohort. The performance of the classification was determined by Silhouette coefficient (SC) and general linear modelling. In a post-hoc analysis we developed and validated a USCM specific to the validation set. The model’s performance was measured using accuracy test and area under curve (AUC) ROC.

    Results A total of 2330 patients (mean age 63 [53–82] years, 1643 (70.5%) male, median APACHE II score (12 [9–16]) and SOFA score (4 [3–6]) were included. The ICU mortality was 27.2%. The USCM classified patients into 3 clinical phenotypes: A (n = 1206 patients, 51.8%); B (n = 618 patients, 26.5%), and C (n = 506 patients, 21.7%). The characteristics of patients within each phenotype were significantly different from the original population. The SC was −0.007 and the inclusion of phenotype classification in a regression model did not improve the model performance (0.79 and 0.78 ROC for original and validation model). The post-hoc model performed better than the validation model (SC −0.08).

    Conclusion Models developed using machine learning techniques during the first pandemic wave cannot be applied with adequate performance to patients admitted in subsequent waves without prior validation.