Resumen de Applicability of an unsupervised cluster model developed on first wave COVID-19 patients in second/third wave critically ill patients

Alejandro Rodríguez Oviedo, Josep Gómez, Álvaro Franquet Bonet, Sandra Trefler, Emili Díaz, J. Solé Violán, Rafael Zaragoza Crespo, Elisabeth Papiol, Borja Suberviola, Monserrat Vallverdú, María Francisca Jiménez Herrera, Antonio Albaya Moreno, Alfonso Canabal Berlanga, Maria del Valle-Ortiz, Juan Carlos Ballesteros Herráez, Lucía López Amor, Susana Sancho Chinesta, Maria de Alba-Aparicio, Angel Estella García, Ignacio Martín-Loeches

• español

  Objetivo Validar el modelo de conglomerados no supervisado (USCM) desarrollado durante la primera ola pandémica en una cohorte de pacientes críticos de la segunda y tercera ola.

  Diseño Estudio observacional, retrospectivo y multicéntrico.

  Entorno Unidad de Cuidados Intensivos (UCI).

  Pacientes Pacientes adultos ingresados con COVID-19 e insuficiencia respiratoria durante la segunda/tercera ola pandémica.

  Intervenciones Ninguna.

  Variables de interés principals Se recogieron características demográficas y clínicas, comorbilidades, laboratorio y evolución en UCI. Para validar el USCM original, asignamos un fenotipo a cada paciente de la cohorte de validación. El rendimiento se determinó mediante análisis de silueta (AS) y modelización lineal general. En un análisis post-hoc desarrollamos y validamos un USCM específico para el conjunto de validación. El rendimiento del modelo se midió mediante la prueba de exactitud y el área bajo la curva (AUC) ROC.

  Resultados Se incluyeron 2033 pacientes (edad media 63 [53–-82] años, 1643 (70,5%) varones, APACHE II (12 [9–16]) y SOFA (4 [3–6]). La mortalidad en UCI fue del 27,2%. El USCM clasificó a los pacientes en 3 fenotipos clínicos: A (n = 1206 pacientes, 51.8%); B (n = 618 pacientes, 26.5%), and C (n = 506 pacientes, 21.7%). Las características de los pacientes dentro de cada fenotipo fueron significativamente diferentes de la población original. El AS fue −0.007 y la inclusión de la clasificación por fenotipos en un modelo de regresión no mejoró el rendimiento del modelo (ROC 0.79 y 0.78 para el modelo original y de validación). El modelo post-hoc obtuvo mejores resultados que el modelo de validación (AS −0.08).

  Conclusiones Los modelos desarrollados durante la primera oleada pandémica no pueden aplicarse con un rendimiento adecuado a los pacientes ingresados en oleadas posteriores sin una validación previa.

• English

  Objective To validate the unsupervised cluster model (USCM) developed during the first pandemic wave in a cohort of critically ill patients from the second and third pandemic waves.

  Design Observational, retrospective, multicentre study.

  Setting Intensive Care Unit (ICU).

  Patients Adult patients admitted with COVID-19 and respiratory failure during the second and third pandemic waves.

  Interventions None.

  Main variables of interest Collected data included demographic and clinical characteristics, comorbidities, laboratory tests and ICU outcomes. To validate our original USCM, we assigned a phenotype to each patient of the validation cohort. The performance of the classification was determined by Silhouette coefficient (SC) and general linear modelling. In a post-hoc analysis we developed and validated a USCM specific to the validation set. The model’s performance was measured using accuracy test and area under curve (AUC) ROC.

  Results A total of 2330 patients (mean age 63 [53–82] years, 1643 (70.5%) male, median APACHE II score (12 [9–16]) and SOFA score (4 [3–6]) were included. The ICU mortality was 27.2%. The USCM classified patients into 3 clinical phenotypes: A (n = 1206 patients, 51.8%); B (n = 618 patients, 26.5%), and C (n = 506 patients, 21.7%). The characteristics of patients within each phenotype were significantly different from the original population. The SC was −0.007 and the inclusion of phenotype classification in a regression model did not improve the model performance (0.79 and 0.78 ROC for original and validation model). The post-hoc model performed better than the validation model (SC −0.08).

  Conclusion Models developed using machine learning techniques during the first pandemic wave cannot be applied with adequate performance to patients admitted in subsequent waves without prior validation.