Evaluación del razonamiento clínico de GPT-4o, inteligencia artificial generativa multimodal, en 18 casos clínicos públicos sobre gastroenterología

• Alejandro García-Rudolph ^[1] ; Elena Hernández-Pena ^[1] ; Nuria del Cacho ^[1] ; Claudia Teixido-Font ^[1] ; Marc Navarro-Berenguel ^[1] ; Eloy Opisso ^[1]
  1. [1] Institut Guttmann. Institut Universitari de Neurorehabilitació. Univesitat Autònoma de Barcelona (UAB). Badalona, Barcelona. España
• Localización: Revista Española de Enfermedades Digestivas, ISSN-e 2340-4167, ISSN 1130-0108, Vol. 118, Nº. 2, 2026, págs. 95-100
• Idioma: español
• Títulos paralelos:
  • Evaluation of the clinical reasoning of GPT-4o, a multimodal generative artificial intelligence model, in 18 public gastroenterology case studies
• Enlaces
  • Texto completo  1    2  
• Resumen
  • español

    Introducción y objetivo: aunque los modelos generativos de lenguaje han sido ampliamente estudiados en el ámbito de las enfermedades digestivas, para continuar avanzando se deben abordar aspectos poco explorados, como el sesgo lingüístico, la evaluación del razonamiento clínico que justifica las respuestas y el uso de materiales clínicos realistas en contextos no anglófonos. El objetivo de este estudio fue evaluar la precisión de GPT-4o al responder preguntas clínicas en español y analizar cualitativamente sus errores. Métodos: se utilizó el examen oficial más reciente para facultativo especialista en Aparato Digestivo (España, 2023), en su parte práctica, que incluye 18 casos clínicos reales descritos mediante texto e imágenes, totalizando 50 preguntas de opción múltiple (200 opciones en total). Se analizaron 49 preguntas válidas, excluyendo una retirada por la organización. GPT-4o respondió correctamente en 39 casos (79,6 %). No se observaron diferencias significativas en el rendimiento entre preguntas con imagen clínica (22/29 correctas) y sin imagen (17/20 correctas). Resultados: el 20 % de las respuestas fueron incorrectas y en esos casos se solicitó al modelo que explicara su razonamiento. Un equipo de expertos analizó cualitativamente los patrones de error. Los fallos se asociaron a generalizaciones terapéuticas inapropiadas, confusión en la secuencia diagnóstica o terapéutica, integración deficiente de la información contextual, desconocimiento de contraindicaciones y omisión de criterios temporales clave en la toma de decisiones clínica. Conclusiones: las imágenes clínicas no aumentaron los errores, pero los fallos revelan que el modelo omite información ya proporcionada (como contexto clínico o criterios temporales), afectando la calidad del razonamiento.

  • English

    Introduction and aim: although generative language models have been extensively studied in the field of digestive diseases, further progress requires addressing underexplored aspects such as linguistic bias, the evaluation of clinical reasoning underlying model responses, and the use of realistic clinical material in non-English-speaking contexts. The aim of this study was to evaluate the accuracy of GPT-4o to answer clinical questions in Spanish and to qualitatively analyze its errors. Methods: we used the most recent official board examination for specialist in Gastroenterology (Spain, 2023), focusing on its practical section, which includes 18 real clinical cases described through text and images, totaling 50 multiple-choice questions (200 options in total). Forty-nine valid questions were analyzed, excluding one withdrawn by the organizing committee. GPT-4o answered 39 questions correctly (79.6 %). No significant differences were observed between questions with clinical images (22/29 correct) and those without images (17/20 correct). Results: twenty percent of the answers were incorrect. In those cases, the model was prompted to provide its reasoning, which was then qualitatively analyzed by a team of experts. Errors were associated with inappropriate therapeutic generalizations, confusion regarding diagnostic or therapeutic sequencing, poor integration of contextual information, unawareness of contraindications, and omission of key temporal criteria in clinical decision-making. Conclusions: clinical images did not increase the error rate; however, the observed failures revealed that the model tends to omit information already provided (such as clinical context or temporal criteria), thereby compromising the quality of its reasoning.