Resumen de Interactive semantic segmentation in laparoscopic images with deep neural networks

Leticia Monasterio Expósito

• español

  La segmentación semántica juega un papel fundamental como tarea previa en diversas aplicaciones de Visión por Computador, como el procesamiento de imágenes, el seguimiento o tracking, el registro de imágenes y la reconstrucción. Además, esta disciplina tiene aplicaciones en diversos campos como el procesamiento de imágenes industriales, la visión robótica, los vehículos autónomos y, en particular, en la imagen médica. Esta tesis se centra en la segmentación semántica en imágenes médicas, poniendo un énfasis especial en los sistemas de Cirugía Mínimamente Invasiva guiados por Realidad Aumentada (AR), para los cuales la segmentación semántica es una etapa clave de pre- procesamiento. Los principales desafíos a los que se enfrenta este campo son la falta de conjuntos de datos grandes y variados, y la tremenda variabilidad entre diferentes pacientes. Abordar estos problemas mediante la creación de conjuntos de datos adecuados y métodos basados en aprendizaje profundo es una tarea difícil debido a la limitada disponibilidad de pacientes y la naturaleza laboriosa de la anotación manual realizada por expertos. Para superar estos desafíos, esta tesis investiga una metodología de entrenamiento de métodos de segmentación semántica basados en redes neuronales profundas que mejora la generalización mediante un método nuevo de aumento de datos etiquetados. Este método se basa en el uso de técnicas artificiales de empeoramiento de las etiquetas para el entrenamiento de una red discriminadora. Dicha red es luego utilizada para mejorar el entrenamiento de la red de segmentación. El método propuesto se adapta al entrenamiento de redes neuronales de segmentación del estado del arte y se somete a una experimentación rigurosa para validar su efectividad. Además, en una segunda contribución, se explora el uso de la segmentación interactiva para aprovechar el conocimiento del experto y mejorar los resultados. Para ello, se ha diseñado un método interactivo de corrección de la segmentación que se basa en el uso de mapas de guiado que acumulan toda la información de interacciones anteriores y son utilizados como entradas auxiliares de la red de segmentación. Nuestro enfoque se evalúa ampliamente en conjuntos de datos de imágenes médicas, demostrando su eficacia y potencial para el avance en el campo de la segmentación semántica, particularmente en el contexto de los sistemas de Cirugía Mínimamente Invasiva guiados por Realidad Aumentada.

• English

  Semantic segmentation plays a crucial role as a prerequisite task for various Computer Vision applications, such as image processing, tracking, image registration, and reconstruction. It finds applications in diverse fields such as industrial image processing, robotic vision, automated driving, and particularly, medical imaging. This thesis focuses on semantic segmentation in medical imaging, with a specific emphasis on Augmented Reality (AR) guided Minimally Invasive Surgery systems, for which semantic segmentation is a key preprocessing step. The major challenges faced in this domain are the lack of large and variable datasets and the intra-patient variability. Addressing these issues by creating suitable datasets is a challenging task due to limited patient availability and the time-consuming nature of manual annotation by experts. To overcome these challenges, this thesis investigates a semantic segmentation training methodology that improves generalization by using a new strategy for labeled data augmentation. The proposed method is based on using synthetic label deterioration methods to train a discriminator network.

  The discriminator is then used during training of the segmentation model and helps improving the segmentation results in unseen data. Our proposed method can be applied to state-of-the-art segmentation models and undergoes rigorous experimentation to validate its effectiveness. Additionally, we explore the use of interactive segmentation to leverage the expert’s knowledge and improve results. We devise an interactive click-based correction method that uses information from previous interactions in the form of accumulated guidance maps that are then used as an additional input in the segmentation model. Our approach is extensively evaluated on medical imaging datasets, demonstrating its efficacy and potential for advancement in the field of semantic segmentation, particularly in the context of Minimally Invasive Surgery images.