Segmentación semántica bajo paradigma one-shot learning utilizando SAM y CP-CVV

• Duque-Domingo, Jaime ^[1] ; Gómez-García-Bermejo, Jaime ^[1] ; Zalama, Eduardo ^[1] ; Gómez-Ramos, Raúl ^[2] ; Finzi, Alberto ^[3]
  1. [1] Universidad de Valladolid

     Universidad de Valladolid

     Valladolid, España

     
  2. [2] Centro de Automatización Robótica y Tecnologías de la Información y de la Fabricación

     Centro de Automatización Robótica y Tecnologías de la Información y de la Fabricación

     Valladolid, España

     
  3. [3] Universit`a degli Studi di Napoli Federico II

  Mostrar afiliaciones +
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Semantic segmentation under one-shot learning paradigm using SAM and CP-CVV
• Enlaces
  • Texto completo
• Resumen
  • español

    La detección y segmentación de objetos en escenas complejas se suele llevar a cabo mediante el entrenamiento de modelos de detección y/o segmentación que requieren el etiquetado manual de cientos de imágenes por categoría. Tanto el proceso de etiquetado como el del entrenamiento pueden llegar a ser costosos tanto computacionalmente como a nivel de esfuerzo humano. Las técnicas de segmentación genérica mediante zero-shot learning abren la posibilidad a segmentar objetos nunca antes vistos. Sin embargo, estas técnicas no son semánticas y no nos permiten identificar el objeto que se está segmentando. Nosotros proponemos el uso de un método integrado de segmentación genérica y CP-CVV para detectar y segmentar objetos a partir de una única muestra. Esta técnica permite crear un abanico de posibilidades donde se busca un aprendizaje rápido e incremental y sólo tenemos acceso a una o a un reducido número de imágenes del objeto que deseamos localizar.

  • English

    Detection and segmentation of objects in complex scenes is often performed by training detection and/or segmentation modelst hat require manual labelling of hundreds of images per category. Both the labelling and training process can be computationally and human-effort intensive. Generic segmentation techniques using zero-shot learning open up the possibility of segmenting previously unseen objects. However, these techniques are not semantic and do not allow us to identify the object being segmented.We propose the use of an integrated method of generic segmentation and CP-CVV (Class Partitioning and Cross Validation Voting) to detect and segment objects from a single sample. This technique allows us to create a range of possibilities where weare looking for fast and incremental learning and we only have access to one or a small number of images of the object we want to locate.