Detección de participantes del tráfico en entornos urbanos sobre imágenes RGB y nubes de puntos 3D

• Montenegro Navarro, Jorge ^[1] ; García Guillén, Alberto ^[1] ; Castro Payán, Francisco Manuel ^[1] ; Martínez Rodríguez, Jorge Luis ^[1] ; Morales Rodríguez, Jesús ^[1]
  1. [1] Universidad de Málaga

     Universidad de Málaga

     Málaga, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Detection of Traffic Participants in Urban Environments using RGB Images and 3D Point Clouds
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo plantea el desarrollo de un entorno de pruebas para la detección de participantes del tráfico en entornos urbanos, mediante redes neuronales a partir del procesamiento de los datos procedentes de los sensores del vehículo: una cámara RGB y un sensor LiDAR 3D. Para ello se presenta la integración del simulador realista CARLA (Car Learning to Act), que permite la recreación de escenarios urbanos complejos, junto a ROS2 (Robot Operating System), que es un entorno para la creación de aplicaciones robóticas. En concreto, se evalúa cualitativamente el rendimiento de la red CNN (Convolutional Neural Network) YOLOv8 y la red transformadora especializada en detección DETR (Detection Transformer) para el caso de imágenes RGB. De forma análoga, para la detección de participantes del tráfico en nubes de puntos se analizan las redes PV-RCNN (PointVoxel Regional based Convolutional Neural Network) y su evolución Part-A2-Net.

  • English

    This article proposes the development of a test environment for the detection of traffic participants in urban environmentsusing neural networks based on the processing of data from vehicle sensors: an RGB camera and a 3D LiDAR sensor. It presentsthe integration of the realistic simulator CARLA (Car Learning to Act), which allows the detailed recreation of complex urbanscenarios, together with ROS2 (Robot Operating System), which is a framework for the development of robotic applications.Specifically, for the case of RGB images, the performance of the CNN (Convolutional Neural Network) YOLOv8 and the DETR(Detection Transformer) is qualitatively evaluated. Similarly, for the detection of traffic participants in point clouds, the PV-RCNN (PointVoxel Regional based Convolutional Neural Network) and its evolution Part-A2-Net are analysed.