Event-based Perception for Aerial Robots: From Multirotors to Ornithopters

• Autores: Juan Pablo Rodríguez Gómez
• Directores de la Tesis: José Ramiro Martínez de Dios (dir. tes.), Aníbal Ollero Baturone (dir. tes.)
• Lectura: En la Universidad de Sevilla ( España ) en 2023
• Idioma: español
• Número de páginas: 221
• Enlaces
  • Tesis en acceso abierto en: Idus
• Resumen
  • español

    Esta Tesis Doctoral tiene como objetivo explorar las ventajas ofrecidas por las c´amaras de eventos en la rob´otica a´erea, en particular, en robots de ala batiente en los que la visi´on basada en eventos se encuentra pr´acticamente inexplorada. Esta Tesis Doctoral propone un conjunto de herramientas y algoritmos de percepci´on para aprovechar las ventajas de la visi´on basada en eventos en aplicaciones de rob´otica a´erea. Los m´etodos propuestos se validan experimentalmente en dos tipos de robots a´ereos: multirotores y ornit´opteros. Estas plataformas suponen varios desaf´ıos para la percepci´on basada en visi´on artificial. Por ejemplo, el movimiento ´agil de los multirotores y los aleteos causados por los ornit´opteros generan im´agenes con desenfoque por movimiento (o en ingles motion blur ) que pueden afectar al rendimiento de algoritmos de percepci´on basados en im´agenes. Adicionalmente, los ornit´opteros y multirrotores que realizan maniobras r´apidas requieren algoritmos de percepci´on que actualicen r´apidamente la informaci´on usada para la navegaci´on del robot. Adem´as, ambos tipos de plataformas tienen carga ´util y potencia reducidas lo que limita el tipo y la cantidad de hardware de percepci´on a bordo. Equipar ornit´opteros con sensores de percepci´on es una tarea compleja, ya que estas plataformas tienen una carga ´util muy restringida y una distribuci´on estricta de peso. Las c´amaras de eventos ofrecen varias ventajas para la percepci´on en rob´otica: p´ıxeles con resoluci´on de microsegundos, robustez al desenfoque por movimiento, alto rango din´amico y bajo consumo de energ´ıa. Esta Tesis Doctoral se enfoca en aprovechar estas ventajas para el desarrollo de sistemas de percepci´on para robots a´ereos y validar su uso a bordo de estas plataformas.

    Primero, esta Tesis Doctoral presenta un conjunto de algoritmos de procesamiento de eventos de bajo nivel. Estos m´etodos tienen como objetivo contribuir a la comunidad de visi´on basada en eventos proporcionando un conjunto de algoritmos que procesan directamente el flujo de eventos en lugar de utilizar representaciones adicionales basadas en im´agenes. Los m´etodos desarrollados se integran en los diferentes algoritmos de percepci´on de alto nivel descritos a lo largo de esta Tesis Doctoral.

    En segundo lugar, esta Tesis Doctoral propone un m´etodo de guiado basado en eventos para robots a´ereos. El m´etodo incluye un conjunto de algoritmos para detectar y seguir un patr´on de referencia que define la configuraci´on objetivo. Un m´etodo de control por realimentaci´on visual basado en eventos calcula los comandos de velocidad para guiar al robot hacia el objetivo. El esquema de guiado es validado inicialmente en un multirotor y posteriormente en un ornit´optero.

    Tercero, esta Tesis Doctoral presenta un m´etodo de evitaci´on de obstaculos para robots de ala batiente. El m´etodo detecta obst´aculos din´amicos aprovechando la habilidad de las c´amaras de eventos para proporcionar informaci´on sobre los objetos en movimiento en la escena. Este algoritmo tambi´en utiliza una estrategia de evitaci´on de obst´aculos reactiva que eval´ua posibles situaciones de riesgo de colisi´on y activa maniobras evasivas si es necesario. El sistema se valida experimentalmente en un robot ornit´optero.

    En cuarto lugar, esta Tesis Doctoral propone un sistema de monitorizaci´on de intrusos basado en eventos para multirotores. El m´etodo incluye un algoritmo de detecci´on de intrusos y un m´etodo que permite ajustar de manera aut´onoma los par´ametros de dicho algoritmo. El sistema es validado en un multirotor que realiza misiones de vigilancia en escenarios con diferentes fondos y condiciones de iluminaci´on.

    Finalmente, esta Tesis Doctoral presenta dos herramientas de percepci´on para el desarrollo de algoritmos de visi´on basados en eventos para robots a´ereos, especialmente ornit´opteros. La primera es una arquitectura de simulaci´on que emula las medidas de los sensores de percepci´on generadas durante la ejecuci´on de trayectorias bioinspiradas de aterrizaje. La segunda herramienta describe un dataset grabado a bordo de un robot de ala batiente, que incluye medidas de varios sensores de percepci´on y datos de la posici´on del robot.

  • English

    This Ph.D. Thesis aims at contributing to the robot perception community by exploring the advantages of event cameras for aerial robotics, in particular on flapping-wing robots in which event-based vision is almost unexplored. It proposes a set of tools and perception algorithms to leverage the advantages of event-based vision in aerial robot applications. The proposed methods are experimentally validated in two types of aerial robots: multirotors and ornithopters. These platforms describe several challenges for vision-based perception. For instance, the agile motion of multirotors and the flapping strokes caused by ornithopters generate blurred images which may hinder the performance of frame-based approaches. Further, ornithopters and multirotors performing fast maneuvers require quick perception algorithms to update as soon as possible the perception information for robot navigation. Besides, both types of robots have limited payload and power capacity to mount and feed perception hardware. In particular, equipping ornithopter robots with additional sensors is a complex task as they have very constrained payload and strict weight distribution. Event cameras offer relevant advantages for robot perception such as microsecond pixel resolution, robustness to motion blur, high dynamic range, and low power consumption. This Ph.D. Thesis focuses on leveraging these advantages for aerial robot perception and validating the use of event-based vision on board these platforms.

    First, this Ph.D. Thesis presents a set of event-based low-level processing algorithms.

    These methods intend to contribute to the event-based vision community by providing a set of low-level algorithms that directly process the event stream instead of using frame-based representations. The proposed methods are integrated into the different high-level perception algorithms described in this Ph.D. Thesis.

    Second, this Ph.D. Thesis proposes an event-vision guidance method for aerial robots. It includes a set of event-based algorithms to detect and track a reference pattern that defines the goal configuration. An Event-Based Visual Servoing (EBVS) method computes the velocity commands to guide the robot toward the goal. The guidance scheme is initially validated in a multirotor and later in an ornithopter.

    Third, a dynamic sense-and-avoid method for large-scale flapping-wing robots is described in this Ph.D. Thesis. It exploits the event cameras’ property of triggering pixel information from moving objects to detect dynamic obstacles. The reactive avoidance policy evaluates possible collision risk situations and activates evasive maneuvers if necessary. The system is extensively evaluated in a large-scale ornithopter.

    Fourth, this Ph.D. Thesis proposes an event-based intrusion monitoring system for multirotors. It includes a specific method to detect moving intrudes by analyzing the spatial-temporal information of events, and an automatic tuning method to adjust the parameters of the detection algorithm. The system is validated in a multirotor platform that performs surveillance missions in scenarios with different background configurations and illumination conditions.

    Finally, this Ph.D. Thesis presents two perception tools for the development of event-based algorithms for aerial robots, especially ornithopters. The first tool is a simulation architecture that emulates the sensor measurements generated during the execution of bioinspired landing trajectories. The second tool describes a dataset collected on board a large-scale flapping-wing robot. It includes measurements from different perception sensors and ground truth robot position data.