On-board visual control algorithms for unmanned aerial vehicles

• Autores: Iván Fernando Mondragón Bernal
• Directores de la Tesis: Pascual Campoy Cervera (dir. tes.)
• Lectura: En la Universidad Politécnica de Madrid ( España ) en 2011
• Idioma: español
• Tribunal Calificador de la Tesis: Antonio Barrientos Cruz (presid.), Sergio Domínguez Cabrerizo (secret.), Thomas Richardson (voc.), Fernando Torres Medina (voc.), Aníbal Ollero Baturone (voc.)
• Texto completo no disponible (Saber más ...)
• Resumen
  • español

    El objetivo de esta tesis, es el de utilizar la gran cantidad de información que los sistemas de visión proveen, con el objetivo de diseñar sistemas de guiado visual para vehículos aéreos no tripulados (UAVs por sus siglas en Ingles). Este trabajo va más allá del uso tradicional de sistemas visuales en UAVs, de ser simples "ojos en el cielo", demostrando que un sensor visual provee suficiente información confiable y robusta, que puede ser empleada para el diseño de diferentes aplicaciones y sistemas de control, manteniendo una precisión y desempeño similar o en algunos casos mayor a los demandados en otros sensores de control usualmente empleado en este tipo de sistemas.

    Este trabajo, presenta en primera medida, como algunos de los algoritmos pioneros para el procesamiento de imágenes, son robusta y eficientemente implementados a bordo de Vehículos Aéreos no tripulados y luego utilizados para la estimación de diversas transformaciones proyectivas. Estas transformaciones (incluyendo las homografías), son empleadas para el procesamiento y mejoramiento de imágenes aéreas, presentando en primera medida un sistema de estabilización de video en tiempo real al igual que un método para la generación de mosaicos. Por otra parte, las propiedades de las transformaciones proyectivas, son empleadas para el desarrollo de un nuevo sistema de medición de posición en el espacio tridimensional, permitiendo obtener la información métrica de la posición al igual que la orientación de la cámara (y el vehículo aéreo) con respecto a un plano de referencia.

    La información métrica de la posición y orientación obtenida mediante la descomposición de la homografía, es empleada para generar un sistema de control de alto nivel del tipo desacoplado y que es basado en la posición, el cual presenta un excelente desempeño ante la dinámica no holonómica de un vehículo aéreo no tripulado del tipo ala rotatoria, al igual que una gran robustez con respecto a los problemas comúnmente presentes en imágenes aéreas, como lo son las altas vibraciones y los constantes cambios de iluminación, al igual que los cambios de posición o las oclusiones de las referencias visuales empleadas, entre otros. Esta contribución es luego empleada para el control de un UAV en tareas como el aterrizaje autónomo y posicionamiento estático de precisión.

    Las estrategias de control desacopladas, también son empleadas para el diseño de un controlador visual basado en la imagen, en un novedoso sistemas empleado para el seguimiento de objetos aéreos móviles. En este sistema, el análisis de la interacción entre las referencias visuales y los grados de libertad del sistema es empleada para reducir los complejidad del diseño y ajuste del controlador visual dadas por la dinámica del vehículo aéreo.

    Resumen: Esta tesis también presenta como los sistemas de visión omnidireccional son empleados para estimar la actitud de vuelo del vehículo aéreo al igual que para el diseño de un compás visual. El método propuesto, que opera en tiempo real y se basa en las propiedades de la teoría unificada para cámaras del tipo catadióptrico, es empleado para generar un sensor de actitud de vuelo basado en la segmentación de la línea del horizonte y del movimiento entre imágenes consecutivas.

    Finalmente, las propiedades de los sistemas de control del alto nivel y del tipo desacoplados, al igual que de los sistemas de visión omnidireccional son integradas con el animo de genera un novedoso método para la evasión de colisiones aéreas. Esta contribución en el área de "Observar y Evadir" emplea una arquitectura de control visual desacoplado, diseñador directamente en el es espacio de trabajo de la esfera unitaria, permitiendo integrar las propiedades y ventajas de el gran ángulo de visión de los sistemas de visión omnidireccional en el diseño de sistemas de control visual para Vehículos Aéreos no tripulados.

    Los diversos métodos propuestos han sido probados y validados en vuelos reales utilizando vehículos aéreos no tripulados del tipo ala rotatoria. Sin embargo las contribuciones presentadas en esta tesis son fácilmente extendibles a otros tipos de Vehículos aéreos al igual que a la robótica móvil en general.

    Esta tesis demuestra que la visión por computador abordo de UAV es un campo sin explotar. Está ha demostrado ser un sensor de gran versatilidad, bajo costo y alta efectividad para muchas aplicaciones industriales al igual que ser un componente fundamental para la operación segura de vehículos aéreos no tripulados. Finalmente, esta tesis abre las puertas al desarrollos de nuevos sistemas para su usos en la industria y en el creciente mercado del sector civil, en el cual es fundamental el uso de información visual que permita incrementar las autonomía y prestaciones al igual que garantizar la seguridad de operación de este tipo de aeronaves.

  • English

    Abstract:

    The aim of this thesis is to exploit the vast amount of information given by a visual sensor in order to design visually guided Unmanned Aerial Vehicles. This work, goes beyond the traditional use of visual systems on UAV, of be a simple ¿eye in the sky¿, by demonstrating that a visual sensor provides trusted and reliable information useful for the design of different control system and applications and with a capacity, precision and performance similar to the one demanded for traditional control sensors.

    This thesis presents at first how the state of the art visual tracking and image processing algorithms are robustly and efficiently implemented on-board UAV for estimation of different projective transformations. These transformations (homographies included), are then used for aerial images enhancement, presenting a real time video stabilization and mosaic building system. The properties of the projective transformation are then employed to build a novel 3D pose measure system, that allows to obtain the camera-aircraft metric position and attitude w.r.t. a ground reference plane.

    The metric and attitude position estimated by the homography decomposition, are used to generated a high level decoupled pose control system that correctly drives the non-holonomic behavior of a rotary wing UAV and the common challenges presented on aerial images like higher vibrations, illumination changes and visual references occlusions and large displacements, among others. The presented contribution is used for UAV control on situations like autonomous landing and accurate hover positioning.

    High Level decoupled control strategies are also used to develop an Image Based Visual Servoing architecture for a novel aerial moving object following system, in which the analysis of the interaction between the image references and the system degrees of freedom DOF are used to reduce the effects of the aircraft dynamics on the visual control design and tuning.

    This thesis also presents how Omnidirectional systems are used to estimate the aircraft flying attitude and to make a visual compass. The proposed real time method uses the properties of the unify theory for central catadioptric cameras in order to build an attitude sensor based on the skyline segmentation and the motion register between sequential omnidirectional images.

    Finally, the properties of a decoupled visual control and an omnidirectional system are integrated in order to generate a novel collision avoidance system. This contribution on the field of See&Avoid area, uses a decoupled Image base visual architecture designed on the unitary sphere manifold, allowing to directly include the properties and advantages of a large field of view FOV given by omnidirectional sensor in the design of a visual control systems for UAV.

    All the proposed method are tested and validated on real aerial test using rotary wing UAV. The contributions presented on this thesis can be easily extended to other kind of UAV as well as general mobile robotics.

    This thesis demonstrates that computer vision onboard UAV is an unexploited field, that has proved to be a versatile, low cost and effective sensor systems suitable for many industrial applications as well as a principal component for UAV safety operation. This thesis opens the doors to the development of novel system for industrial and civilian markets in which there is necessity of use visual data to increase aircraft autonomy and capabilities guaranteeing a safety operational levels.