A new approach for the effective processing of hyperspectral images: application to pushbroom-based anomaly detection and compression systems
- Autores: María Díaz
- Directores de la Tesis: Sebastián López Suaréz (dir. tes.)
- Lectura: En la Universidad de Las Palmas de Gran Canaria ( España ) en 2021
- Idioma: español
- Tribunal Calificador de la Tesis: Roberto Sarmiento (presid.), Ernestina Martel Jordán (secret.), Antonio Plaza Miguel (voc.), Francesco Leporati (voc.), María Lucana Santos Falcón (voc.)
- Programa de doctorado: Programa de Doctorado en Tecnologías de Telecomunicación e Ingeniería Computacional por la Universidad de Las Palmas de Gran Canaria
- Materias:
- Enlaces
- Tesis en acceso abierto en: acceda
- Resumen
En los últimos años, la tecnología hiperespectral se ha convertido en una herramienta de gran interés para la comunidad científica en el campo de la teledetección y la observación terrestre. Sin embargo, el procesamiento a bordo y en tiempo real de las imágenes hiperespectrales aún presenta retos importantes a abordar para convertirse en una realidad. Esto a su vez presenta ciertos inconvenientes prioritarios, sobre todo para aquellas aplicaciones que requieren de resultados inmediatos. En este sentido, el procedimiento tradicional se ha centrado en el procesamiento en la superficie terrestre de los datos capturados remotamente tras su transmisión y descarga. Sin embargo, el principal problema radica en la transmisión de los datos debido a los importantes retrasos derivados del limitado ancho de banda de los sistemas de comunicación. Por lo tanto, este sistema de operación claramente compromete la ejecución eficiente, segura y en tiempo real de aplicaciones que requieren de respuestas inmediatas o en un corto periodo de tiempo.
Lamentablemente, los algoritmos tradicionalmente propuestos para el análisis de los datos hiperespectrales dan lugar a propuestas algorítmicas muy complejas, difícilmente implementables debido a la ejecución de operaciones computacionalmente costosas, intensivas en consumo de memoria y recursos hardware y caracterizadas por altas dependencias de datos. Esto se debe a que los desarrolladores de soluciones algorítmicas normalmente centran sus esfuerzos en los métodos matemáticos, buscando la optimización en los resultados obtenidos pero dejando en segundo plano la importancia de su funcionalidad en tiempo real y en escenarios limitados en términos de recursos, como es el procesamiento a bordo.
El escenario anteriormente planteado se vuelve aún más complicado cuando distintos procesos de análisis hiperespectral deben ser ejecutados de manera simultánea y coexistir en un único dispositivo de cómputo asegurando respuestas en tiempo real. En este sentido, la solución más comúnmente empleada se basa en la selección de distintos algoritmos para cada aplicación a llevar a cabo y acelerarlos usando dispositivos de cómputo paralelo. El problema radica en el momento de su ejecución simultánea en un mismo dispositivo hardware en escenarios caracterizados por restricciones en términos de consumo, recursos de cómputo, peso y espacio disponibles. Por lo tanto, hay una gran necesidad en la literatura de soluciones algorítmicas que tengan en consideración las actuales restricciones y limitaciones existentes en las aplicaciones demandadas hoy en día. Además, también se requiere de la definición de nuevas alternativas algorítmicas que tengan en cuenta la causalidad inherente a los procesos de captura realizados por sistemas de tipo pushbroom y whiskbroom.
Partiendo de este contexto, la realización de esta Tesis Doctoral ha contribuido al campo del procesamiento abordo y en tiempo real de las imágenes hiperespectrales en aplicaciones donde múltiples técnicas de análisis deban coexistir en un único dispositivo de cómputo. Su principal objetivo se centra en proveer a la comunidad científica con un conjunto de operaciones capaces de extraer información espectral de utilidad para la realización de múltiples técnicas de análisis hiperespectral. El hecho de centrarse en la utilización de un único método matemático es especialmente beneficioso para la aceleración hardware de estos procesos. Por una parte, esto se traduce en un ahorro de tiempo, costes y esfuerzo humano durante la etapa de implementación hardware de estas soluciones algorítmicas pues sólo un único método matemático debe ser estudiado, comprendido y desarrollado. Por otra parte, esta metodología permite la ejecución conjunta de diversas tareas de procesamiento con la ventaja de compartir las operaciones más computacionalmente costosas y complejas, con los beneficios derivado de ello.
Basado en el conjunto de operaciones anteriormente citado, se ha desarrollado un nuevo algoritmo para la detección de agentes anómalos llamado A Line-by-Line Fast Anomaly Detector for Hyperspectral Imagery (LbL-FAD) y también se ha propuesto una versión mejorada del algoritmo del estado del arte titulado Lossy Compression Algorithm for Hyperspectral Image Systems (HyperLCA) para la decorrelación espectral y compresión de las imágenes hiperespectrales. En línea con los objetivos de esta Tesis, se ha verificado la idoneidad de la metodología propuesta para la ejecución simultánea de la compresión con pérdidas de imágenes hiperespectrales y la detección de firmas espectrales anómalas a través de la propuesta de dos soluciones algorítmicas optimizadas. Finalmente, en aras de confirmar los beneficios derivados de desarrollar soluciones algorítmicas basadas en el mismo método matemático y validar la idoneidad de las propuestas algorítmicas desarrolladas para aplicaciones en tiempo real, estas han sido implementadas en diversos dispositivos de cómputo paralelo, tales como FPGAs y GPUs.
Hyperspectral imagery has gained an increasing interest by the scientific community in the last years in such a manner that it has been consolidated as one of the mainstream terrestrial Earth observing systems. Nonetheless, the onboard real-time hyperspectral image processing still poses several challenges before it becomes a reality. Indeed, this situation jeopardizes the real-time response of time-sensitive applications that demand quick response. In this regard, images acquired by remote Earth observation platforms are traditionally downloaded to the ground segment for being off-line processed on supercomputing systems. Unfortunately, the main problem lies in the data transmission since important delays are introduced related to the communication of large amount of data and the bottleneck represented by the limited communication bandwidth of the downlink system. Consequently, this operating mode clearly compromises the efficient and safe execution of stringent applications that require immediate results.
Regrettably, the algorithms traditionally proposed for the hyperspectral analysis normally give rise to complex algorithms characterized by computationally costly operations, intensive memory requirements, high implementation costs and a non-scalable nature. This is because the algorithm developers normally are more concerned about the mathematical methods that optimize the quality of the results than the importance of their real-time performance in power-constrained scenarios, such as the on-board processing.
The aforementioned context becomes even more challenging when different time-sensitive applications coexist in the same computing device. The simplest and the most commonly adopted solution is to select a different mathematical algorithm from the wide assortment of proposals encountered in the literature for each hyperspectral image processing type to be performed and then, to accelerate them using parallel computing devices. The issue arises when they have to be sequentially processed onto the same computing device due to restrictions in terms of power, weight and size. Therefore, there is a need in the literature for new algorithmic solutions that take into consideration the above mentioned currently existing constrains imposed by nowadays remote sensing applications. Additionally, the causality inherent to real-time frameworks based on pushbroom/whiskbroom scanners must be also met through the definition of non-global algorithms capable of independently processing blocks of image pixels.
Against this backdrop, we have dealt in this Thesis work with the issue around the onboard execution of multiple hyperspectral image analysis techniques onto the same piece of hardware, paving the way for the real-time performance of the hyperspectral image processing. The main objective of this Thesis is to provide the research community with a set of common core operations that extract useful information from the hyperspectral images (HSIs) for many applications; such as anomaly detection, target detection, lossy compression, classification, and unmixing. On the one hand, it results in many benefits in view of hardware acceleration in terms of a reduction in the execution times, hardware resources and above all, in human endeavours. Concerning this latter, it implies the studio and analysis of only a single mathematical approach, which consequently permits to focus the efforts from a methodological and productivity points of view. On the other hand, it also permits the simultaneous execution of many different tasks at the same time with the advantage of sharing the most computationally intensive operations. As a consequence, it promotes the decrease in the amount of computational resources compared with those scenarios in which different state-of-the-art algorithms are independently executed for each targeted processing analysis.
Based on the aforementioned set of core operations, a new algorithm for the detection of anomalous spectra has been also developed in this Thesis, named A Line-by-Line Fast Anomaly Detector for Hyperspectral Imagery (LbL-FAD). Additionally, a performance-enhancing version of the state-of-the-art Lossy Compression Algorithm for Hyperspectral Image Systems (HyperLCA) has been proposed for the spectral decorrelation and compression of HSIs. In the line of the research goals to be accomplished in this Thesis, it has been also verified the suitability of the proposed methodology for the concurrent execution of both the lossy compression of HSIs jointly and the detection of anomalous signatures. Finally, in the interest of confirming the benefits of developing algorithmic solutions based on the same mathematical method and, also to verify the suitability of the developed algorithms for real-time applications, the main algorithmic proposals of this Thesis have been also implemented on different parallel devices, namely GPUs and FPGAs.
