Resumen de Geospatial Processing and Visualization of Point Clouds: from GPUs to Big Data Technologies
- español
La tecnología LiDAR (Light Detection And Ranging) es actualmente una de las fuentes de información geográfica más valiosas ya que permite obtener, mediante el uso de dispositivos de escaneo láser, modelos tridimensionales de alta resolución de amplias extensiones de terreno. Los datos LiDAR, almacenados tipicamente como nubes de puntos, son utilizados en un gran número de campos científicos y profesionales como elemento fundamental de trabajo. Debido a las enormes cantidades de información que pueden generarse, los conjuntos de datos LiDAR siempre han supuesto un enorme desafío a la hora de desarrollar software capaz de manejar dichos volúmenes de información de manera rápida y eficiente. Todas las investigaciones realizadas durante esta Tesis se centraron en desarrollar nuevas técnicas, algoritmos y sistemas que permitiesen mejorar el rendimiento, la eficiencia y calidad de múltiples y diversos elementos críticos de los entornos LiDAR. Así, se desarrollaron sistemas web de tipo cliente-servidor para la visualización en tiempo real y el procesamiento de grandes nubes de puntos de resolución completa desde cualquier tipo de dispositivo, desde PCs hasta tabletas, adecuando sus funcionalidades y prestaciones a los requerimientos y necesidades de campos de conocimiento científico específicos. Las altas demandas de almacenamiento asociadas a los datos LiDAR, así como tambien el intenso tráfico de red que puede darse en aplicaciones de tipo web, llevaron al desarrollo de métodos de compresión de datos sin pérdida junto con nuevas estructuras de datos basadas en la no-redundancia de información. Estos nuevos elementos se emplearon para dar soporte altamente efi ciente a técnicas de multiresolución out-of-core para la visualización en tiempo real de nubes de puntos masivas, logrando reducir de manera notable los requisitos de almacenamiento, el consumo de memoria principal y de vídeo, así como también la congestión de red. Por último, se fijó como objetivo de la etapa final de la tesis, el de superar las limitaciones derivadas de la ejecución de software en equipos compuestos por una sola m_aquina para el almacenamiento y computaci_on de grandes conjuntos de datos masivos LiDAR. Partiendo de un estudio preliminar para analizar la idoneidad de distintas soluciones big data a la hora de almacenar, distribuir y dar soporte al envío de datos hacia múltiples clientes LiDAR, se desarrolló un sistema altamente escalable para la computación distribuida sobre los citados volúmenes de datos. Como punto de partida, se implementó un conjunto de propuestas utilizando como caso de estudio la creación de modelos digitales de terreno (MDT), sirviendo este como base tecnológica para un futuro servicio con la capacidad de ofrecer una librería de diversos procesos geoespaciales.
- English
Currently, LiDAR (Light Detection And Ranging) technology is one of the most valuable sources of geographic information, allowing us to obtain, through the use of laser scanning devices, high-resolution three-dimensional models of large tracts of land. LiDAR data, typically stored as point clouds, have been used in a wide range of scientific and professional fields as a fundamental element of work. Due to the extremely large volumes of data that can be generated, LiDAR datasets have always been a challenge for developing software capable of handling such volumes of information in a fast and efficient way. All the research carried out during this Thesis was focused on developing new techniques, algorithms and systems to improve the performance, efficiency and quality of several critical elements in LiDAR environments. Thereby, client-server web systems were developed for real-time visualization and processing of large point clouds of full-resolution grating their access from any type of device, from desktop PCs to tablets, adapting their functionalities and features to the requirements and needs of specific fields of scientific knowledge. The high storage demands typically associated with LiDAR, as well as the intense network traffic that can be produced in web environments, led to the development of lossless data compression methods along with novel data structures based on non data redundancy. These new elements were used to provide highly efficient support for out-of-core multi-resolution techniques for real-time visualization of massive point clouds, achieving a notable reduction in storage requirements, main memory and video memory consumptions, as well as a reduction in network congestion. The objective in the final stage of the Thesis was to overcome all storage and computational constraints related to the use of a single machine with large collection of massive LiDAR datasets. Starting from a preliminary study to analyse the suitability of different big data solutions for storing, distributing and supporting the concurrent access to the data from several LiDAR clients, a highly scalable system was developed offering distributed computing capability for processing said volumes of data. As a starting point, a series of proposals was implemented using as a case study the obtention of digital terrain models (DTM), serving as a technological basis for a future service with the ability to offer a much wider library of several geospatial processes
- galego
A tecnoloxía LiDAR (Light Detection And Ranging) é actualmente unha das máis valiosas fontes de información xeográfica xa que permite, mediante dispositivos de dixitalización láser, a obtención de modelos tridimensionais de alta resolución de grandes áreas de terra. Os datos LiDAR, normalmente almacenados como nubes de puntos, utilízanse nun gran número de campos científicos e profesionais como un elemento fundamental do traballo. Debido á enorme cantidade de información que pode ser xerada mediante esta tecnoloxía, os conxuntos de datos LiDAR sempre foron considerados coma un gran desafío á hora de desenvolver aplicacións software capaces de manexar tales volumes de información de xeito rápido e eficiente. Toda a investigación realizada durante esta Tese centrouse no desenvolvemento de novas técnicas, algoritmos e sistemas que mellorasen o rendemento, a eficiencia e a calidade dos múltiples e diversos elementos críticos dos contornos LiDAR. Así, desenvolvéronse sistemas web de tipo cliente-servidor para visualizar e procesar en tempo real grandes nubes de puntos de resolución completa, permitindo o acceso desde calquera tipo de dispositivo, dende tabletas a equipos de sobremesa, adaptando as súas funcionalidades e características aos requisitos e necesidades de campos específicos do coñecemento científico. As elevadas esixencias de almacenamento típicamente asociadas aos datos LiDAR, así como o intenso tráfico de rede que pode xerarse en aplicacións de tipo web, levou ao desenvolvemento de métodos de compresión de datos sen perdas xunto con novas estruturas de datos baseadas na non redundancia de información. Estes novos elementos foron utilizados para proporcionar un soporte altamente eficiente para técnicas multi-resolución out-ofcore para a visualizacion en tempo real de nubes de puntos masivas, reducindo de xeito significativo os requisitos de almacenamento, o consumo de memoria principal e de vídeo, así como a conxestión no tráfico de rede. Por último, estableceuse como obxectivo da fase final da Tese, superar as limitacións derivadas da execución de soft-ware en computadores compostos por unha única máquina para o almacenamento e a computación sobre grandes conxuntos de datos LiDAR masivos. A partir dun estudo preliminar para analizar a idoneidade de diferentes solucións big data para almacenar, distribuír e dar soporte ao envío de datos a varios clientes LiDAR, desenvolveuse un sistema altamente escalable para a computación distribuída sobre os volumes de datos mencionados. Como punto de partida, implementáronse diversas propostas utilizando como caso de estudo a creación de modelos dixitais do terreo (MDT), servindo como base tecnolóxica para un futuro servizo coa capacidade de ofrecer unha biblioteca de múltiples procesos xeoespaciais.
