Resumen de A 4D information system for the exploration of multitemporal images and maps using photogrammetry, web technologies and VR/AR

Ferdinand Maiwald, Jonas Bruschke, Christoph Lehmann, Florian Niebling

• español

  Esta contribución muestra la comparación, investigación e implementación de diferentes estrategias de acceso a datos multimodales. La primera parte de la investigación se estructura en una parte teórica en la que se oponen y explican los términos de acceso convencional, acceso a los archivos virtuales, y museos virtuales, a la vez que se hace referencia a trabajos  relacionados.  En  especial,  se  señalan  los  problemas  que  aún  persisten  en  los  repositorios,  como  la ambigüedad o la falta de metadatos. La segunda parte explica la implementación práctica de un flujo de trabajo desde un gran repositorio de imágenes a varias aplicaciones en cuatro dimensiones (4D). Principalmente, se explica el filtrado de imágenes y, a continuación, la orientación de las mismas. La selección de las imágenes relevantes se hace en parte manualmente,  pero  también  con  el  uso  de  redes  neuronales  convolucionales  profundas  para  la  clasificación  de  las imágenes.  A  continuación,  se  utilizan  métodos  fotogramétricos  para  encontrar  la  orientación  relativa  entre  pares  de imágenes en un marco proyectivo. Para ello, se presenta un flujo de trabajo adaptado a partir de Structure from Motion, (SfM),  en  el  que  el  paso  de la detección  y la correspondencia  de entidades es  sustituido  por  la Transformación  de entidades  invariante  a  la  radiancia  (Radiant-Invariant  Feature  Transform, RIFT)  y  la Correspondencia  a  demanda con vistas sintéticas (Matching on Demand with View Synthesis, MODS). Ambos métodos han sido evaluados sobre la base de  un  conjunto  de  datos  de  referencia  y funcionaron  mejor  que otros procedimientos.  Posteriormente,  las  imágenes orientadas se colocan interactivamente y en el futuro automáticamente en una aplicación de navegador 4D que muestra imágenes,  mapas  y  modelos  de edificios.  Otros  escenarios  de  uso  se  presentan  en  varias  aplicación es  de  Realidad Virtual  (RV)  y  Realidad  Aumentada  (RA).  La  nueva  representación  de  los  datos  archivados permite  la  navegación espacial y temporal de los repositorios, lo que permite la investigación en perspectivas innovadoras y el descubrimiento de detalles históricos.

• English

  This contribution shows the comparison, investigation, and implementation of different access strategies on multimodal data. The first part of the research is structured as a theoretical part opposing and explaining the terms of conventional access, virtual archival access, and virtual museums while additionally referencing related work. Especially, issues that still persist in repositories like the ambiguity or missing of metadata is pointed out. The second part explains the practical implementation of a workflow from a large image repository to various four-dimensional applications. Mainly, the filtering of images and in the following, the orientation of images is explained. Selection of the relevant images is partly done manually but also with the use of deep convolutional neural networks for image classification. In the following, photogrammetric methods are used for finding the relative orientation between image pairs in a projective frame. For this purpose, an adapted Structure from Motion (SfM) workflow is presented, in which the step of feature detection and matching is replaced by the Radiant-Invariant Feature Transform (RIFT) and Matching On Demand with View Synthesis (MODS). Both methods have been evaluated on a benchmark dataset and performed superior than other approaches. Subsequently, the oriented images are placed interactively and in the future automatically in a 4D browser application showing images, maps, and building models Further usage scenarios are presented in several Virtual Reality (VR) and Augmented Reality (AR) applications. The new representation of the archival data enables spatial and temporal browsing of repositories allowing the research of innovative perspectives and the uncovering of historical details.Highlights:Strategies for a completely automated workflow from image repositories to four-dimensional (4D) access approaches.The orientation of historical images using adapted and evaluated feature matching methods.4D access methods for historical images and 3D models using web technologies and Virtual Reality (VR)/Augmented Reality (AR).