Resumen de Contribució als mètodes d'obtenció i representació de vistes d'objectes reals per aplicacions interactives.

Enric Xavier Martin Rull

• English

  This work shows a set of experiments to identify, characterize and compare several methods for obtaining real object views in interactive applications such as augmented reality, telepresence or other future developments.

  While developing those methods, the problems found have induced a deeper study of view synthesis geometry, object three-dimensional structure, hardware process acceleration and data portability through the internet.

  Three methods have been found that meet the ends of this work. First, file-stored object-view access rests in data organization, compression- algorithm capabilities and hardware support to decompression. The second method, 3D object reconstruction and graphic coprocessor based projection, takes advantage of market driven GPU evolution. Finally, the representative view-set selection and interpolation method, uses the three-view-rectification properties and the precision of view interpolation when a dense-enough disparity map is available. This last requirement binds the second and third methods in the need of a good 3D object reconstruction, 3D models and disparity maps being two expressions for the same data.

  To compare the method results three criteria have been used:

  - Object view image quality. It has been necessary to identify the main source of errors on the processes and to find some evaluators for those errors. As the results of the process are images to be shown to humans, with those numerical evaluators a subjective evaluator has been used too.

  - Process time, important for the interactivity aim, calculated with current technology but projected to next foreseeable platforms.

  - Amount of data that must be recorded in each method, which will be a key point for portability.

  While developing this work, some contributions have been achieved and they can be summarized as:

  - Design of a methodology to represent any object view from a reduced set of views and synthesis methods. The methodology includes a protocol to acquire and organize data, ideas for a minimum view set selection, a criterion to record the minimum amount of data, improvements in obtaining the three-dimensional structure of the scene and a fast and general synthesis algorithm.

  - Suppression of some geometric restrictions in the three-view-rectification method, allowing a more general positioning for the virtual camera and a maximization of the virtual image area through the distance to the reprojection plane.

  - A complete specification for the modified three-view rectification and view interpolation method allowing its implementation with DSP or MMX instructions to achieve the requirements of interactive applications.

  - Presentation of a method to refine three-dimensional models obtained by space carving through stereovision. This method combines two well-known computer vision techniques to achieve a better result in 3D reconstruction.

  - Acceleration of the space carving 3D reconstruction method with the use of an octree voxel organization, projection to special distance maps and taking advantage of the GPU performance to speed-up the projection.

  Some of the results of this work will be used in the construction of an augmented reality driving simulator (UPC- University of Toronto) and the implementation of a remote viewer of archaeological objects (UPC - UB other universities).

• català

  En aquesta tesi shan realitzat una sèrie dexperiments per tal de cercar, identificar, caracteritzar i comparar diversos mètodes dobtenció de vistes dobjectes reals per aplicacions interactives de realitat augmentada, telepresència o altres que puguin idear-se en el futur.

  Durant el desenvolupament dels mètodes trobats, de naturalesa diversa, han sorgit dificultats que han fet aprofundir aquest treball en làmbit de la geometria de la síntesi de vistes, la reconstrucció de lestructura tridimensional dels objectes, lacceleració de certs algoritmes amb lajut del maquinari existent o la portabilitat de les dades a través de la xarxa.

  Concretament, shan identificat tres mètodes que poden satisfer els requeriments plantejats. El primer, accés a vistes dobjectes comprimides en fitxers, es basa en lorganització de les dades presentada, la capacitat de compressió dels algoritmes i el suport del maquinari a la tasca de descompressió. El segon mètode, reconstrucció tridimensional i projecció emprant el coprocessador gràfic, aprofita les altes prestacions daquests últims, impulsats per les necessitats del mercat. El tercer, selecció dun conjunt representatiu de vistes i interpolació entre elles, aprofita les propietats de la rectificació de tres vistes i lexactitud de la interpolació de vistes si es disposa dun mapa de disparitat prou dens. Aquesta necessitat ha connectat aquest mètode amb el segon, al que cal el model tridimensional reconstruït, ja que hi ha una equivalència entre les dues expressions de la informació.

  Per la comparació dels resultats dels mètodes estudiats, shan seguit tres criteris:

  - El primer, òbviament, el de la qualitat de les vistes obtingudes de lobjecte. Ha calgut identificar les principals fonts derror en els processos i cercar uns avaluadors daquest error. A més daquests numèrics se nhan cercat de subjectius ja que el destinatari de les vistes serà un ésser humà.

  - El temps dobtenció duna vista (important per la interactivitat), projectat a les plataformes tecnològiques existents o previsibles.

  - La mida de les dades necessàries per cadascun dels mètodes, que limitarà la portabilitat de la visualització dels objectes.

  Durant la realització daquesta tesi, shan realitzat algunes contribucions, la majoria delles ja publicades, que es poden resumir en:

  - Disseny duna metodologia per la representació dobjectes a partir de conjunts de vistes i mètodes de síntesi. En aquesta metodologia sha presentat un protocol per ladquisició i ordenació de les dades, idees per la selecció del conjunt mínim de vistes, un criteri per gravar la mínima informació necessària, ajuts a lobtenció de la informació tridimensional de lescena necessària, i un algoritme ràpid i general de síntesi de vistes.

  - Supressió de les restriccions geomètriques del mètode de síntesi per rectificació de tres vistes, permetent generalitzar la ubicació de la càmera virtual i optimitzar la distància del pla de reprojecció per maximitzar làrea de la vista interpolada.

  - Especificació de lalgoritme de síntesi de vistes pel mètode de rectificació de tres vistes, de forma que es pugui implementar amb processadors tipus DSP o conjunts dinstruccions específiques dels processadors CISC, per assolir les necessitats de les aplicacions interactives.

  - Presentació dun mètode de refinament de models tridimensionals obtinguts per space carving mitjançant estereovisió. El mètode combina dues tècniques conegudes de visió per ordinador obtenint un millor resultat en la reconstrucció tridimensional.

  - Acceleració del mètode de reconstrucció tridimensional per projecció de vòxels amb la utilització de mapes de distància, estructures en arbre i el coprocessador gràfic present en els computadors personals.

  Els resultats obtinguts en la tesi shan adaptat per aplicar-se a un projecte de simulació de situacions de conducció en carreteres amb realitat augmentada, desenvolupat per la UPC i la Universitat de Toronto i un segon de representació remota de vistes dobjectes arqueològics, desenvolupat per la UPC, la UB i un conjunt duniversitats estrangeres.

  ---------------------------------------------