Technologies and concepts for enhancing interaction and enabling collaboration in Augmented and Mixed Reality

Resumen

La Realidad Aumentada (AR) y la Realidad Mixta (MR) son tecnologı́as emergentes que permiten inyectar contenido digital en el mundo real. Aunque ambas han hecho avances impresionantes en los últimos años, todavı́a quedan algunas aristas que pulir. La primera de ellas está relacionada con la experiencia de usuario en los sistemas AR mientras que la segunda se centra en la propia interacción con los elementos digitales AR. En esta misma lı́nea de pensamiento, esta tesis analiza de forma comparativa la Experiencia de Usuario entre la Realidad Aumentada wearable y las plataformas tradicionales. En este sentido, los resultados muestran que los usuarios se sienten generalmente más atraı́dos hacia la AR, debido en parte a que se trata de una tecnologı́a más novedosa y en parte a su gran potencial para la visualización de contenido 3D. Además, se propone el uso de feedback háptico (en particular mid-air) para facilitar la interacción con elementos AR. Mediante un estudio con usuarios se ha demostrado que este tipo de feedback es útil al mejorar la precisión en tareas que ası́ lo requerı́an. Por otro lado, teniendo en cuenta el auge de las aplicaciones multi usuario, esta tesis las enfoca desde el punto de vista de la AR y MR. Con ese objetivo en mente se propone un análisis teórico de la colaboración en esos sistemas. Aparte, se propone una taxonomı́a para clasificar sistemas colaborativos AR que también sirve como referencia de cara a futuros desarrollos. Basado en ese análisis se presenta SARA, una arquitectura cuyo objetivo es facilitar el desarrollo y despliegue de experiencias colaborativas AR. SARA permite compartir elementos AR entre varios dispositivos (e.g. smartphones o tablets). SARA también se encarga de manejar la interacción con el contenido digital, permitiendo que ésta sea adaptada al dispositivo usado en cada caso. Además de una serie de artefactos listos para ser integrados en desarrollos futuros, SARA introduce el concepto de Modelos de Colaboración, los cuales orquestan las capacidades de visualización e interacción de los usuarios, pudiendo ser sustituidos en medio de la colaboración. Se propone un conjunto de cinco modelos, cada uno con un nivel de abstracción diferente (basados en turnos, en capas, en jerarquı́a y en la propiedad). Sin embargo, otros modelos pueden ser fácilmente integrados en la arquitectura. Dichos modelos pueden ser reutilizados entre distintas instancias de la colaboración, lo que ayuda a reducir el tiempo de desarrollo de nuevas experiencias AR. ----------ABSTRACT---------- Augmented Reality (AR) and Mixed Reality (MR) are emerging technologies that allow displaying digital content superimposed on the real world. Although both technologies have made impressive strides in recent years, there are still some sharp edges to polish. The first of them is related to the User Experience in AR systems and the second one with interaction with digital AR assets. Following this line, this thesis focuses comparatively on the User Experience of wearable Augmented Reality with respect to conventional platforms. In this sense, results show that users are generally more attracted towards AR partly due to its novelty and partly due to its high power in terms of 3D visualization. In addition, the use of haptic feedback (in particular mid-air) is proposed to improve interaction with AR digital assets. This type of feedback has been analyzed in a user study and has proved useful in promoting precision in tasks that required it. Taking into account the rise of collaborative multi-user applications, this thesis approaches them from the point of view of Augmented and Mixed Reality. To do so, a theoretical analysis of collaboration in this type of systems is first presented. Besides that, a taxonomy is presented, whose intention is classifying AR collaborative systems as well as serving as a consultation for future developments. Based on that analysis, the SARA architecture is presented, whose objective is to facilitate the development and deployment of AR collaborative experiences. SARA allows AR content to be shared between various devices that can be of different types (e.g. smartphones or Head Mounted Displays). SARA also manages the interaction with that digital content and allows it to be tailored to the device in use. In addition to a series of artifacts ready to be incorporated in future developments, SARA introduces the concept of Collaboration Models. These models allow to orchestrate the visualization and interaction capabilities of the participants and can be changed on the fly. Five models of different abstraction levels are initially proposed (Unconstrained, Turn-based, Layer-based, Hierarchy-based, Ownership-based), but others could be easily integrated into the architecture. Furthermore, these models can be reused between different instances of the collaboration, which also saves time in the development of new AR experiences.