Contribuciones a Técnicas de Interacción por Apuntamiento para Espacios Inteligentes

Resumen

El apuntamiento es un gesto que usan las personas para expresarse. El gesto de apuntar permite indicar que algo es relevante en un momento determinado para la persona que lo realiza. Este gesto unido a la tecnología apropiada puede transformar un simple espacio físico en un entorno inteligente. Se denomina entorno inteligente a un espacio en el que sensores y actuadores permiten a los usuarios formas de interacción diferentes a las habituales con los objetos de dicho espacio. Estas interacciones pueden consistir en encender y apagar una lámpara cuando una persona apunta hacia ella, cambiar el color de su luz mediante comandos de voz o la interacción con una imagen virtual mostrada en una pantalla mediante gestos. Las formas más habituales de apuntar de una persona hacia un objetivo son dos, bien extendiendo el dedo índice de su mano acompañado habitualmente del movimiento de su brazo; o bien, con su mirada. Un sistema de interacción basado en apuntamiento debe ser capaz de reconocer el apuntamiento realizado, estimar el objetivo apuntado, para luego, si procede, permitir la interacción de la persona con el objetivo apuntando. Esta interacción debe basarse en una Interfaz Natural de Usuario (NUI, Natural User Interfaz), de modo que para el usuario el sistema sea totalmente transparente, es decir, que sea el gesto de apuntar el que desencadena la interacción. Tiene una especial relevancia, por tanto, el dispositivo o conjunto de dispositivos empleados para detectar el apuntamiento y habilitar la interacción. Esta Tesis tiene como objetivos principales (I) el estudio de los sistemas de interacción basados en apuntamiento que actualmente existen, (II) establecer una conexión entre estos sistemas y los entornos inteligentes, y (III) el diseño de nuevos sistemas que permitan dicha conexión. Dada la naturaleza de la Tesis, cobra especial importancia el análisis realizado para la elección del dispositivo habilitador, pieza clave para una correcta integración de la persona con el entorno inteligente. Igualmente, caben destacar los resultados obtenidos del sistema final, así como su valoración en términos de rendimiento y eficiencia. Este trabajo también incorpora una importante investigación en materia de la evaluación de la experiencia y aceptación del usuario respecto de la utilización de los sistemas de apuntamiento. La investigación tiene su inicio en la comparación de las dos principales técnicas de detección del apuntamiento, la señalización manual y la simulación del seguimiento de la mirada. Para realizar dicha comparación se ha empleado como dispositivo habilitador Kinect debido a la idoneidad de sus características y capacidades. Para evaluar esto, se ha realizado un estudio desde el punto de vista del usuario con tareas de apuntamiento siguiendo la Norma ISO de Requisitos ergonómicos para trabajos de oficina con pantallas de visualización de datos (comprueba que este es el nombre correcto de la norma) (ISO 9241-9). Este estudio incluye pruebas de uso de un servicio para el manejo de objetos inteligentes. El diseño de la prueba y el análisis de los resultados obtenidos se ha realizado usando la Ley de Fitts. Esta Ley permite evaluar el rendimiento del usuario cuando utiliza sistemas basados en apuntamiento. La métrica propuesta se denomina índice de dificultad y relaciona la distancia al objetivo a seleccionar con su tamaño. También emplea la variable de rendimiento donde se relaciona el índice de dificultad citado con el tiempo de movimiento empleado para alcanzar el objetivo. La aplicación de esta Ley arroja importantes conclusiones: (I) los parámetros de rendimiento son similares para ambas técnicas de detección, (II) el tamaño del objeto a seleccionar afecta críticamente a la efectividad de los métodos, (III) la señalización manual es la alternativa mejor valorada por los usuarios, y (IV) la detección mediante seguimiento de la mirada destaca por la rapidez de respuesta del sistema. El segundo aspecto fundamental objeto de la Tesis ha sido el diseño de un sistema de interacción basado en apuntamiento dentro de espacios inteligentes, con el fin de conocer las ventajas y desventajas del uso de estos sistemas en estos espacios. El sistema diseñado tiene las características de emplear señalización manual y usar el Microsoft Kinect como sensor habilitador de la interacción. El diseño comienza con el análisis del vector de detección del apuntamiento a emplear que indica la dirección del apuntamiento. Este queda definido por dos puntos del espacio, en este caso, estos puntos corresponden a posiciones de partes concretas de una persona por ejemplo la posición de una de sus manos o de su nariz. En total se estudian siete opciones distintas. El análisis refleja un error en la estimación del apuntamiento. Este error proviene de una estimación incorrecta de la altura, problemas en la calibración del sistema y errores derivados de las características personales del usuario. En esta Tesis, se propone, por tanto, un sistema mejorado de apuntamiento que disminuye el error de estimación general. Respecto a las propuestas que se pueden encontrar en la literatura, la propuesta ofrecida en esta Tesis incorpora como novedad un vector de detección de apuntamiento múltiple. En concreto, es la combinación de dos de estos vectores, dependiendo de la visibilidad del dispositivo sensor en cada momento. Asimismo, este sistema incluye una mejor calibración del sistema (permite referenciar todas las posiciones o localizaciones que se empleen de acuerdo a un sistema de referencias global único) y la posibilidad de realizar una calibración personalizada por usuario (modifica el apuntamiento estimado de forma personalizada) respecto a la de otros sistemas. Se ha realizado un estudio completo del sistema propuesto para obtener tanto el rendimiento de este, como la experiencia de usuario a la hora de usarlo. Asimismo, se ha desarrollado un servicio final para manejar un videowall (mosaico de pantallas) a través de interacción mediante apuntamiento dentro de un espacio inteligente. El trabajo realizado aplica las principales y más efectivas técnicas de estimación del apuntamiento en entornos inteligentes que se pueden encontrar en la literatura actual y solventa los errores que estas puedan incluir. Asimismo, incluye una exhaustiva evaluación de la experiencia del usuario con los sistemas de apuntamiento. Las contribuciones de esta Tesis, en su ámbito teórico, pueden resumirse en: El estudio comparativo de alternativas de interacción natural por apuntamiento. La propuesta de técnicas para estimación del apuntamiento desplegable en espacios inteligentes. El análisis de las fuentes de error en las estimaciones de la señalización manual junto a un estudio de relevancia y búsqueda de soluciones para mejorar la precisión y exactitud del sistema de apuntamiento. La evaluación de la aceptación de la tecnología y la experiencia de usuario. La contribución práctica de esta Tesis consta de: Una plataforma de gestión de blancos multimodal (preparada para realizar medidas de precisión y eficacia, en la que se pueden incorporar diversos sistemas de apuntamiento). La particularización de la plataforma anterior para gestión de videowall. Una metodología de prototipado de servicios de selección y activación. Diseño de estudios de validación con usuarios. ----------ABSTRACT---------- Pointing is a representative gesture that people use to express themselves or to show interest in something. This gesture combined with a appropriate technology can transform a simple physical space into an smart space, which has sensors and actuators allowing users new interaction modes than usual with objects in that space. These interactions can be turning a lamp on and off when a person points at it, changing the colour of its light through voice commands, or interacting with a virtual image displayed on a screen through gestures. The common ways as a person point towards an item are two, either by extending the index finger of his hand, usually accompanied by the movement of his arm; or, with his gaze. A pointing interaction system must be able to recognize the pointing, estimate the pointed target and allow the persontarget interaction. This interaction must be based on a Natural User Interface (NUI), being transparent for the user, so the interaction is triggered with the gesture of pointing. Therefore, the device or devices set used to detect pointing and enable interaction has an important relevance. The main objectives of this thesis are (I) the study of existing pointingbased interaction systems, (II) establish a connection between these systems and smart spaces and finally, (III) the design of new systems that allow this connection. Due to the nature of the Thesis, the analysis to choose the enabling device has special relevance, so it is a key element for a correct integration of the person within the smart space. Furthermore, the results obtained from the final system and its assessment in terms of performance and efficiency should be highlighted. This work also incorporates important research on the user experience evaluation and the user acceptance with the use of pointing-based interaction systems. The research began in the comparison of the two main techniques of pointing detection, deictic pointing and gaze tracking. A Kinect device is used as the enabling device due to the suitability of its characteristics and capabili ties. Furthermore, a user study is proposed with pointing tasks as indicate ISO 9241-9 and a test a service to command smart objects. The analysis of the results is carried out by applying the Fitts Law that allows the evaluation of user performance when using pointing-based interaction systems. The difficulty index is the proposed metric, which relates the distance to the target with the target size. It also uses the performance, which relates the difficulty index with the movement time used to reach the objective. The application of this Law yields important conclusions: (I) the performance parameters are similar for both detection techniques, (II) the size of the object to be selected critically affects the effectiveness of the methods, (III) deictic pointing is the alternative best valued by users, and (IV) the detection based on gaze tracking stands out for the quick system response. The second fundamental aspect that is the object of the thesis is the design of a pointing-based interaction systems within smart spaces, in order to know the advantages and disadvantages of using these systems in these spaces. The designed system uses deictic pointing and the Microsoft Kinect as an enabling sensor to allow the interaction. First an analysis of the possible vectors for detecting tacking, which indicates the pointing direction, is carried out This vector is defined by two points in space, in this case, these points correspond to positions of specific parts of a person, for example the position of one of her hands or her nose. In total, seven different options have been studied. The analysis reflects an error in the pointing estimation. This error comes from an incorrect estimation of the height, problems in the system calibration and errors derived from the personal characteristics of the user. In this Thesis, therefore, an improved targeting system is proposed that reduces the general estimation error. Regarding the proposals that can be found in the literature, the proposal offered in this Thesis incorporates as a novelty a multiple pointing detection vector. Specifically, it is the combination of two of these vectors, depending on the visibility of the sensor device in every instant. Likewise, this system includes a better system calibration (it allows to reference positions or locations that are used according to a single global reference system) and the possibility to perform a custom user calibration (modifies the estimated pointing in a personalized way) compared to other systems. A complete study of the proposed system has been carried out to obtain its performance and the user experience. In addition, a final service has been developed to manage a videowall (screens mosaic) through interaction by pointing in a smart space. This work applies the main and most effective pointing estimation techniques in smart space available in the current literature and solves the errors that these may include. It also includes a thorough evaluation of the user experience with the pointing systems. The contributions of this Thesis, in its theoretical scope, can be summarized as: The comparative study of natural interaction alternatives by pointing. The proposal of techniques for pointing estimation within smart spaces. The analysis of the sources of error in deictic pointing estimation together with a study of relevance and search for solutions to improve the accuracy and precision of the pointing system. The evaluation of the acceptance of the technology and the user experience. The practical contribution of this Thesis consists of: A multimodal target management platform (ready to perform precision and efficiency measurements, in which different systems pointing can be incorporated). The particularization of the previous platform for videowall management. A prototyping methodology for selection and activation services. Design of validation studies with users.