Resumen de Designing natural gesture interaction for archaeological data in immersive environments

Niccolò Albertini, Andrea Brogni, Riccardo Olivito, Emanuele Taccola, Baptiste Caramiaux, Marco Gillies

• español

  Los datos arqueológicos son heterogéneos y difíciles de correlacionar entre diferentes tipos. Las fichas técnicas y las imágenes, los datos estratigráficos y los modelos 3D, el tiempo y el espacio mezclados entre sí: son solamente algunas de las categorías que el investigador tiene que tratar. Las nuevas tecnologías pueden ser capaces de ayudar en este proceso, llenando el vacío entre la historia y el futuro, y tratar de resolverlas necesidades de investigación con soluciones innovadoras. En este trabajo se describe todo el proceso que conlleva el diseño y desarrollo de un prototipo de aplicación, que utiliza un sistema de realidad virtual inmersiva para acceder a datos3D de la excavación arqueológica a través del algoritmo Gesture Variation Follower (GVF), que permite reconocer lo que el gesto está realizando y cómo se realiza. Los arqueólogos han participado activamente en el diseño dela interfaz y el conjunto de gestos utilizados para la activación de las diferentes tareas. Se han utilizado avanzadas técnicas de aprendizaje automático para la detección en tiempo real de los gestos. Como caso de estudio se eligió el ágora de Segesta (Sicilia, Italia). De hecho, debido a las características arquitectónicas complejas y las actividades de trabajo de campo todavía en curso, Segesta representa un contexto ideal donde poner a prueba y desarrollar un enfoque de investigación integrando ambas herramientas tradicionales y los más innovadores métodos.

• English

  Archaeological data are heterogeneous, making it difficult to correlate and combine different types.  Datasheets  and pictures,  stratigraphic  data  and  3D  models,  time and  space  mixed  together: these are  only a few  of  the  categories  a researcher has to deal with. New technologies may be able to help in this process and trying to solve research related problems needs innovative solutions. In this paper, we describe the whole process for the design and development of a prototype application that uses an Immersive Virtual Reality system to acces archaeological excavation3Ddata through the Gesture Variation Follower (GVF) algorithm. This makes it possible to recognise which gesture is being performed and how it is performed. Archaeologist shave participated actively in the design of the interface and the set of gestures used for triggering the different tasks. Interactive machine learning techniques have been used for the real time detection of the gestures. As a case  study  the  agora  of  Segesta  (Sicily,  Italy)  has  been  selected.  Indeed,  due  to  the  complex architectural  features  and  the  still  ongoing  fieldwork  activities,  Segesta  represents  an  ideal  context  where  to  test  and develop a research approach integrating both traditional and more innovative tools and methods.