Audio effects on haptics perception during drilling simulation

• Autores: Yair Valbuena, Alvaro Joffre Uribe Quevedo, Alexandra Velasco Vivas
• Localización: Ingeniería Investigación y Desarrollo: I2+D, ISSN-e 2422-4324, ISSN 1900-771X, Vol. 17, Nº. 2, 2017 (Ejemplar dedicado a: Julio-Diciembre), págs. 6-15
• Idioma: inglés
• Títulos paralelos:
  • Efectos auditivos en la percepción háptica durante la simulación de perforación con taladro
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    La realidad virtual ha proporcionado inmersión e interacción a través de entornos generados por computador que intentan reproducir experiencias de la vida real a través de estímulos sensoriales. El realismo puede lograrse a través de interacciones multimodales que pueden mejorar la inmersión y las interacciones si se diseñan adecuadamente. Los avances más notorios están relacionados con la computación gráfica, donde el foto-realismo es la tendencia actual. Asimismo, se tienen otros avances relacionados con el sonido, la háptica y en menor medida, el olfato y el gusto. En la actualidad, las características de los sistemas de realidad virtual (sonido visual-háptico) se están utilizando masivamente en entretenimiento (por ejemplo, cine, videojuegos, arte) y en otros escenarios (por ejemplo, inclusión social, educación, capacitación, terapia y turismo). Por otra parte, la reducción de costos de las tecnologías de realidad virtual ha dado lugar a la disponibilidad a nivel de consumo, de varios tipos de dispositivos hápticos. Dichos dispositivos ofrecen experiencias de baja fidelidad debido a las propiedades de los sensores, pantallas y otros dispositivos electromecánicos, que pueden no ser adecuados para experiencias de alta precisión o en situaciones reales que requieran destreza. Sin embargo, se han realizado investigaciones sobre cómo superar o compensar la falta de fidelidad para proporcionar una experiencia de usuario atractiva utilizando historias, interacciones multimodales y elementos de juego.Nuestro trabajo se centra en analizar los posibles efectos de la percepción auditiva sobre la retroalimentación háptica dentro de un escenario de perforación con taladro, que implica interacciones multimodales. Esta tarea tiene múltiples aplicaciones en medicina, elaboración y construcción. Comparamos dos escenarios en los que dos grupos de participantes tuvieron que perforar madera mientras escuchaban sonidos contextuales y no contextuales. Además, recopilamos su percepción utilizando una encuesta después de completar la tarea. A partir de los resultados, establecemos que el sonido influye en la percepción háptica, pero se requieren más experimentos para comprender mejor las implicaciones y posibles aplicaciones médicas.

  • English

    Virtual reality has provided immersion and interactions through computer generated environments attempting to reproduce real life experiences through sensorial stimuli. Realism can be achieved through multimodal interactions which can enhance the user’s presence within the computer generated world. The most notorious advances in virtual reality can be seen in computer graphics visuals, where photorealism is the norm thriving to overcome the uncanny valley. Other advances have followed related to sound, haptics, and in a lesser manner smell and taste feedback. Currently, virtual reality systems (multimodal immersion and interactions through visual-haptic-sound) are being massively used in entertainment (e.g., cinema, video games, art), and in non-entertainment scenarios (e.g., social inclusion, educational, training, therapy, and tourism). Moreover, the cost reduction of virtual reality technologies has resulted in the availability at a consumer-level of various haptic, headsets, and motion tracking devices. Current consumer-level devices offer low-fidelity experiences due to the properties of the sensors, displays, and other electro-mechanical devices, that may not be suitable for high-precision or realistic experiences requiring dexterity. However, research has been conducted on how toovercome or compensate the lack of high fidelity to provide an engaging user experience using storytelling, multimodal interactions and gaming elements. Our work focuses on analyzing the possible effects of auditory perception on haptic feedback within a drilling scenario. Drilling involves multimodal interactions and it is a task with multiple applications in medicine, crafting, and construction. We compare two drilling scenarios were two groups of participants had to drill through wood while listening to contextual and non-contextual audios. We gathered their perception using a survey after the task completion. From the results, we believe that sound does influence the haptic perception, but further experiments are required to better comprehend the implications and possible medical applications.