Simulación de interacción humano-robot basada en la mirada en entornos virtuales

• Menendez, Elisabeth ^[1] ; Santiago Martínez de la Casa ; Monje, Concepción Alicia ^[1] ; Balaguer, Carlos ^[1]
  1. [1] Universidad Carlos III de Madrid

     Universidad Carlos III de Madrid

     Madrid, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Simulation of gaze-based human-robot interaction in virtual environments
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo presenta un nuevo método de interacción humano-robot mediante el seguimiento de la mirada en entornos virtuales. Este enfoque reproduce aplicaciones reales en las que el usuario, equipado con gafas de seguimiento ocular, indica al robot qué objetos necesita fijando su mirada. Esta interacción se ha implementado en el simulador Gazebo, donde el usuario controla una cámara flotante con un mando. La cámara flotante imita la vista que ofrecen las gafas de seguimiento ocular y muestra esta perspectiva en la pantalla situada frente al usuario. Además, se instala una cámara dirigida hacia su rostro para determinar la zona de la pantalla que está observando. Utilizando esta información en el método de identificación del umbral de dispersión, se distingue eficazmente entre fijaciones y movimientos sacádicos de la mirada. Los experimentos preliminares realizados demuestran que el sistema es capaz de identificar el objeto en el que el usuario fija su mirada en entornos virtuales.

  • English

    This article presents a new method of human-robot interaction using gaze tracking in virtual environments. This approach replicates real-world applications where a user, equipped with eye-tracking glasses, indicates to the robot which objects they need by fixing their gaze. This interaction has been implemented in the Gazebo simulator, where the user controls a floating camera with a gamepad. This floating camera mimics the view provided by the eye-tracking glasses and displays this perspective on the screen in front of the user. Additionally, a camera aimed at the user’s face is installed to determine the area of the screen they are observing. Using this information in the dispersion threshold identification method, the system effectively distinguishes between fixations and saccadic movements of the gaze. Preliminary experiments have demonstrated that the system is capable of identifying the object that the user is gazing at in virtual environments.