Sistema multimodal para la orientación de robots móviles hacia su interlocutor

• Cañete, Antonio ^[1] ; Quemada-Torres, Eulogio ^[1] ; Ruiz-Sarmiento, José-Raúl ^[1] ; Moreno, Francisco Ángel ^[1] ; Gonzalez-Jimenez, Javier
  1. [1] Universidad de Málaga

     Universidad de Málaga

     Málaga, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Multimodal system for mobile robot orientation towards its interlocutor
• Enlaces
  • Texto completo
• Resumen
  • español

    Con el objetivo de lograr una interacción humano-robot lo más natural posible, es fundamental que el robot se oriente hacia su interlocutor. Este trabajo presenta un sistema multimodal que usa información visual y de sonido para lograr una orientación precisa incluso en situaciones complejas con múltiples personas, personas fuera del campo de visión del sensor, etc. En concreto, un sistema de micrófonos estéreo es el encargado de detectar el inicio y fin de la interacción, así como de calcular el ángulo de incidencia del sonido para iniciar la orientación del robot. Por su parte, la información visual proveniente de una cámara se usa para localizar la presencia del interlocutor mediante detección facial, asistida por el ángulo de incidencia del sonido. Una vez localizado, el sistema se encarga de orientarse constantemente hacia dicha persona de manera precisa. El trabajo incluye una demostración del comportamiento del sistema en escenarios límite utilizando el robot social Sancho.

  • English

    To facilitate natural human-robot interaction, it is crucial for the robot to orient itself towards its interlocutor. This work presents a multimodal system that uses visual and sound information to achieve precise orientation even in complex scenarios with multiple people, people outside the sensor’s field of view, etc. Specifically, a stereo microphone system detects the start and end of the interaction, as well as calculates the angle of incidence of the sound to initiate the robot’s orientation. Visual information from a camera is used to locate the presence of the interlocutor through face detecion, assisted by the angle of incidence of the sound. Once located, the system precisely and constantly orients itself towards that person. The work includes a demonstration of the system’s performance in edge cases using the social robot Sancho.