Sistema de interacción humano-robot basado en la mirada para la manipulación de objetos

• Menéndez, Elisabeth ^[1] ; Hernandez-Vicen, J. ^[1] ; Martínez de la Casa, Santiago ^[1] ; Monje, Concepcion A. ^[1] ; Balaguer, Carlos ^[1]
  1. [1] Universidad Carlos III de Madrid

     Universidad Carlos III de Madrid

     Madrid, España

     
• Localización: XLIV Jornadas de Automática: libro de actas: Universidad de Zaragoza, Escuela de Ingeniería y Arquitectura, 6, 7 y 8 de septiembre de 2023, Zaragoza / coord. por José Manuel Andújar Márquez, Ramón Costa Castelló, Alejandro R. Mosteo, Vanesa Loureiro-Vázquez, Elisabet Estévez Estévez, David Muñoz de la Peña Sequedo, Carlos Vilas Fernández, Luis Enrique Montano Gella, Pedro Jesús Cabrera Santana, Raúl Marín, Eduardo Rocón de Lima, Manuel Gil Ortega Linares, Óscar Reinoso García, Luis Payá Castelló, 2023, ISBN 9788497498609, págs. 661-666
• Idioma: español
• Títulos paralelos:
  • Gaze-based Human-Robot Interaction System for Object Manipulation
• Enlaces
  • Texto completo
• Resumen
  • español

    En este artículo, se presenta una solución completa de interacción humano-robot basada en la mirada para ayudar al usuario en tareas de manipulación de objetos. El usuario utiliza unas gafas de seguimiento ocular y se detecta la intención en su mirada de coger un objeto entre varios situados sobre una mesa. El robot, una vez identificado el objeto seleccionado, procede a recogerlo y se lo acerca al usuario. Nuestra solución se compone de diferentes componentes, como la estimación de forma y posición de los objetos utilizando supercuádricas en el sistema de referencia del robot, la identificación y selección del objeto coincidente en la imagen del robot mediante redes siamesas, y un proceso adicional que permite al robot recoger el objeto seleccionado por el usuario de manera efectiva. Esta solución proporciona una forma innovadora y efectiva de interacción para realizar tareas asistenciales de manipulación, sin necesidad de marcadores ni posiciones predefinidas de los objetos, mejorando la fluidez en la comunicación y facilitando la interacción natural entre el usuario y el robot.

  • English

    In this article, we present a complete solution for gaze-based human-robot interaction to assist the user in object manipulation tasks. The user wears eye-tracking glasses, and their intention to pick up an object among several placed on a table is detected through their gaze. Once the selected object is identified, the robot proceeds to grasp it and bring it closer to the user. Our solution consists of various components, including the estimation of object shape and position using superquadrics in the robot’s reference frame, the identification and selection of the matching object in the robot’s image using Siamese networks, and an additional process that enables the robot to pick-up the object selected by the user. This solution offers an innovative and effective way of interaction to perform assistive manipulation tasks, without the need for markers or predefined object positions, enhancing communication fluency and facilitating natural interaction between the user and the robot.