Resumen de Interpretación de gestos en tiempo real empleando GestureNet en un robot social

Jesus García Martínez, Juan José Gamboa Montero, José Carlos Castillo Montoya, Álvaro Castro González, Miguel Ángel Salichs Sánchez-Caballero

• español

  Este artículo presenta el desarrollo y la integración de un clasificador de gestos manuales en un robot social, con el objetivo de mejorar la comunicación visual durante la interacción humano-robot. Además de las capacidades actuales del robot para escuchar la voz del usuario y recibir comandos táctiles a través de una tableta auxiliar, se ha implementado la capacidad de interpretar gestos visuales. Estos gestos incluyen afirmaciones y negaciones con la mano, así como la mano cerrada y abierta, entre otros. Se ha generado un conjunto de datos para entrenar el modelo de clasificación, y utilizamos una arquitectura diseñada específicamente para este propósito. Como caso de uso del clasificador, se ha desarrollado una aplicación del juego tradicional de piedra, papel o tijera. En dicho juego, durante la interacción con el usuario, el modelo de clasificación se ejecuta en tiempo real. Tanto el módulo de detección como la habilidad de juego se han integrado completamente en la arquitectura del robot, proporcionando una experiencia de usuario fluida y natural a través de este canal de comunicación.

• English

  This paper presents the development and integration of a hand gesture classifier in a social robot, aiming to enhance visual communication during human-robot interaction. In addition to the robot’s current capabilities to listen to the user’s voice and receive touch commands through an auxiliary tablet, the ability to interpret visual gestures has been implemented. These gestures include hand signals for affirmation and negation, as well as open and closed hands. A dataset was generated to train the classification model, and we utilized a specifically designed architecture for this purpose. An application for the traditional game of rock, paper, and scissors was developed as a use case for the classifier. In this game, the classification model runs in realtime during user interaction. The detection module and the application have been fully integrated into the robot’s architecture,providing a smooth and natural user experience through this communication channel.