Resumen de Cerrando la brecha comunicativa mediante el aprendizaje automático con una herramienta lingüística para personas sordas

Miguel Francisco Silva Joaqui, Katerine Márceles Villalba, Siler Amador Donado

• español

  En la actualidad, existe una gran variedad de recursos y herramientas en internet para la integración de inteligencia artificial en proyectos relacionados con el lenguaje. Este artículo propone el uso de aprendizaje automático para abordar y reducir la brecha comunicacional entre personas oyentes y personas sordas que utilizan la lengua de señas como forma de comunicación. Con este objetivo, se empleó la herramienta Edge Impulse, la cual facilita la implementación de modelos de aprendizaje automático en dispositivos móviles.El proyecto SinSeñas2.0 surgió como una respuesta a esta necesidad y se basa en la metodología de Programación Extrema (XP) para entender las necesidades del usuario y ofrecer una solución efectiva. Se recopiló un dataset (conjunto de datos) de 3102 imágenes de señas colombianas, que fue dividido en 80% para entrenamiento y 20% para pruebas. Se utilizaron redes neuronales convolucionales (CNN) y técnicas de aprendizaje profundo para entrenar el modelo, lo cual permitió mejorar la precisión en el reconocimiento de las señas.Los resultados mostraron que la configuración 1 del modelo, con una precisión del 99% y una pérdida del 0.03%, era la más efectiva. Esta configuración utilizó un tamaño de entrada de 96x96 y empleó transfer learning con la red neuronal MobileNet V2. La herramienta también incluyó técnicas de aumento de datos para crear un dataset balanceado y diversificado, mejorando así la robustez del modelo frente a diferentes condiciones de captura.La investigación demuestra que SinSeñas2.0 mejora significativamente la precisión y eficiencia del reconocimiento de la lengua de señas en comparación con enfoques anteriores que no utilizaban aprendizaje automático. Este avance no solo facilita la comunicación entre personas oyentes y sordas, sino que también representa un aporte significativo en la tecnología de traducción de la lengua de señas, promoviendo la inclusión social de las personas sordas

• English

  Currently, there is a wide variety of resources and tools on the internet for integrating artificial intelligence into language-related projects. This article proposes the use of machine learning to address and reduce the communication gap between hearing people and deaf people who use sign language as a form of communication. For this purpose, the Edge Impulse tool, which facilitates the implementation of machine learning models on mobile devices, was employed.The SinSeñas2.0 project emerged as a response to this need and is based on the Extreme Programming (XP) methodology to understand user needs and offer an effective solution. A dataset of 3102 images of Colombian signs was collected, divided into 80% for training and 20% for testing. Convolutional neural networks (CNN) and deep learning techniques were used to train the model, which improved the accuracy in recognizing signs.The results showed that model configuration 1, with an accuracy of 99% and a loss of 0.03%, was the most effective. This configuration used an input size of 96x96 and employed transfer learning with the MobileNet V2 neural network. The tool also included data augmentation techniques to create a balanced and diversified dataset, thereby improving the model’s robustness against different capture conditions.The research demonstrates that SinSeñas2.0 significantly improves the accuracy and efficiency of sign language recognition compared to previous approaches that did not use machine learning. This advancement not only facilitates communication between hearing and deaf people but also represents a significant contribution to sign language translation technology, promoting the social inclusion of deaf individuals.