Desarrollo de Software Dedicado a la Traducción de la Lengua Mexicana de Señas mediante Deep Learning y Machine Learning

• Caballero Hernández, Héctor ^[1] ; Muñoz Jiménez, Vianney ^[1] ; Ramos Corchado, Marco Antonio ^[1]
  1. [1] Universidad Autónoma del Estado de México

     Universidad Autónoma del Estado de México

     México

     
• Localización: PAAKAT: Revista de Tecnología y Sociedad, ISSN-e 2007-3607, Vol. 15, Nº. 28, 2025 (Ejemplar dedicado a: La Dimensión Digital: intersecciones entre tecnología y realidad social)
• Idioma: español
• Enlaces
  • Texto completo (pdf)
• Resumen

  • Actualmente hay diversas propuestas para abordar la interpretación de las lenguas de señas (LS) a lenguajes escritos y hablados, a nivel mundial, se han desarrollado investigaciones basadas en dispositivos electrónicos y en técnicas de visión por computadora para interpretar diferentes LS. Entre los problemas más comunes para la interpretación de las LS, se encuentran, la falta de datasets estandarizados para generar modelos de interpretación de LS y software multiplataforma. En esta investigación se presenta el desarrollo de aplicaciones destinadas a dispositivos móviles y equipos de sobremesa dedicadas a la interpretación de la Lengua de Señas Mexicana (LSM), así como a la traducción de objetos que se encuentren en espacios como casa-habitación y oficina a la LSM y a texto en español, con la finalidad de facilitar la integración del vocabulario de la LSM para personas sordomudas y sin discapacidad auditiva o del habla. Para esta investigación se ha desarrollado un dataset para la LSM, el cual dispone de 42 clases, tomando como base distintos escenarios de 30 participantes, así como imágenes provenientes de internet para desarrollar una CNN (convolucional neural networks) basada en YOLOv8, y un modelo de reconocimiento de Machine Learning (ML) basado en MediaPipe. Los resultados para la CNN mostraron un 90% de mAP50 en la mejor de las evaluaciones, mientras en el modelo ML presenta un accuracy 0.817. La CNN dedicada a la traducción de objetos al español y a la LSM consta de 79 clases las cuales se ha basado en el dataset COCO.