Desarrollo de una herramienta para el aprendizaje del abecedario Ecuatoriano, basado en redes neuronales artificiales para la enseñanza inclusiva de lenguaje de señas

• Armendariz Rodríguez, Vilma Carolina ^[1] ; Chandi Enriquez, Alcibar Geovanny ^[1] ; Milla Estrada, Alexandra de los Ángeles ^[1] ; Gallegos Nogales, Lenin Javier ^[1]
  1. [1] Instituto Superior Tecnológico Bolívar, Ecuador
• Localización: Polo del Conocimiento: Revista científico - profesional, ISSN-e 2550-682X, Vol. 8, Nº. 7 (JULIO 2023), 2023, págs. 84-96
• Idioma: español
• Títulos paralelos:
  • Development of a tool for learning the Ecuadorian alphabet, based on artificial neural networks for the inclusive teaching of sign language
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    En este estudio, se desarrolló una aplicación de lenguaje de señas utilizando una red neuronal artificial creada mediante la herramienta Teachable de Google. Se evaluaron las métricas de precisión, sensibilidad y F1 Score utilizando una matriz de confusión para medir el rendimiento del modelo.

    Los resultados obtenidos fueron destacables, con una precisión del 84%, una sensibilidad del 73% y un F1 Score del 78.11%. Estas métricas indican que el modelo logra una alta precisión en la clasificación de las letras del lenguaje de señas.

    La aplicación creada tiene el potencial de facilitar la comunicación entre personas con deficiencia auditiva y aquellas que no conocen el lenguaje de señas. Además, el uso de la herramienta Teachable demostró ser eficiente y accesible para la creación de modelos de redes neuronales.

    Estos resultados son prometedores y sugieren que la aplicación del aprendizaje automático y la inteligencia artificial en la interpretación del lenguaje de señas puede tener un impacto positivo en la inclusión y la comunicación efectiva. Sin embargo, se deben considerar las limitaciones de la herramienta Teachable, como la falta de flexibilidad para personalizar modelos más complejos y la dependencia de la plataforma en línea de Google.

    En general, este estudio proporciona una base sólida para el desarrollo de aplicaciones de lenguaje de señas basadas en redes neuronales y destaca la importancia de las métricas de evaluación, como la precisión, la sensibilidad y el F1 Score, para medir el rendimiento y la efectividad de los modelos creados.

  • English

    In this study, a sign language application was developed using an artificial neural network created using Google's Teachable tool. Precision, sensitivity and F1 Score metrics were evaluated using a confusion matrix to measure model performance.

    The results obtained were remarkable, with an accuracy of 84%, a sensitivity of 73% and an F1 Score of 78.11%. These metrics indicate that the model achieves high accuracy in classifying sign language letters The application created has the potential to facilitate communication between people with hearing impairment and those who do not know sign language. In addition, the use of the Teachable tool proved to be efficient and accessible for the creation of neural network models.

    These results are promising and suggest that the application of machine learning and artificial intelligence in sign language interpretation can have a positive impact on inclusion and effective communication. However, the limitations of the Teachable tool should be considered, such as the lack of flexibility to customize more complex models and the reliance on Google's online platform.

    Overall, this study provides a solid foundation for the development of neural network-based sign language applications and highlights the importance of evaluation metrics, such as accuracy, sensitivity, and F1 Score, to measure performance and effectiveness. of the models created.