Entrenamiento de la prosodia en personas con síndrome de down mediante el uso de un videojuego educativo
- Autores: Mario Corrales Astorgano
- Directores de la Tesis: David Escudero Mancebo (dir. tes.), César González Ferreras (codir. tes.)
- Lectura: En la Universidad de Valladolid ( España ) en 2019
- Idioma: español
- Tribunal Calificador de la Tesis: Baltasar Fernández Manjón (presid.), Óscar Saz Torralba (secret.), Juan María Garrido Almiñana (voc.)
- Programa de doctorado: Programa de Doctorado en Informática por la Universidad de Valladolid
- Materias:
- Enlaces
- Tesis en acceso abierto en: UVADOC
- Resumen
Las personas con síndrome de Down tienen una serie de limitaciones cognitivas que afectan, entre otras cosas, al desarrollo de sus habilidades lingüísticas. Dentro de las áreas del lenguaje afectadas se encuentra la prosodia, que es la rama de la lingüística que estudia aspectos suprasegmentales del habla, como la entonación, el tono, el acento o el ritmo. La utilización de forma combinada de estos aspectos complementa la intención comunicativa de una producción oral, aportando matices fundamentales para la correcta transmisión del mensaje requerido por el hablante, como pueden ser la expresión de emociones o la adecuación a un contexto social concreto. La utilización incorrecta de la prosodia puede afectar negativamente a la integración social de las personas que presentan problemas en su uso. La presencia de estas deficiencias en la población con síndrome de Down motiva la existencia de terapias del habla orientadas a la mejora de sus habilidades comunicativas. Los profesionales que realizan estas terapias pueden contar con el apoyo de herramientas tecnológicas que facilitan la realización de las mismas. Entre este tipo de herramientas se encuentran los videojuegos educativos, que están centrados principalmente en el entrenamiento de determinadas habilidades por encima del mero entretenimiento. Dentro de las limitaciones cognitivas que presenta esta población se encuentran los problemas de memoria a corto plazo o el déficit de atención, que les dificultan realizar tareas complejas durante un largo periodo de tiempo, por lo que es muy importante que este tipo de herramientas puedan motivar a los usuarios con el objetivo de potenciar el uso de las mismas. Se ha observado que los videojuegos pueden ser útiles para incrementar la motivación de personas con síndrome de Down a la hora de realizar tareas de entrenamiento. Sin embargo, la existencia de este tipo de herramientas enfocadas a la práctica de la prosodia en personas con síndrome de Down es limitada.
El objetivo principal de esta tesis es la definición de un videojuego educativo enfocado al entrenamiento de algunos aspectos del lenguaje, especialmente los relacionados con la prosodia. Para lograr este objetivo, es necesario tener en cuenta las limitaciones cognitivas de las personas con síndrome de Down que afectan al uso de este tipo de herramientas y sus particularidades en el empleo de la prosodia. Tanto el diseño del videojuego como la interacción entre éste y el jugador deben motivar a los usuarios a completar las actividades de entrenamiento. Además, otro de los objetivos es definir un sistema de análisis de la calidad de las producciones orales centrado en la prosodia, con el objetivo de poder evaluar automáticamente dichas producciones de los jugadores y potenciar el uso autónomo de la herramienta.
En el trabajo de esta tesis se realiza la definición del videojuego, con el foco en el diseño de las actividades de entrenamiento, la interfaz y la interacción con el usuario. Además, se realiza una evaluación del uso del videojuego por parte de usuarios reales con el objetivo de analizar la idoneidad de las decisiones de diseño tomadas, así como detectar los posibles problemas no resueltos inicialmente. Por otro lado, es necesario definir objetivamente los criterios que definen la calidad prosódica de una producción oral y cómo se relacionan con las características acústicas de la señal sonora. La existencia de corpus de habla de personas con síndrome de Down es limitada, especialmente los orientados al estudio de la prosodia, por lo que la herramienta sirve también para recolectar muestras de voz de esta población. Utilizando las grabaciones obtenidas mediante el uso del videojuego, se realiza una comparación entre algunas características acústicas extraídas de estas grabaciones con las extraídas de grabaciones realizadas por personas con desarrollo típico, con el objetivo de detectar las particularidades en el uso de la prosodia de las personas con síndrome de Down. Estas características están relacionadas con la frecuencia fundamental, la energía, el ritmo o el espectro de la señal acústica. Además, se realiza un análisis de la relación entre los criterios de calidad prosódica definidos y las características acústicas de las grabaciones de personas con síndrome de Down. Esto se ha efectuado tomando como referencia la evaluación de las grabaciones realizada por expertas en prosodia, cuyo criterio se pretende reproducir utilizando las características acústicas extraídas de las grabaciones. Para ello se han utilizado métodos estadísticos y de aprendizaje automático, como tests no paramétricos para comprobar las diferencias entre los grupos o el uso de clasificadores automáticos para clasificar las muestras como las máquinas de soporte vectorial, los árboles de decisión o los perceptrones multicapa.
Los resultados obtenidos en los experimentos realizados muestran que la herramienta consigue mantener la atención de los jugadores con síndrome de Down durante toda la sesión de juego y que las actividades desarrolladas cumplen el propósito de detectar y entrenar los problemas relacionados con la prosodia en esta población. Además, se han identificado diferencias significativas en los dominios de la frecuencia, energía, temporal y espectral cuando se comparan las características acústicas extraídas de las grabaciones de personas con síndrome de Down y de las grabaciones de personas con desarrollo típico. La tasa de clasificación obtenida en la tarea de clasificar una grabación como proveniente de una persona con síndrome de Down o de una persona con desarrollo típico está por encima del 95\% utilizando combinaciones de las características acústicas extraídas. Por último, al analizar la relación entre las evaluaciones realizadas por expertas en prosodia y las características acústicas de las grabaciones de personas con síndrome de Down, se consigue una tasa de clasificación de 79,3\% cuando se utilizan estas características para entrenar algunos clasificadores automáticos con el objetivo de predecir las evaluaciones de las expertas en prosodia. Además, la tasa de falsos positivos, que es el porcentaje de grabaciones clasificadas como incorrectas por el clasificador pero evaluadas como correctas por la experta en prosodia, es del 10.1\%. Este resultado es importante para reducir la frustración de los jugadores en una posible implementación de la evaluación automática dentro del videojuego. Cuando se analizan los resultados para cada usuario, se ha detectado que la heterogeneidad inherente a esta población afecta considerablemente a los resultados, obteniendo mayores tasas de concordancia cuando el nivel cognitivo de los hablantes es alto y menores tasa de concordancia cuando el nivel cognitivo de los hablantes es bajo.
Los resultados relacionados con la evaluación del videojuego muestran la importancia que tiene realizar un diseño de las actividades y de la interacción del mismo teniendo en cuenta las limitaciones de las personas con síndrome de Down. Las decisiones tomadas en este sentido son fundamentales para aumentar la motivación de los jugadores hacia el uso del videojuego y para detectar y entrenar las deficiencias más importantes de estas personas en el uso de la prosodia. Además, la comparación realizada entre las voces de personas con síndrome de Down y personas con desarrollo típico muestran diferencias entre algunas características acústicas extraídas de las grabaciones de ambos grupos. Estas diferencias revelan la importancia de la prosodia a la hora de identificar una voz como atípica. Por último, se ha observado la influencia que tiene el perfil lingüístico y psicológico de los hablantes en la evaluación automática de la calidad prosódica de sus grabaciones. La heterogeneidad de las personas con síndrome de Down debe de ser tenida en cuenta a la hora de realizar este tipo de sistemas de evaluación automática.
