Análisis y clasificación de emociones en personas con discapacidad visual usando señales eeg y aprendizaje automático
- Autores: Jesús Leonardo López Hernández
- Directores de la Tesis: Israel González Carrasco (dir. tes.)
- Lectura: En la Universidad Carlos III de Madrid ( España ) en 2022
- Idioma: español
- Tribunal Calificador de la Tesis: José Manuel Sánchez Pena (presid.), Luis Alfonso Hernández Gómez (secret.), Miguel Angel Valero Duboy (voc.)
- Programa de doctorado: Programa de Doctorado en Ciencia y Tecnología Informática por la Universidad Carlos III de Madrid
- Materias:
- Enlaces
- Tesis en acceso abierto en: e-Archivo
- Resumen
Actualmente, el reconocimiento y clasificación de las emociones humanas a partir del análisis de la actividad cerebral de una persona, sigue representando un desafío y un problema a resolver, debido a que la percepción de las emociones entre las personas difiere y a la dificultad para generalizar el conjunto de señales cerebrales. Una de las primeras teorías para explicar la percepción emocional de una persona expone la importancia de las respuestas corporales ante un determinado estímulo. Esto permite determinar la naturaleza y el alcance de una emoción. Desde otro punto de vista, se ha definido a una emoción como un proceso psicológico como una forma de respuesta al entorno. Por otro lado, otras teorías relacionadas a las emociones coinciden que la actividad relacionada con las señales cerebrales es un componente importante de la experiencia emocional y tiene gran relevancia en la identificación y reconocimiento de las emociones. Si bien, se sabe que las emociones están directamente relacionadas con la forma en que una persona se comunica, para las personas con alguna discapacidad en ocasiones no es posible comunicar sus emociones de forma natural debido a su condición. Por lo tanto, para abordar este problema es necesario integrar diferentes disciplinas que en conjunto permitan dar una solución a este problema.
Una de las disciplinas de la inteligencia artificial que busca desarrollar métodos computacionales orientados al reconocimiento de las emociones humanas es la computación afectiva. Los sistemas informáticos que se diseñan basados en computación afectiva tienen la intención de dar a las computadoras la capacidad de detectar las emociones de los usuarios con el uso de diferentes sensores, esto crea un canal de comunicación bidireccional, debido a que los sistemas también obtienen información adicional del usuario. Por ello, en un esfuerzo para mejorar la interacción persona-computadora aplicada a personas con discapacidad, nuevas formas para el reconocimiento de las emociones usando computación afectiva se han explorado.
Por otra parte, una interfaz cerebro-computadora es una tecnología que permite comunicar a las personas y las computadoras de forma natural, a través del procesamiento de las señales cerebrales. Por lo tanto, esta tecnología ha permitido estudiar las emociones humanas mediante un conjunto de señales cerebrales de una persona. Lo cual representa una alternativa y establece una vía para el reconocimiento y clasificación de sus emociones.
Por lo general, las señales originadas en el cerebro se utilizan para el reconocimiento de los estados mentales de una persona, como aquellos que revelan las emociones personales. Sin embargo, estas señales que se registran usando la actividad eléctrica cerebral requieren de métodos eficientes de procesamiento, los cuales permitan extraer características relevantes y la generación de modelos de inteligencia artificial para el reconocimiento y clasificación de patrones de la actividad cerebral. En este sentido, el reconocimiento de emociones mediante el estudio de las señales cerebrales es un tema de investigación que ha generado grandes expectativas.
Previos trabajos de investigación han propuesto diversas técnicas y enfoques centrados en el estudio del comportamiento emocional de las personas para clasificar sus emociones, usando diferentes fuentes de información como las expresiones faciales o la tonalidad de voz. No obstante, el uso de otras señales que incluyan información del estado emocional de una persona, como las señales cerebrales pueden representar un método más fiable y objetivo. Siendo que, estas señales responden a la variación de la actividad cerebral de una persona de forma sensible y en tiempo real. Además, se sabe que las señales cerebrales proporcionan información útil de los estados mentales y emocionales de una persona. Sin embargo, la investigación relacionada con este campo no ha considerado a las personas con discapacidades visuales y sus impedimentos. Por tanto, nuevos escenarios para extraer la información del cerebro y comunicar a las personas con discapacidad y las computadoras son necesarios.
Con base a lo expuesto, en esta investigación se presenta un framework para el reconocimiento de emociones, dirigido a personas con discapacidad visual. Para inducir los estados afectivos de una persona se utilizan diferentes estímulos auditivos de corta duración y se ha definido un componente para la adquisición y extracción de características de las señales cerebrales. Asimismo, se utilizan técnicas para llevar a cabo un análisis de la actividad cerebral y poder modelar las señales cerebrales relacionadas a las emociones de una persona. Finalmente, se evalúan diversos modelos de aprendizaje automático, con el objetivo de identificar el mejor modelo para clasificar emociones en personas con discapacidad visual.
Por tanto, el resultado esperado de esta investigación es obtener nueva evidencia sobre la aplicación de una interfaz cerebro-computadora y computación afectiva en un escenario no evaluado previamente, el reconocimiento de información de los estados afectivos de personas con discapacidad visual y la clasificación de sus emociones.
La metodología definida para alcanzar el objetivo de clasificar las emociones en personas con discapacidad visual y las actividades para el desarrollo de la investigación son las siguientes: o Estado del arte. En esta fase se realiza un análisis de trabajos relacionados sobre interfaz cerebro-computadora y computación afectiva dirigidos a personas con discapacidad visual y la clasificación de sus estados afectivos.
o Solución propuesta. Esta fase presenta el framework para la clasificación de las emociones en un escenario orientado a personas con discapacidad visual. Asimismo, se describen los elementos y componentes del framework de cada una de sus fases.
o Evaluación y validación. Esta sección expone las actividades que permiten evaluar y validar las fases del framework propuesto. De igual manera, se describen diferentes enfoques emocionales basados en los conjuntos de señales cerebrales para identificar qué emociones muestran comportamientos diferentes en relación con el tipo de estímulos auditivos utilizados.
o Documentación y conclusiones. En esta fase se documenta cada aspecto relativo a la investigación y se presentan a manera de conclusión los resultados que surgen de la misma.
Para analizar el comportamiento y el funcionamiento del cerebro por medio de la interpretación de las señales eléctricas producidas en el cerebro se emplea una técnica denominada Electroencefalografía (EEG). Está técnica permite medir los cambios de voltaje que se producen en diferentes puntos del cerebro cuando una persona realiza una actividad. De este modo, las características de las señales cerebrales que han sido registradas previamente son estudiadas con el fin de traducir las intenciones de una persona en instrucciones interpretadas por un dispositivo externo.
Durante los últimos años, para abordar este problema del reconocimiento de emociones, diversos trabajos de investigación proponen el estudio de las señales cerebrales como una fuente de información para el reconocimiento de los estados afectivos de una persona. Estas investigaciones han demostrado que es posible obtener información fiable de la actividad cerebral de una persona y estudiar su comportamiento emocional en función de diferentes estímulos. Sin embargo, a pesar de la cantidad de trabajos en esta área y sabiendo que las emociones son esenciales para la comprensión del comportamiento humano, el conocimiento que se tiene de las emociones es mínimo.
Tomando en cuenta los resultados del análisis de los trabajos mencionados en el estado del arte, se sabe que una interfaz cerebro-computadora brinda a las personas con o sin discapacidad la oportunidad de expresar sus intenciones y comunicarse con su entorno de forma natural a través de la interpretación de las señales cerebrales que reflejan su actividad mental. De igual manera, se ha identificado que los estímulos visuales son ampliamente utilizados en conjunto con los sistemas interfaz cerebro-computadora. Sin embargo, para la población objetivo de esta investigación, las personas con discapacidad visual, este tipo de estimulación no es útil. Por esta razón, se hace necesario emplear un estímulo auditivo para adaptar una interfaz cerebro-computadora a las necesidades de este tipo de personas.
Por otro lado, se ha expuesto que las emociones reflejan el estado mental y afectivo de una persona como respuesta a los estímulos producidos en su entorno. En especial, la influencia que tiene la música sobre las emociones personales y cómo afectan la percepción del entorno, la comunicación y la toma de decisiones en personas con y sin discapacidad. Por lo tanto, la solución propuesta que se incluye en esta investigación considera la actualidad de los hallazgos identificados sobre el reconocimiento de emociones en personas con discapacidad y las tendencias de integración de los sistemas interfaz cerebro-computadora en actividades de la vida diaria de las personas.
La arquitectura definida para el framework se basa en un diseño centrado en el usuario mediante un nuevo escenario de experimentación para el registro de las señales cerebrales de personas con discapacidad visual. Dicho escenario se compone de las fases principales para la inducción de los estados emocionales, la adquisición y análisis de las señales cerebrales y el reconocimiento de los estados afectivos de estas personas. En la primera fase, la evocación de las emociones de una persona con discapacidad visual se efectúa mediante un proceso de estimulación auditiva. La segunda fase, se compone de los módulos de un sistema interfaz cerebro-computadora para el registro, procesamiento, extracción de características y clasificación de señales EEG. Por último, la tercera fase consta de un módulo de computación afectiva para el análisis y reconocimiento de los estados afectivos de un grupo de personas con discapacidad visual.
En principio, el proceso experimental del framework se inicia al presentar un estímulo auditivo a la persona para evocar su actividad cerebral. Su propósito es inducir un estado emocional basado en el estilo musical de un estímulo auditivo. De forma simultánea a la presentación del estímulo y en tiempo real se inicia la tarea de adquisición o registro de las señales cerebrales de las personas. Este proceso de estimulación y registro de señales es de tipo iterativo y deberá repetirse en función del número de estímulos y sesiones planeadas para cada participante. Posteriormente al registro de las señales cerebrales, los datos obtenidos son analizados de dos formas: individual y en conjunto. Esta última debe incluir los datos de todos los participantes, la finalidad de este módulo tiene dos objetivos. Por un lado, la preparación de un conjunto de datos para la extracción de las características de frecuencia de las señales cerebrales. Por otra parte, la generación de modelos 2D y 3D de la actividad cerebral que permitan la identificación de las regiones cerebrales con mayor activación en el proceso de estimulación. El siguiente módulo comprende la aplicación de un método para la extracción de las características de potencia de las señales cerebrales EEG. Esto da como resultado un conjunto de datos formado por los vectores de características de las frecuencias delta, theta, alfa y beta asociadas a la señal cerebral EEG. También se obtienen las etiquetas de cada muestra que corresponden a la calificación de cada estímulo evaluado por los participantes. A su vez, el diseño del componente de clasificación de señales EEG, está basado en la configuración de múltiples modelos de aprendizaje automático bajo una estructura de aprendizaje supervisado. Con esto, se busca determinar el modelo que mejor se adapte y que mejor rendimiento obtenga sobre los datos para las tareas de reconocimiento de patrones y clasificación de señales cerebrales EEG. El último paso es la identificación de los diferentes estados emocionales de una persona con discapacidad visual. Para esto, se propone analizar el rendimiento de los modelos de clasificación para estudiar la correlación entre las emociones informadas por cada participante y el desempeño de dichos modelos.
Con base a la definición de las fases y los elementos que integran el framework propuesto, se propone evaluar su rendimiento mediante la adaptación de enfoques de emociones a partir de los conjuntos de señales cerebrales y las respuestas de los estímulos evaluados por los usuarios. Con esto se pretende validar la capacidad de los modelos de aprendizaje automático para reconocer en el conjunto de señales cerebrales emociones con un comportamiento diferente en función de la actividad cerebral y los estímulos evaluados.
Para el proceso de evaluación y validación del framework propuesto se configura un módulo de clasificación de señales cerebrales EEG, en el cual se entrenan y evalúan los modelos de aprendizaje automático RF (Random Forest), LR (Logistic Regression), MLP (Multilayer Perceptron), KNN (K-Nearest Neighbors), LDA (Linear Discriminant Analysis), NB (Naïve Bayes), DT (Decision Tree) y NN (Neural Networks), con el propósito de identificar el modelo con el mejor desempeño en las tareas de reconocimiento y clasificación de emociones a partir de datos de señales cerebrales EEG.
Los resultados de la evaluación muestran que los enfoques de 56 características, incluidas las frecuencias delta, theta, alfa y beta, funcionan mejor para el reconocimiento y clasificación de las emociones. Según el desempeño de estos modelos, la exactitud alcanzada es del 91% y 90% en la clasificación de emociones negativas y positivas, respectivamente. Por lo tanto, se considera que la selección de características juega un papel clave en el desempeño de la clasificación. Asimismo, un análisis de la importancia de las características muestra que las áreas frontotemporales del cerebro vinculadas a la frecuencia beta tienen la mayor contribución al rendimiento de los modelos propuestos.
Por otra parte, es posible observar variabilidad en las señales cerebrales con respecto a los estímulos considerados positivos, neutros y negativos. Aunque, el comportamiento es similar con valores de media de 4200 µV, se registraron valores atípicos en los datos. Esto podría indicar una reacción diferente ante los estímulos presentados. Es importante remarcar que, durante las tareas de aprendizaje automático se han considerado la totalidad de los datos, es decir, no se han omitido los valores atípicos.
De igual forma, se indica en los datos que RF es el modelo con el mejor desempeño durante las tareas de clasificación. En la evaluación de resultados, RF ante los enfoques A1-56 características y A2-28 características para las emociones negativas y neutras alcanza una exactitud de clasificación de 91% y 82%, respectivamente. A su vez, el modelo RF con los enfoques de emociones neutras y positivas B1-56 características obtiene 90% y sobre el B2-28 características logra una exactitud de 82%. Basado en los mejores resultados obtenidos del modelo RF con los enfoques A1-56 características y B1-56 características para la clasificación de emociones negativas, neutras y positivas, mediante un análisis de importancia de características es posible reconocer que las frecuencias beta tienen un peso mayor en la toma de decisiones de los modelos. Por otro lado, los resultados muestran que los modelos LR, MLP, KNN, LDA, NB, DT y NN, obtienen un rendimiento menor en comparación con RF. Si bien en la evaluación de los modelos se observa que KNN, NB y DT obtienen resultados aceptables de clasificación, estos resultados no son consistentes con la identificación de emociones para otros enfoques propuestos en esta investigación.
La representación de las señales cerebrales de los participantes en mapas de actividad cerebral permite identificar la variabilidad en las señales cerebrales de cada sujeto. Esta característica es relevante porque se considera relativa a la percepción de cada sujeto hacia cada estímulo. Esto concuerda con lo identificado en el trabajo relacionado, donde se menciona que la percepción emocional de las personas comúnmente difiere. La evaluación de los diferentes modelos de aprendizaje automático y de acuerdo a los resultados obtenidos del algoritmo RF, su desempeño coincide con otros hallazgos reportados, los cuales informan que RF es un algoritmo robusto en el procesamiento y reconocimiento de patrones a partir de señales cerebrales EEG.
Considerando los tipos de frecuencias delta, theta, alfa y beta, y su configuración con diferentes modelos de aprendizaje automático para determinar su capacidad para reconocer y clasificar diferentes estados afectivos de un grupo de personas con discapacidad visual. Los datos del rendimiento muestran que los modelos que consideran todas las frecuencias funcionan ligeramente mejor que los modelos que consideran solo las frecuencias alfa y beta. Esto concuerda con los resultado de otras investigaciones en donde se señala que las frecuencias más importantes son las ondas alfa (8-12 Hz) debido a que predominan en estados mentales de relajación y las ondas beta (12-30 Hz) activas durante estados con intensa actividad mental.
Por último, la evaluación y validación del framework propuesto aporta las siguientes conclusiones, con base a los objetivos e hipótesis establecidas al comienzo de la investigación: Se ha demostrado que es posible clasificar las emociones de personas usando señales cerebrales EEG, emociones informadas y técnicas de aprendizaje automático sobre una población no evaluada, las personas con discapacidad visual.
El análisis de variabilidad de las señales cerebrales EEG de las emociones informadas por los usuarios ha demostrado que, las señales cerebrales para las emociones negativas y positivas contienen características muy similares en su comportamiento.
El empleo de diferentes enfoques para la clasificación automática de emociones usando las frecuencias delta, theta, alfa y beta, ha expuesto que el mejor resultado se obtiene utilizando datos con todas las frecuencias para enfoques de emociones negativas-neutras y neutras-positivas. Los resultados indican que RF es el modelo con mejor desempeño en la clasificación de estos conjuntos, con resultados de 91% y 90% de exactitud en modelos de emociones negativas-neutras y neutras-positivas, respectivamente.
Se ha identificado que los sensores ubicados en las regiones frontal y temporal contienen información relevante para la clasificación de los estados emocionales de una persona.
Mediante los modelos de actividad cerebral, la ubicación de los sensores y la relevancia de las frecuencias delta, theta, alfa y beta, se ha identificado la relación entre emociones negativas, neutras y positivas y el comportamiento emocional de las personas participantes del experimento, incluidas personas con discapacidad visual.
Finalmente, los aspectos más importantes del framework son: el primero se centra principalmente en la adquisición de datos (extracción de señales) en personas con discapacidad visual, utilizando estímulos auditivos de corta duración. El segundo se refiere a técnicas de análisis para el modelado de emociones y modelos de aprendizaje automático para clasificar las emociones. Cabe señalar que el framework se puede ampliar con más algoritmos de aprendizaje automático y, por lo tanto, aumenta la flexibilidad. Adicionalmente, como trabajo futuro se propone continuar con la investigación a partir de las señales cerebrales e integrar nuevas fuentes de información de personas con discapacidad visual, para desarrollar nuevas formas de comunicación e interacción tecnológica que les permita integrarse en la sociedad actual.
