Emotion analysis through biological signal processing
- Autores: María Inmaculada Mohino Herranz
- Directores de la Tesis: Manuel Rosa Zurera (dir. tes.), Roberto Gil Pita (codir. tes.)
- Lectura: En la Universidad de Alcalá ( España ) en 2017
- Idioma: español
- Tribunal Calificador de la Tesis: Gema Piñero Sipán (presid.), María del Pilar Jarabo Amores (secret.), Fernando Seoane Martínez (voc.)
- Materias:
- Enlaces
- Resumen
- español
En nuestra incesante necesidad de dotar a las máquinas de inteligencia, está surgiendo una tendencia de intentar hacerlas interactuar con los seres humanos, incluyendo tanto la toma de decisiones como el análisis de comportamiento emocional. La inteligencia emocional está formada por varios componentes, los principales siendo la expresión de emociones y por supuesto la interpretación de las emociones percibidas.
En esta tesis se pretende estudiar el diseño de sistemas automáticos capaces de interpretar y reconocer las emociones emitidas por personas. El ser humano exterioriza sus emociones de varias formas, tanto conscientemente como inconscientemente. En la voz encontramos diferentes marcadores que pueden orientarnos acerca de las emociones experimentadas por el sujeto a la hora de hablar, pero las emociones afectan a prácticamente todas las señales fisiológicas generadas por el cuerpo humano. Cuando una persona experimenta un estado emocional, las pulsaciones, la respiración, el cerebro y la piel responden en consecuencia, y estos cambios afectan a señales fisiológicas como el electrocardiograma, la impedancia torácica, o la actividad electrodermal.
En la presente tesis, se ha tratado de investigar la extracción de la información más valiosa con respecto a la emoción y actividad del sujeto de múltiples señales biológicas.
Para este propósito, se ha estudiado y analizado la voz, el electrocardiograma, la impedancia torácica y la actividad electrodermal medida tanto en la mano como en el brazo. Varios sistemas han sido propuestos, y se ha obtenido un sistema final basado en señales fisiológicas capturadas por un smartphone y con procesado en tiempo real.
Para caracterizar cada una de las señales utilizadas, presentamos en esta tesis una importante revisión bibliográfica con aquellas características que contienen información acerca de la emoción, actividad y estrés. También se ha testeado e implementado cada una de ellas, tanto offline como en tiempo real, y se ha hecho un estudio comparativo de aquellas que contienen información más relevante. Para conocer la importancia de las características utilizadas se han propuesto técnicas de selección de características basadas en algoritmos evolutivos. En cuanto a los métodos de clasificación utilizados para detectar emoción, actividad y estrés, hemos comparado el comportamiento de diversos clasificadores, con el objetivo de conocer que tipo de clasificador ofrece un rendimiento más significativo en nuestro propósito. Los clasificadores utilizados son los clasificadores lineales de mínimos cuadrados, los clasificadores cuadráticos de mínimos cuadrados, las máquinas de vectores de soporte y las redes neuronales de tipo perceptrón multicapa.
A la hora de obtener información relativa a la emoción se han encontrado numerosos problemas y dificultades. Debido a la dificultad de capturar y obtener señales fisiológicas en el momento que el sujeto siente realmente una emoción concreta, las bases de datos disponibles ellas están compuestas por un número de sujetos escaso, lo que provoca problemas de generalización. Para mitigar este problema nosotros proponemos varias soluciones referentes a la base de datos, una de ellas basada en aumentar el número de archivos que componen la base de datos con archivos creados de manera sintética, y otra basada en una forma novedosa de inicializar el aprendizaje de las redes neuronales. En esta tesis hemos demostrado qué características son más relevantes de cada una de las señales bajo estudio, así como el clasificador que ofrece un rendimiento más apropiado en cada caso. Los resultados demuestran la validez de las propuestas, ofreciendo un balance entre coste computacional y funcionamiento en términos de probabilidad de error.
- English
In our incessant need to make machines intelligent, a tendency to try to make them interact with human beings is arising, including both decision making and emotional behavior analysis. Emotional intelligence is composed of several components, the main ones being the expression of emotions, and the interpretation of the emotions perceived. In this thesis we pretend to study the design of automatic systems able to interpret and recognize emotions emitted by a human. Human beings externalize their emotions in several conscious and unconscious ways. In speech we find different markers that can guide us to the analysis of the emotion experienced by the subject when it comes to speaking, but almost all the physiological signals generated by the human body are also affected by emotions. When the subject experiences an emotional state, the hear rate, the breathing, the brain and the skin inevitably response and change in consequence, and physiological signals such as the electrocardiogram, the thoracic impedance, or the electrodermal activity, are affected by these changes.
In the present thesis, an attempt is made to investigate the way of extracting the most valuable information regarding the emotion activity from multiple biological process. For this purpose, the speech, the electrocardiogram, the thoracic impedance and the electrodermal activity, recorded in both the hand and arm, have been studied and analyzed. Several systems have been proposed, and a final real-time smartphonebased implementation with physiological signals has been implemented and tested.
In order to characterize each of the used signals, we present an important bibliographic review with those features that contain information about emotion, activity and stress. Each identified feature has been tested and implemented, both offline and in real-time, and a comparative study has been carried out of those that contain the most relevant information. In order to know the importance of the features used, evolutive-based feature selection techniques have been proposed. Concerning the methods of classification used to analyze emotion, activity and stress, we have compared the behavior of several different classifiers, with the aim of determining which type of classifier offers the best performance in our application. The classifiers evaluated are the least squares linear classifier, the least squares quadratic classifier, support vector machines and multilayer perceptron neural networks.
Numerous problems and difficulties have been found in obtaining information from emotions. Due to the difficulty of capturing physiological signals at the moment when the subject really feels a particular emotion is elicited, the available databases are composed of a very low number of subjects, which leads to generalization problems.
To mitigate this problem we propose several solutions, one of them consisting in virtually enlarging the number of subjects in the design data, and other consisting in a novel way to initialize the learning process of artificial neural networks. In the thesis we have analyzed the relevancy of the features and signals under study, as well as that the classifier that renders a better performance overcoming the generalization problems in each case. Results demonstrate the suitability of the proposals, offering a trade-off between computational complexity and performance in terms of error probability.
- español
