Detección de fatiga en conductores mediante fusión de sistemas ADAS
- Autores: Iván García Daza
- Directores de la Tesis: Rafael Barea Navarro (codir. tes.), Luis M. Bergasa Pascual (codir. tes.)
- Lectura: En la Universidad de Alcalá ( España ) en 2011
- Idioma: español
- Tribunal Calificador de la Tesis: Luciano Boquete Vázquez (presid.), Miguel Angel García Garrido (secret.), David Tobias Sandberg (voc.), Arturo de la Escalera Hueso (voc.), Enrique Cabello Pardos (voc.)
- Materias:
- Enlaces
- Resumen
- español
Se ha identificado la somnolencia como una de las causas más importante de accidentes de tráfico, ya que se encuentra implicada en el 20 % de los mismos, por lo que existe un interés creciente en encontrar sistemas ADAS (Advanced Driver Assistance Systems) capaces de detectar el estado de fatiga del conductor para prevenir posibles accidentes. Esto hace que las investigaciones en este ámbito sean de vital importancia.
Para abordar el análisis de la somnolencia durante la conducción, distintos grupos de investigadores han trabajado en diversas técnicas, entre las que destaca la Visión por Computador dado que permite, mediante el uso de una tecnología relativamente barata, la monitorización del conductor de forma no intrusiva.
En esta tesis se propone una técnica, basada en el procesado de imágenes monoculares consistente en la detección, seguimiento y caracterización de la apertura de los ojos, que trabaja automáticamente con distintos usuarios y en condiciones de conducción real. A partir de esta información y de otras señales relativas a la conducción, se infiere la somnolencia del conductor.
Las señales relativas al conductor se han obtenido de una amplia colección de vídeos de la cara de diferentes conductores, en simulación y en condiciones reales, en estado normal y de privación de sueño. Además, se dispone de numerosas señales relativas a la conducción, como la posición del vehículo en el carril, el angulo de giro del volante, el error del angulo de guiñada, etc.
Para la evaluación de la somnolencia en el conductor es necesario generar una señal de referencia que indique el estado del mismo. Esta señal se obtiene, por tres expertos, del estudio del índice de Karolinska (KSS), de la información facial extraída de los vídeos del conductor y de las señales registradas en la conducción. Normalmente, la señal de referencia consta de dos niveles: vigilia y somnolencia, pero en esta tesis se ha ampliado a un tercero, el de fatiga, para intentar mejorar la clasificación del estado del conductor. Tras un análisis de esta opción se ha concluido que la mejor clasificación es la binaria. Esta metodología es nueva ya que fusiona la información KSS con la proporcionada por expertos.
Con los vídeos de la cara del conductor y técnicas de procesado de imágenes se ha evaluado la apertura de los ojos. Para la detección de la cara se ha empleado el algoritmo de detección por apariencia de Viola y Jones, y para la de los ojos se ha mejorado con técnicas de clustering y un filtro de Kalman como predictor. La medida de la apertura de los ojos se ha obtenido aplicando filtros adaptativos, integrales proyectivas y un modelo Gaussiano cuya desviación estándar coincide con la apertura, consiguiendo un sistema en tiempo real y robusto frente a cambios de iluminación. Conocida la apertura se calcula el Porcentaje de Ojo Cerrado (PERCLOS), que es uno de los indicadores más importantes en la detección de somnolencia.
De las señales relativas a la conducción, que son dependientes de cada conductor, se han obtenido indicadores calculados con ventanas temporales como son: desviación estándar (std) y error cuadrático medio (mse) de la posición del vehículo en el carril, fracción de tiempo que el vehículo está fuera del carril (Lanex), tiempo estimado en cruzar los límites del carril (TLC), desviación estándar y movimientos rápidos del angulo de giro del volante, desviación estándar del error del angulo de guiñada e indicadores genéricos de variabilidad (GVI). Para eliminar la dependencia de los indicadores con cada uno de los conductores, se aplican algoritmos genéticos para optimizar una función objetivo que tiene en cuenta a la señal de referencia.
Para determinar el estado del conductor se han fusionado indicadores entre sí mediante una red neuronal Perceptrón Multicapa, en donde el número de neuronas de la capa oculta se ha ajustado con el cálculo de la curva ROC.
Se han expuestos resultados en condiciones de simulación y en condiciones reales. La clasificación se ha realizado con indicadores individuales y fusionándolos, presentando los resultados en diagramas de error, en diagramas de tela de araña y en tablas donde se muestra la tasa de aciertos, especificidad, sensibilidad y valor de la función objetivo.
Los resultados obtenidos sobre la detección de somnolencia demuestran que la utilización del PERCLOS es determinante para la estimación del estado del conductor y que su fusión con otros indicadores de conducción mejora su tasa de aciertos individual. Los indicadores relacionados con la conducción obtienen peores resultados que el PERCLOS porque sus señales no sólo están motivadas por la somnolencia sino también por factores relacionados con la trayectoria de la carretera. El error del angulo de guiñada se ha evaluado sólo en simulación puesto que en condiciones reales es difícil de estimar y no se disponía de el. En simulación las dos mejores combinaciones son la fusión entre el PERCLOS y la desviación estándar del error del angulo de guiñada y el PERCLOS y el indicador mse optimizado. En condiciones reales la mejor combinación es el PERCLOS y mse optimizado. Si se hubiera tenido el error del angulo de guiñada en condiciones reales quizás hubiera dado el mejor porcentaje en la clasificación, superando inclusive la fusión del PERCLOS con el indicador mse optimizado en condiciones reales, por lo tanto, los resultados obtenidos avalan la metodología empleada que traslada los resultados del simulador naturalista a las condiciones reales, extrayendo conclusiones válidas para las condiciones reales con porcentajes de detección menores debido al mayor ruido asociado a las señales.
En simulación, se ha revelado como un buen indicador de somnolencia por su independencia con respecto a la trayectoria. La fusión entre las señales de PERCLOS y angulo de guiñada ha sido la que ha alcanzado mayor tanto por ciento de detección.
En términos generales, los resultados obtenidos están en concordancia con otros importantes trabajos sobre detección de somnolencia [Sandberg, 2011], a excepción de la discusión sobre la importancia de la variable PERCLOS ya que, en esta tesis, se concluye que es el mejor indicador de somnolencia debido, probablemente, a que el sistema de visión desarrollado para su obtención es propietario y no comercial. Por otro lado, los resultados de detección obtenidos son mejores que en otros importantes trabajos referenciados del estado del arte [Friedrichs & Yang, 2010a, Caterpillar, 2008].
- English
Drowsiness has been identified as one of the most important causes of traffic accidents, as it is pressent in the 20 % of them. Therefore, there is a growing interest in looking for ADAS (Advanced Driver Assistance Systems), capable of detecting driver’s fatigue, to prevent potential accidents. So that, research in this area is vital.
In order to tactle drowsiness analysis while a user is driving, several worldwide research groups have been working on different techniques. Computer Vision techniques are prominent among them, since it allows, by means of relatively cheap technology, to monitor driver’s state in a non intrusive way.
In this thesis a technique based on monocular image processing is introduced. This consists of detection, tracking and characterization of eye closure, able to deal with different users and real driving conditions. Using this information and others acquired from the car, the driver behaviour is infered.
Driver-related signals have been obtained from a wide set of sequences, in which there are different people’s faces, either simulation or real driving conditions, awake or sleepy users.
For the purpose of driver drowsiness evaluation is necessary to generate a ground truth, which can provide the real state of the user at a particular time. This signal is obtained by 3 experts, as a result of studying several parameters as: KSS Karolinska Sleepines Scale, facial features obtained from the recorded sequences and registered signals from the driving process.
This ground truth usually has 2 levels, awakeness and drowsiness, although in this Thesis it has been extended, including a middle level: fatigue, to preciselly clasify the user’s state. This methodology is new because takes information of the KSS scale and some experts.
Once all the user’s face sequences were obtained, the developed computer vision techniques to obtain eye closure have been tested. Face detection is based on Viola & Jones algorithm, which is appearance-based, and eye detection is improved using clustering techniques and Kalman filtering, as predictor. Eye closure is obtained applying, over the located eyes, adaptive filters, projective integration and Gaussian modelling. All these image treatment algorithms makes the system robust against illumination variation and different users, archieving real time operation.
Once the closure is known, the parameter PERCLOS (PERcentaje of eye CLOSure) is computed.
This parameter is one of the most relevant in drowsiness detection.
Talking about driving signals, obtained from the car, which depends on the user, some signs filtered using temporal window have been obtained like: standard deviation (STD), root mean square error (MSE) of the vehicle possition on the lane, number of lane excedances (Lanex), time to lane crossing (TLC), its standard deviation, fast changes on the steering wheel angle, yaw angle standard deviation, and generic variability indicators (GVI). In order to remove sign-user dependence, parameter optimization using genetic algorithms has been carried out, taking into account the ground truth.
In order to stablish the driver’s state, some indicators have been merged using a multilayer perceptron neural network, in which the number of neurons of the hidden layer is set using the ROC curve.
Some results are shown in simulation and real driving conditions. The classification is performed by individual signals as well as fusing them, presenting the results using diagram error for 2 and 3 variables, and tables where the recall rate, the specificity, the sensitivity and the objective function are shown.
The results related to drowsiness detection demonstrates that PERCLOS is a fundamental parameter for the estimation of driver’s state, and merging it with other driving signals improves the overall recall rate. Indicators related to driving yield worse results than using PERCLOS because those signals are not only caused by drowsiness but also by real driving conditions that are difficult to estimate. Heading error has been tested only in simulation because in real conditions it has not been provided by the person in charge of driving signals. During the simulation, the best possible combinations are the following: the fusion of PERCLOS and the standard deviation of the heading angle; and PERCLOS and the optimized MSE indicator.
During real conditions, the best possible combination is the last one. If heading angle had had taken into account during real operation, the recall rate would have been improved. Therefore, the obtained results guarantee the methodology used, and can be easily extrapolated from the realistic simulator to real driving operation. Conclusions obtained using this methodology are valid for real conditions even though the detection rate is lower since the input signals are noisier.
The results are in line with other important works about this subject [Sandberg, 2011] except in the consideration of the PERCLOS, the best signal for us maybe due to we use our own vision system and not a commercial one. On the other hand, results are better than other important works of the state of the art [Friedrichs & Yang, 2010a, Caterpillar, 2008].
- español
