Ontology engineering and reasoning to support real world human behavior recognition
- Autores: Claudia Villalonga Palliser
- Directores de la Tesis: Oresti Baños Legrán (dir. tes.), Héctor Pomares Cintas (dir. tes.)
- Lectura: En la Universidad de Granada ( España ) en 2016
- Idioma: español
- Tribunal Calificador de la Tesis: Alberto Prieto Espinosa (presid.), Miguel Damas (secret.), Ramón Hervás Lucas (voc.), Peter Gloesekoetter (voc.), Macarena Espinilla Estévez (voc.)
- Programa de doctorado: Programa de Doctorado en Tecnologías de la Información y la Comunicación por la Universidad de Granada
- Materias:
- Enlaces
- Tesis en acceso abierto en: DIGIBUG
- Resumen
- español
----- RESUMEN ----- -- Introducción -- El reconocimiento de la conducta humana [1] ha despertado mucho interés recientemente debido a su aplicación para impulsar cambios de comportamiento en los dominios de la salud y el bienestar [2]. No obstante, la mayoría de los sistemas de reconocimiento del comportamiento humano disponibles hasta la fecha sufren dos limitaciones que los hacen poco adecuados para trabajar en el mundo real: están diseñados para trabajar sobre una configuración predeterminada de sensores y para ser usados en el dominio de una aplicación específica. Sin embargo, los sistemas de reconocimiento que trabajan en condiciones reales están sujetos a fallos o defectos de los sensores [3] y a cambios en el despliegue [4] que son imprevisibles durante la fase de diseño y que afectan directamente al buen funcionamiento del sistema de reconocimiento. Asimismo, el reconocimiento de expresiones más informativas sobre el contexto humano requiere analizar múltiples componentes del comportamiento tales como los aspectos físicos y mentales [1], los cuales por el momento solo se han investigado de forma aislada.
En vista de estas limitaciones, existe la necesidad de (1) describir exhaustivamente el conjunto heterogéneo de recursos que participan en el sistema de reconocimiento de la conducta humana, (2) seleccionar dinámicamente los sensores de recambio para garantizar la continuidad del reconocimiento, (3) describir de forma íntegra la información sobre el contexto humano, y (4) inferir automáticamente expresiones descriptivas del contexto para el análisis del comportamiento. Las ontologías [5] son descripciones formales que tienen una semántica implícita, lo que proporciona interoperabilidad y permite el razonamiento. Además las ontologías superan los modelos no-semánticos en términos de flexibilidad, extensibilidad, generalidad, expresividad y en el desacoplamiento del conocimiento del código. Por lo tanto, existe una clara oportunidad de mejorar los sistemas de reconocimiento de la conducta mediante el uso de ontologías y razonamiento ontológico. Por eso, el objetivo de esta tesis es investigar sobre la posible aplicación de ontologías y razonamiento ontológico con el fin de resolver algunas de las limitaciones más importantes a las que los sistemas de reconocimiento del comportamiento humano se ven sujetos durante su operación en condiciones reales.
-- Selección de sensores basada en ontologías para el reconocimiento continuo del comportamiento -- Esta tesis presenta MIMU-Wear, una ontología OWL 2 [6] que proporciona interoperabilidad sintáctica y compatibilidad semántica para los sistemas de reconocimiento del comportamiento. MIMU-Wear describe exhaustivamente las plataformas vestibles (también conocidas como “wearables”) equipadas con sensores inerciales y magnéticos (conocidos como MIMU por su nombre en inglés “magnetic and inertial measurement units”). Esta ontología describe las capacidades de los MIMUs,! por ejemplo sus propiedades de medición y las características de las plataformas vestibles sensorizadas, incluyendo su localización en el cuerpo y sus propiedades de supervivencia. MIMU-Wear ofrece una semántica implícita que permite la interpretación automática de las descripciones de los recursos, la abstracción de la tecnología subyacente y la abstracción del método de selección de sensores de la infraestructura del sistema de reconocimiento.
La ontología MIMU-Wear construye sobre SSN [7], una ontología estándar del W3C, y está diseñada de una manera modular conectando varias ontologías para dominios específicos: la MIMU Ontology describe las características de los MIMUs; la MIMU Capabilities Ontology modela las capacidades de medición o sensado de los MIMUs; la MIMU Magnitudes Ontology representa las diferentes magnitudes observadas por los MIMUs; la MIMU Units Ontology representa las unidades de medida necesarias para describir las capacidades de los MIMUs; la Wearable Sensor Platform Ontology modela las características de las plataformas vestibles sensorizadas; la Human Body Ontology modela las partes del cuerpo humano que representan las localizaciones donde se portan las plataformas vestibles; y la Wearable Survival Range Ontology modela las condiciones de supervivencia de los sistemas vestibles.
La modularidad de MIMU-Wear permite que esta ontología sea reutilizable en otros dominios. La Wearable Sensor Platform Ontology se podría usar para describir la localización en el cuerpo humano de cualquier sensor vestible, no sólo de MIMUs, por ejemplo la ubicación en el tórax de una banda para medir electrocardiograma. Del mismo modo, la MIMU Ontology se podría utilizar para describir cualquier MIMU, es decir no sólo los vestibles sino también los incluidos en las plataformas de inteligencia ambiental. Por ejemplo, las características de un MIMU integrado en una taza o una puerta en un escenario de inteligencia ambiental podrían modelarse fácilmente usando la MIMU Ontology. Además, el hecho de que MIMU-Wear monte sobre SSN, una ontología estándar del W3C y ampliamente utilizada por la comunidad científica, facilita la adopción generalizada de MIMU-Wear, ya que podría integrarse directamente con cualquier otra ontología que haga uso de SSN.
Esta tesis propone un nuevo método que permite seleccionar dinámicamente sensores de recambio entre los disponibles en las plataformas vestibles para cuando un MIMU perteneciente al sistema de reconocimiento del comportamiento sufre alguna anormalidad y necesita ser remplazado. Este método de selección de sensores se basa en la ontología MIMU-Wear y aplica técnicas de razonamiento ontológico y de consultas a la ontología. Las reglas SWRL [8] definen las características de los sensores candidatos a remplazar un MIMU en el sistema de reconocimiento y permiten inferir que sensores son buenos candidatos y cuáles no. El método de selección de sensores establece el proceso de ejecución iterativa de diferentes consultas SPARQL [9] sobre las descripciones ontológicas de los MIMUs con el fin de seleccionar el MIMU más adecuado para la sustitución del defectuoso. El método de consultas iterativas permite que si no se encuentra ningún resultado para una consulta, se ejecute otra menos restrictiva o con un criterio de búsqueda diferente.
La evaluación del método de selección de sensores en un escenario realista en el área de reconocimiento de la actividad demuestra que la sustitución de un MIMU anómalo asegura la continuidad de reconocimiento. Es decir, la fiabilidad del sistema de reconocimiento se recupera con respecto a la situación de fallo después de la sustitución del sensor anómalo. Para el caso de estudio, la fiabilidad del sistema de reconocimiento cae más de un tercio con respecto a su valor de referencia cuando uno de los sensores falla. La sustitución del sensor afectado con el sensor seleccionado a través del método ontológico muestra una mejoría, que en el mejor de los casos permite restaurar prácticamente las capacidades de reconocimiento del sistema y en el peor de los casos consigue al menos que la fiabilidad del sistema supere la que se obtendría en caso de seleccionar el sensor de remplazo de forma arbitraria.
El método de selección de sensores propuesto en esta tesis ayuda a mantener el sistema de reconocimiento funcionando de forma continua aunque los sensores sufran alguna anomalía. Sin embargo, este es sólo uno de los posibles escenarios en los que se puede aplicar la ontología MIMU-Wear y el método basado en consultas ontológicas. MIMU-Wear también se podría utilizar al arranque del sistema de reconocimiento para identificar qué sensores deben ser activados en función de la fiabilidad esperada del sistema y del rendimiento pretendido. Del mismo modo, la ontología se podría utilizar para la auto-calibración de algunos parámetros de la red de sensores de acuerdo con las restricciones de energía u objetivos de eficiencia. En todos estos escenarios, un método basado en el razonamiento ontológico y la consulta de la ontología similar al que se propone en esta tesis se podría aplicar de forma sencilla.
-- Inferencia de contexto basada en ontologías para el análisis del comportamiento humano -- Esta tesis presenta la Mining Minds Context Ontology, una ontología OWL 2 para modelar de forma exhaustiva expresiones descriptivas de contexto. Esta ontología está diseñada para modelar los contextos más comunes en escenarios de salud y bienestar y que se dan en estilos de vida sedentarios y activos. Por lo tanto, esta ontología modela múltiples primitivas de contexto, tales como la actividad física, la locación y la emoción, así como contextos más abstractos, tales como inactividad, hacer ejercicio, trabajo en la oficina o comer, los cuales pueden derivarse de la combinación de estas primitivas.
La Mining Minds Context Ontology permite representar cualquier combinación de primitivas de contexto (contextos de bajo nivel), incluso para diferentes dominios, con el fin de inferir representaciones más abstractas de contexto (contextos de alto nivel). La incorporación, sin precedentes hasta la fecha, de las emociones en la definición del contexto permite representar contextos de alto nivel que sólo pueden identificarse cuando la persona evidencia una emoción específica. No obstante, para asegurar su aplicabilidad en múltiples escenarios, la ontología ha sido definida de forma que se permita la identificación de algunos contextos de alto nivel incluso en ausencia de información sobre las emociones.
Esta tesis presenta un método basado en ontologías para derivar información de contexto de alto nivel de la combinación de varios contextos de bajo nivel. Este nuevo método se basa en la Mining Minds Context Ontology y aplica razonamiento OWL 2 DL para inferir contexto de alto nivel a partir de primitivas básicas de contexto de bajo nivel. La High-Level Context Architecture es la arquitectura del sistema que implementa el método de identificación de contexto y que permite inferir automáticamente y en tiempo real expresiones descriptivas del contexto. La High-Level Context Architecture consta de cuatro componentes: el High-Level Context Builder que genera los conceptos ontológicos para representar el contexto del usuario; el High-Level Context Reasoner que verifica y clasifica el contexto de alto nivel; el High-Level Context Notifier que notifica a terceros sobre la identificación de un nuevo contexto de alto nivel; y el Context Manager que almacena la información de contexto.
La evaluación del método de inferencia de información más descriptiva del contexto permite demostrar que con esta información se puede mejorar el funcionamiento de los sistemas de reconocimiento de la conducta. El método propuesto no sólo resulta eficaz para derivar nueva información contextual sino que también es robusto a los errores introducidos por los sistemas de reconocimiento de los contextos de bajo nivel. De hecho, los estudios desarrollados en este trabajo demuestran que el error introducido en el contexto de bajo nivel tiene un menor impacto en los contextos de alto nivel.
La High-Level Context Architecture es el motor del proceso de inferencia de comportamiento abstracto en Mining Minds [10], una plataforma digital en el ámbito de la salud y el bienestar. A pesar de que el método de inferencia de contexto ha sido ideado para esta plataforma, la High-Level Context Architecture se ha definido de una manera que permite su uso en cualquier otro ámbito. De hecho, en caso de que el método de inferencia del contexto tuviera que aplicarse a un nuevo dominio y eso requiriera identificar nuevos contextos, la High-Level Context Architecture no necesitaría modificación alguna y sólo se tendría que extender la ontología.Esto se debe a una de las propiedades principales de las ontologías: el desacoplamiento del conocimiento y del código.
-- Conclusiones -- El propósito de esta tesis fue investigar sobre la posible aplicación de ontologías y razonamiento ontológico con el fin de resolver algunas de las limitaciones más importantes de los sistemas de reconocimiento del comportamiento humano cuando son operados en condiciones reales. Para ello se definieron cuatro objetivos que se han alcanzado con éxito. Concretamente, las contribuciones de esta tesis son las siguientes:
1. MIMU-Wear: Una ontología OWL 2 modular que describe exhaustivamente las plataformas vestibles equipadas con sensores MIMU.
2. MIMU Ontology: Una ontología OWL 2 que describe las características de los MIMUs, por ejemplo sus propiedades de medición.
3. Wearable Sensor Platform Ontology: Una ontología OWL 2 que modela las características de las plataformas vestibles sensorizadas, incluyendo su localización en el cuerpo y sus propiedades de supervivencia.
4. Human Body Ontology: Una ontología OWL 2 que modela las partes del cuerpo humano.
5. Un método basado en la ontología MIMU-Wear, las reglas SWRL y las consultas SPARQL que permite seleccionar sensores de forma dinámica para ayuda a mantener el sistema de reconocimiento funcionando de forma continua.
6. Mining Minds Context Ontology: Una ontología OWL 2 para modelar de forma exhaustiva expresiones descriptivas de contexto.
7. Un método basado en la Mining Minds Context Ontology y en el razonamiento OWL 2 DL para la inferencia automática de contexto más descriptivo que permite explicar mejor el comportamiento.
8. High-Level Context Architecture (HLCA): Una arquitectura del sistema que implementa el método de identificación de contexto y su realización en Java.
Estas contribuciones suponen un primer paso hacia una nueva generación de sistemas de reconocimiento del comportamiento humano para el mundo real. Algunas de las posibles líneas de trabajo futuras versan sobre la incorporación de los sensores disponibles en textiles inteligentes al proceso de selección, la consideración de la incertidumbre en el reconocimiento del comportamiento humano y la provisión de interoperabilidad entre diversos sistemas de reconocimiento.
- English
----- ABSTRACT ----- Human behavior recognition [1] has attracted much attention during the recent years due to its multiple applications in the health and wellness domain [2]. Despite their popularity, most existing behavior recognition systems suffer two main constrains which make them practically unsuitable to work in real-world conditions: they are bounded to a specific sensor deployment setup and they are defined to operate in a single application domain. Human behavior recognition systems may certainly undergo changes unforeseen at system design time, with sensors subject to diverse types of anomalies such as failures [3] or deployment changes [4]; thus, a pre-defined, well-known and steady sensor setup cannot be guaranteed. Moreover, the categories of behavior recognized by these systems tend to be quite primitive and with limited applicability; however, their appropriate combination could lead to more meaningful and richer expressions of context for human behavior analysis [1]. In the light of these limitations, there is a clear necessity of comprehensively describing the set of heterogeneous resources involved in the human behavior recognition system, dynamically selecting replacement sensors to ensure continuity of recognition, exhaustively describing human context information, and automatically inferring meaningful and rich expressions of context for human behavior analysis.
This thesis investigates novel mechanisms to solve the above limitations of human behavior recognition systems in order to facilitate their seamless, robust and accurate use in realistic conditions. Ontologies [5] are considered here to be the cornerstone technology to realize this idea. The extraordinary characteristics of ontologies, which provide implicit semantics, support interoperability and enable automatic reasoning, fit particularly well with the necessities posed by the problem considered here. Besides, ontologies largely exceed other similar and non-semantic models in terms of flexibility, extensibility, generality, expressiveness, and decoupling of the knowledge from the implementation, thus making it a perfect option to create more advanced behavior-aware systems.
This work proposes MIMU-Wear, an OWL 2 ontology [6] which comprehensively describes mainstream wearable sensor platforms consisting of magnetic and inertial measurement units (MIMUs), including the MIMUs capabilities and the characteristics of the wearable sensor platform. This ontology provides implicit semantics enabling the automatic interpretation of the resource descriptions, their abstraction from the underlying technology, and the abstraction of the sensor selection method from the actual sensing infrastructure. The dynamic selection of sensors is enabled through ontology reasoning and querying. The proposed sensor selection method builds on the MIMU-Wear Ontology, applies ontological reasoning to infer candidate replacement sensors from a set of heuristic SWRL rules [8], and iteratively poses SPARQL queries [9] on the ontological sensor descriptions to select the most appropriate MIMU for the replacement of an anomalous one. The proposed ontology-based sensor selection method proves to ensure continuity of recognition as it helps recovering the system capabilities after the replacement takes place. MIMU-Wear could also serve at system startup to identify which sensors should be activated based on the necessities of the behavior recognition system or for the self-calibration of some parameters of the sensing network according to energy constraints or efficiency goals, and based on processing power or memory resources.
This thesis further proposes the Mining Minds Context Ontology, an OWL 2 ontology for exhaustively modeling rich and meaningful expressions of context. This ontology enables any combination of cross-domain behavior primitives, also referred to as low-level contexts, in order to infer more abstract human context representations, also called high-level contexts. The context ontology extends beyond the state-of-the-art while uniting emotion information as a novel behavioral component together with activity and location data to model new contextual information. An ontological method based on descriptive logic is developed for deriving high-level context information out of the combination of cross-domain low-level context primitives, namely activities, locations and emotions. The proposed method not only proves efficient while deriving new contextual information but also robust to potential errors introduced by low-level contexts misrecognitions. This method can be used for determining any type of high-level context information from diverse sources of low-level context data. Thus, it can be easily applied to any new domain, only requiring the extension of the ontology itself.
The proposed models and methods enable comprehensive descriptions and dynamic selection mechanisms for heterogeneous sensing resources to support the continuous operation of behavior recognition systems; likewise, exhaustively descriptions and automatic inference of abstract human context information is supported to enhance the operation of behavior-aware systems. Hence, these ontologies and ontology reasoning-based methods pave the path to a new generation of behavior recognition systems readily available for their use in the real-world.
- español
