Resumen de Framework basado en el estándar de calidad del software ISO/IEC 25000: 2005 (SQuaRE) para la evaluación de la calidad de las ontologías
Objetivos El objetivo general de esta tesis es crear un método de evaluación de la calidad de ontologías, adaptando el estándar de calidad del software ISO/IEC 25000:2005 Software Quality Requirements and Evaluation SQuaRE, que permite la trazabilidad entre requisitos y métricas de calidad de una ontología, con el fin de valorar de forma objetiva y reproducible sus características, y brindar así un mecanismo de asistencia a los usuarios y desarrolladores para la toma de decisiones informadas.
Metodología 1. Se analiza el estado del arte relacionado con ontologías, lenguajes de representación de ontologías, evaluación de ontologías, y estándares de calidad del software y métricas de software.
2. Se diseña el framework OQuaRE para evaluación de la calidad de ontologías con base en SQuaRE. Para ello se definen (1) el modelo de calidad; (2) las métricas de calidad; (3) las asociaciones entre métricas y subcaracterísticas de calidad; y (4) la escala para las métricas, en el rango [1-5].
3. Aplicación del framework a ontologías de diferentes dominios en el ámbito de ontologías biomédicas.
4. Validación del framework a través de la comparación de sus resultados con resultados de otros métodos de evaluación de ontologías como Gold Standard, Competency Questions, evaluación humana y evaluación de versiones.
5. Evaluación del framework por un grupo de expertos externos.
Resultados 1. Un framework para evaluar la calidad de ontologías OQuaRE, el cual se compone de: (1) el modelo de calidad de ontologías que consta de un grupo de características y subcaracterísticas de calidad; (2) un conjunto de métricas de calidad; (3) las asociaciones subcaracterística-métrica; (4) las tablas de la escala de valores [1-5] para las métricas de calidad.
2. La aplicación del framework a un conjunto de ontologías de diferentes dominios con el fin de (1) identificar la capacidad de OQuaRE para detectar diferencias entre una ontología original y su versión normalizada; (2) identificar las fortalezas y debilidades de un conjunto de ontologías de unidades de medida, en términos de características y subcaracterísticas de calidad de OQuaRE; (3) identificar la utilidad de OQuaRE para evaluar métodos y guías de buenas prácticas de construcción de ontologías; (4) evaluar el impacto de la evolución de una ontología en su calidad identificando el efecto de los cambios entre versiones; (5) las características, subcaracterísticas y métricas aplicables a las ontologías financieras.
Conclusiones OQuaRE es un framework de evaluación de ontologías que integra las medidas de varios criterios de la ontología y las agrupa en un modelo de calidad basado en el estándar de calidad del software SQuaRE ISO 25000:2005.
OQUaRE evalúa la calidad de las ontologías de manera objetiva y reproducible, e incluye trazabilidad entre características, subcaracterísticas y métricas, partiendo desde un alto nivel, hasta llegar a un nivel más bajo de granularidad.
OQuaRE contribuye a la toma de decisiones informadas porque presenta las fortalezas y debilidades de una ontología en términos de características y subcaracterísticas de calidad.
OQuaRE sirve como base para evaluar la estructura de una ontología, desde su aspecto funcional hasta su aspecto más técnico, y puede ser de aplicación para ontologías de diferentes dominios.
OQuaRE es un framework adaptable que permite incorporar nuevas métricas y asociaciones subcaracterística-métrica y crear o redefinir las escalas para cada repositorio particular. Las asociaciones característica-subcaracterística-métrica permiten un mejor entendimiento de las conexiones entre las características de una ontología y los criterios de calidad, además de una visión más clara de las métricas y su utilidad en la evaluación de las ontologías.
Objectives The main goal of this thesis is to create a method for the evaluation of the quality of ontologies by adapting the software product quality standard ISO / IEC 25000: 2005 known as SQuaRE (Software Quality Requirements and Evaluation), which enables the traceability between requirements and quality metrics of an ontology, in order to evaluate ontologies in an objective and reproducible manner, and providing a mechanism for assisting users and developers making informed decisions.
Methodology 1. Analysis of the state of the art in ontology representation, ontology languages, ontology evaluation, standards of software quality and software metrics.
2. Definition of the OQuaRE framework for ontology quality evaluation, based on SQuaRE, consisting (1) a quality model based on characteristics and sub-characteristics; (2) quality metrics; (3) associations between metrics and sub-characteristics; and (4) scale of the metrics' scores to the range [1-5].
3. Application of the OQuaRE framework to different domains ontologies (biomedical ontologies, cell types, units of measure).
4. Validation of the framework by comparing its results with those obtained by other methods of ontology evaluation such as Gold Standard, Competency Questions, human manual evaluation and evaluation of ontologies versions.
5. Evaluation of the method by a group of external experts.
Results 1. A framework for evaluation the quality of ontologies OQuaRE, which consists in (1) the ontology quality model, with a set of quality characteristics and sub-characteristics; (2) a set of quality metrics; (3) list of associations subcharacteristic-metric; (4) the scales for transforming the scores of the metrics to the [1-5].
2. The application of the framework to a set of ontologies from different domains has permitted to (1) identify the OQuaRE capacity to detect differences between different ontologies; (2) identify the strengths and weaknesses of sets of ontologies of the same domain, in terms of quality characteristics and sub-characteristics; (3) identify the usefulness of OQuaRE to evaluate methods and best practice guidelines for building ontologies; (4) evaluate the impact of the evolution of an ontology in its capacity to identify the effect of changes between versions; and (5) identify a set of characteristics, sub-characteristics and metrics useful for financial ontologies.
Conclusions OQuaRE is a framework for evaluating ontologies which integrates several measures and criteria of ontology quality and groups them into a quality model based on the software quality standard ISO/IEC 25000: 2005 SQuaRE.
OQUaRE evaluates the quality of ontologies in an objective and reproducible way, and includes traceability between characteristics, sub-characteristics and quality metrics, which permits to analyse the properties of an ontology at different granularity levels.
OQuaRE contributes to informed decision making because it identifies the strengths and weaknesses of an ontology in terms of quality characteristics and subcharacteristics.
OQuaRE serves as a basis for assessing the structure of an ontology, ranging from functional aspects to technical ones, and it can be applied for ontologies from different domains.
OQuaRE is a customisable framework that allows to incorporate new metrics and associations subcharacteristic-metric, to create or redefine scales for each community. The associations Feature-subcharacteristic-metric enable a better understanding of the links between the characteristics of an ontology and quality criteria, along with a clearer view of the metrics and their useful in evaluating ontologies.
