Pipeline Big Data basado en IoT con curación de datos y calidad de datos

• Francisco José de Haro Olmo ^[1]
  1. [1] Universidad de Almería

     Universidad de Almería

     Almería, España

     
• Localización: VI Jornadas de Doctorado en Informática: 10 de Febrero 2023. Universidad de Almería / coord. por Luis Fernando Iribarne Martínez, Ester Martín Garzón, Manuel Berenguel Soria, 2023, ISBN 978-84-1351-224-2, págs. 34-40
• Idioma: español
• Texto completo no disponible (Saber más ...)
• Resumen

  • Al integrar datos recogidos por sensores IoT en un sistema Big Data, conviene considerar aspectos influyentes sobre la calidad de losdatos. El manejo inadecuado de los datos de los sensores puede producir datos de baja calidad, lo que conduce a decisiones incorrectas en escenarios IoT. Se propone un canal de Big Data basado en IoT que permite evaluar la usabilidad de los datos recogidos por los sensores IoT en escenarios offline y online. Se miden y evaluan los datos sobre dimensiones de calidad de datos. Nuestro pipeline permite delegar la evaluación de la calidad de los datos en un motor de reglas de decisi´on basado en DMN, permitiendo a los usuarios personalizar las reglas de decisión. El enfoque se ha evaluado en un escenario inteligente a partir de datos de sensores agrícolas de humedad y temperatura a diferentes profundidades. Hemos definido un conjunto de reglas de decisión en términos de dimensiones de calidad en modelos DMN, y se ha obtenido el nivel de usabilidad de los datos con respecto a diferentes dimensiones de calidad. Se ha puesto de manifiesto la importancia de evaluar la calidad de los datos y descartar aquellos de baja calidad.