Imputación de valores perdidos y detección de valores atípicos en datos funcionales: una aplicación con datos de PM10

• Meléndez, Rafael Alfonso ^[1] ; Bolívar, Stevenson ^[2] ; Rojano, Roberto ^[1]
  1. [1] Universidad de La Guajira

     Universidad de La Guajira

     Colombia

     
  2. [2] Pontífica Universidad Javeriana

     Pontífica Universidad Javeriana

     Colombia

     
• Localización: Revista UIS Ingenierías, ISSN-e 2145-8456, ISSN 1657-4583, Vol. 19, Nº. 2, 2020 (Ejemplar dedicado a: Revista UIS Ingenierías), págs. 1-10
• Idioma: español
• Títulos paralelos:
  • Missing value imputation and outlier detection for functional data: an application for PM10 data
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Los datos recopilados en el monitoreo de la contaminación del aire, como PM10, se obtienen en estaciones automatizadas que generalmente contenían valores faltantes debido a fallas de la máquina, mantenimiento de rutina o errores humanos. Los conjuntos de datos incompletos pueden causar sesgo de información, por lo tanto, es importante encontrar la mejor manera de estimar estos valores faltantes para garantizar la calidad de los datos analizados. En este trabajo se evaluaron los datos de partículas PM10 consideradas en el tiempo como un objeto funcional, para este caso se utilizó la base de datos de la red de monitoreo ambiental de la Corporación Ambiental de La Guajira (Corpoguajira). En este estudio hemos implementado la metodología de Jeng-Min Chiou, (2014) para imputar datos funcionales. La detección de valores atípicos de contaminantes es muy importante para el monitoreo y control de la calidad del aire. Además, hemos implementado el método de imputación de datos faltantes y detección de valores atípicos para datos funcionales. Consideramos las concentraciones de partículas PM10 en las estaciones de monitoreo ambiental sobre el área de influencia de la mina de carbón a cielo abierto durante 2012. Para imputar datos faltantes funcionales, se basó en la aplicación de herramientas como el análisis de componentes principales funcional (ACPF) y los procedimientos gráficos para detectar curvas de valores atípicos como el bagplot funcional y el diagrama de caja funcional de la región de mayor densidad (HDR) por sus siglas en ingles. Los resultados indican que la estación de Barranca es una curva atípica y se observó que los intervalos imputados capturan la dinámica que se comparte con las otras trayectorias de las diferentes estaciones.

  • English

    The data collected in the air pollution monitoring such as PM10 is obtained at automated stations that generally contained missing values due to machine failures, routine maintenance, or human errors. Incomplete data sets may cause information bias. Therefore, it is important to find the best way to estimate these missing values to ensure the quality of the analyzed data. In this paper PM10 particulate data considered in time as a functional object were evaluated, for this case the database of the environmental monitoring network of the Environmental Corporation of La Guajira (Corpoguajira) was used. In this study we have implemented the methodology by Jeng-Min Chiou (2014) to impute functional data. The detection of outliers of pollutants is very important for monitoring and control of air quality. Additionally, we have implemented the method of imputation of missing data and detection of outliers for functional data. We considered PM10 particle concentrations in the environmental monitoring stations over the area of influence of the open pit mining during 2012. To impute functional missing data, it was based on applying tools such as functional principal component analysis (ACPF) and graphic procedures to detect outlier curves such as the bagplot and functional highest density region (HDR) boxplot. The results indicate that Barranca station is an atypical curve and it was observed that the imputed intervals capture the dynamics that are shared with the other trajectories of the different stations.