Metodologías de detección de outliers en datos espaciales, temporales y espacio-temporales

• Blasco Fernández, Isabel ^[1]
  1. [1] Consultora independiente
• Localización: Revista Cartográfica, ISSN 0080-2085, ISSN-e 2663-3981, Nº. 96, 2018 (Ejemplar dedicado a: Revista Cartográfica N° 96 (enero-junio 2018)), págs. 139-157
• Idioma: español
• Títulos paralelos:
  • Outlier detection methodologies in spatial, temporal and spatio-temporal data
• Enlaces
  • Texto completo
• Resumen
  • español

    En la obtención de conjuntos de datos se pueden detectar registros con valores mucho mayores o menores a los usuales. Dichos registros, denominados outliers, pueden ser correctos, o ser el resultado de errores de captura o del procesado de los datos. El estudio y la detección de outliers ayuda a revelar información valiosa de los conjuntos de datos, así como a depurar las bases de datos de información que pueda ser errónea. En este trabajo se describen distintos métodos de detección de outliers propuestos recientemente y aplicados al marco espacial y espacio-temporal, junto con los resultados de su aplicación. Entre las propuestas se abordan métodos puramente espaciales, puramente temporales y otros mixtos que han demostrado su valía en ensayos controlados. Entre otros se considerarán: 1) emplear un algoritmo que tiene en cuenta los datos temporales y combina las ventajas del clustering y la aproximación basada en la densidad; 2) comparar el valor obtenido por un sensor con el valor esperado calculado de forma incremental, al tener en cuenta la correlación temporal de los datos que muestran una correlación espacial en el pasado reciente; 3) plantear un algoritmo que detecta outliers en grandes bases de datos espacio-temporales a partir del uso conjunto de la información espacial, no espacial y valores temporales; 4) detectar outliers en bases de datos temporales a partir de reglas de asociación extraídas del comportamiento normal de los objetos de un conjunto de datos, de forma que se definen relaciones entre los atributos y el tiempo; 5) detectar los outliers en las propiedades globales del conjunto de datos, en contraste con la mayoría de métodos existentes que lo aplican de forma local y 6) asignar, para el caso específico de los outliers espaciales, diferentes pesos para diferentes vecinos a la hora de calcular el objeto central, determinando 

  • português

    Na obtenção de conjuntos de dados é possível detectar registros com valores muito maiores ou menores aos usuais. Estes registros, denominados outliers, podem ser corretos, ou ser o resultado de erros de captura ou de processamento dos dados. O estudo e a detecção de outliers ajuda a revelar informação valiosa dos conjuntos de dados, assim como a depurar as bases de dados de informação que possa ser errônea. Neste trabalho se descrevem distintos métodos de detecção de outliers propostos recentemente e aplicados ao marco espacial e espaço-temporal, junto com os resultados de sua aplicação. Entre as propostas se abordam métodos puramente espaciais, puramente temporais e outros mistos que têm demonstrado seu valor em ensaios controlados. Entre outros, se considerou: 1) empregar um algoritmo que tem em conta os dados temporais e combina as vantagens do clustering e a aproximação baseada em densidade; 2) comparar o valor obtido por um sensor com o valor esperado calculado de forma incremental, ao se ter em conta a correlação temporal dos dados que mostram uma correlação espacial no passado recente; 3) criar um algoritmo que detecta outliers em grandes bases de dados espaço-temporais a partir do uso conjunto da informação espacial, não espacial e valores temporais; 4) detectar outliers em bases de dados temporais a partir de regras de associação extraídas do comportamento normal dos objetos de um conjunto de dados, de forma que se definem relações entre os atributos o tempo; 5) detectar os outliers nas propiedades globais do conjunto de dados, em contraste com a maioria dos métodos existentes que se aplicam de forma local e 6) alocar, para o caso específico dos outliers espaciais, diferentes pesos para diferentes vizinhos na hora de calcular o objeto central, determinando o peso através de relações espaciais tais como a distância.

  • English

    While you are recording datasets it is possible to notice values which are substantially larger or smaller than usual. Such registers, named outliers hereinafter, might be correct, or might arise after a data recording error or a processing error. Research on outlier detection might provide useful information about the dataset, while being helpful in the database cleansing operation. In this paper we describe different methodologies recently proposed for outlier detection, intended for spatial and spatio-temporal dataset, as well as case results. Among them, we distinguish between those purely spatial, purely temporal, and mixed ones that have proven its value in controlled experiments. Among others we will discuss: 1) use an algorithm that considers temporal data while combines the advantages of clustering and approximations based upon kernel densities 2) compare the measured value with its expected value calculated in a incremental fashion considering temporal correlation, thus showing a spatial correlation in the recent past 3) propose a new algorithm for outlier detection for large spatio-temporal databases using spatial and aspatial information as well as temporal information 4) detect oultiers in temporal databases using association rules extracted from the normal behaviour and linking temporal evolution of the atributes 5) detect the outliers based upon the global properties of the dataset unlike most of the prevailing methods which have a local span and 6) assign, for the specific case of spatial outliers, different weights for different neighbors in order the estimate the central value, and estimating the weights as functions of the distance. After analyzing the different methods described, the importance of selecting one method or another will be shown. It is necessary to prosecute the research on the reliability and speed of the outlier detection algorithms.