Nuevos métodos para el aprendizaje en flujos de datos no estacionarios
- Autores: Isvani Frías Blanco
- Directores de la Tesis: Rafael Morales Bueno (dir. tes.), Gonzalo Ramos Jimenez (dir. tes.)
- Lectura: En la Universidad de Granada ( España ) en 2014
- Idioma: español
- Tribunal Calificador de la Tesis: Francisco Andrés Triguero Ruiz (presid.), Buenaventura Clares Rodríguez (secret.), César Hervás Martínez (voc.), José Luis Verdegay Galdeano (voc.), Llanos Mora López (voc.)
- Materias:
- Enlaces
- Tesis en acceso abierto en: DIGIBUG
- Resumen
En la actualidad muchos sistemas generan continuamente grandes cantidades de datos. Nuestra vida cotidiana presenta diversos escenarios de este tipo. Internet, telefonía móvil y sensores son algunos ejemplos de estas fuentes de información [1]. Debido a la enorme cantidad de datos y a su obtención continua, no es posible para los humanos analizarlos ni utilizar sistemas tradicionales de procesamiento por lotes, donde todos los datos deben ser recolectados antes de su ejecución y no es necesaria una respuesta en línea. La extracción de conocimiento a partir de grandes flujos de datos es una de las tareas más retadoras en el área de la minería de datos y el aprendizaje automático. Debido a la gran cantidad de datos y a su tasa de llegada alta, estos deben procesarse con recursos computacionales limitados de tiempo y espacio.
Nuestro mundo es dinámico y los cambios son parte de la vida diaria. Cuando existe un cambio, por ejemplo debido a condiciones meteorológicas o actividades de adversarios, los modelos de predicción o clasificación necesitan ser capaces de adaptarse a ellos. Este es uno de los problemas fundamentales a resolver cuando se aprende a partir de datos no estacionarios recolectados en el tiempo, y es conocido como cambio de concepto. El aprendizaje incremental supervisado con cambio de concepto constituye el área de investigación en la cual se enmarca esta tesis. El cambio de concepto está presente en muchos problemas reales de gran auge, como son el mercado, rastro Web, detección de fraude, filtrado de información, juegos, redes de sensores, datos espaciales, biométrica y muchos otros [2, 3]; de ahí su importancia y la amplia gama de investigaciones en el área.
La presente investigación está dirigida a resolver el problema científico de cómo avanzar en los métodos para el aprendizaje supervisado adaptativo en línea. El objetivo general de la presente investigación es aumentar la precisión de los modelos de clasificación o predicción bajo cambio de concepto, considerando las restricciones computacionales comunes en estos escenarios y los tipos de cambios más frecuentes.
Así, planteamos las siguientes tareas de investigación: ¿ Análisis de los métodos existentes para la detección de cambios distribucionales en los datos aplicables al aprendizaje en línea, así como de los métodos para la adaptación a dichos cambios centrándose en el aprendizaje mediante árboles de decisión.
¿ Identificación de las metodologías de evaluación de algoritmos adecuadas para el aprendizaje en línea con cambio de concepto, así como de las métricas para evaluar el rendimiento de detectores de cambio de concepto y de los modelos basados en árboles de decisión.
¿ Desarrollo de nuevos métodos para la detección de cambios en línea teniendo en cuenta las limitaciones de los métodos existentes y los indicadores de rendimiento más comunes a considerar en su diseño y evaluación.
¿ Mejora de la inducción de modelos de árboles de decisión a través del algoritmo IADEM-2 [4], así como su extensión para el aprendizaje a partir de flujos de datos con cambio de concepto.
¿ Evaluación de los métodos y algoritmos desarrollados considerando conjuntos de datos artificiales y reales, teniendo en cuenta metodologías y métricas adecuadas para el aprendizaje en flujos de datos no estacionarios.
Los principales aportes de esta tesis son el desarrollo de nuevos métodos para la manipulación de cambio de concepto independientemente del algoritmo de aprendizaje, y la extensión de la familia de algoritmos de Inducción de Árboles de Decisión por Muestreo (IADEM) [4, 5] para el aprendizaje incremental con cambio de concepto. Adicionalmente, abordaremos otras de las problemáticas relacionadas con la inducción de árboles de decisión, como es el problema de la elección del mejor atributo para expandir, la manipulación de atributos numéricos y el uso de técnicas para mejorar la precisión del modelo inducido.
Relacionado con la manipulación de cambio de concepto independientemente del algoritmo de aprendizaje, la idea fundamental es monitorizar alguna medida de rendimiento de interés del modelo de aprendizaje a lo largo del tiempo (por ejemplo, la precisión en la clasificación o predicción), para disparar señales de cambio cuando se estima que esta medida ha decaído significativamente. Consideramos medidas de rendimiento que se corresponden con variables aleatorias independientes, acotadas y que toman valores en el conjunto de los números reales.
Proveemos a los métodos con garantías probabilísticas de desempeño en términos de cotas para la tasa de falsos positivos y falsos negativos en la detección de cambios distribucionales. Estos usan como estimadores a los promedios y promedios ponderados (particularmente estudiamos el estadístico EWMA [6]) para la detección en línea de cambios significativos en la media poblacional, considerando tipos de cambio abruptos y graduales. Además, estos métodos tienen complejidad computacional constante en tiempo y espacio, no asumen alguna restricción relacionada con la función de distribución de probabilidades que genera estos valores reales, y solo reciben como parámetros los niveles de confianza requeridos para la detección de tales cambios; características relevantes en el aprendizaje a partir de flujos de datos no estacionarios.
También estudiamos mecanismos adicionales que explotan características específicas de los modelos de árboles de decisión, para de esta forma adaptarse al cambio con más eficacia. Estos mecanismos usan a los detectores de cambio propuestos para monitorizar el desempeño de partes del modelo, y reconstruir estas partes cuando se estime un deterioro significativo. Para ello discutimos los principales aspectos del mecanismo propuesto, tenemos en cuenta diferentes tipos de cambio, así como ventajas y desventajas con respecto a acercamientos anteriores. Al algoritmo resultante de estas extensiones lo llamamos IADEM-3.
En el desarrollo de estos algoritmos seguimos metodologías de la investigación teóricas y empíricas. En este sentido analizamos trabajos científicos relacionados, formulamos y discutimos los conceptos teóricos y empíricos de la investigación, y realizamos evaluaciones empíricas a los métodos propuestos. En el análisis de las investigaciones relacionadas, identificamos las desventajas o necesidades de los acercamientos existentes así como las estrategias y métodos a seguir para enfrentar estas deficiencias. Las soluciones propuestas son validadas experimentalmente usando metodologías apropiadas de evaluación y usando un amplio rango de datos relevantes, comparando además los métodos propuestos con los acercamientos relacionados más conocidos.
Bibliografía [1] J. Gama y P. Rodríguez. Learning from Data Streams: Processing Techniques in Sensor Networks. Springer-Verlag, 1 edición, 2007.
[2] I. Žliobaite. Learning under Concept Drift: an Overview. Reporte técnico arXiv:1010.4784v1 [cs.AI], Vilnius University, 2009.
[3] J. Gama, I. Žliobaite, A. Bifet, M. Pechenizkiy, y A. Bouchachia. A survey on concept drift adaptation. ACM Computing Surveys, in press.
[4] J. del Campo. Nuevos Enfoques en Aprendizaje Incremental. Tesis de doctorado, Departamento de Lenguajes y Ciencias de la Computación, Universidad de Málaga, 2007.
[5] G. Ramos. Nuevos desarrollos en aprendizaje inductivo. Tesis de doctorado, Universidad de Málaga, 2001.
[6] D. Montgomery. Introduction to Statistical Quality Control. Wiley: New York, 2001.
