Ordinal prediction using machine learning methodologies: aplications
- Autores: Manuel Dorado Moreno
- Directores de la Tesis: Pedro Antonio Gutiérrez Peña (dir. tes.), César Hervás Martínez (dir. tes.)
- Lectura: En la Universidad de Córdoba (ESP) ( España ) en 2019
- Idioma: español
- Tribunal Calificador de la Tesis: Ezequiel López Rubio (presid.), Ángel Carmona Poyato (secret.), Peter Tino (voc.)
- Programa de doctorado: Programa de Doctorado en Computación Avanzada, Energía y Plasmas por la Universidad de Córdoba
- Materias:
- Enlaces
- Tesis en acceso abierto en: Helvia
- Resumen
1. introducción o motivación de la tesis En las últimas décadas, la inteligencia artificial ha pasado a formar parte de nuestra vida diaria. La gran cantidad de datos generados en nuestra sociedad, hacen imposible su tratamiento, es por ello que una búsqueda en un navegador de internet ordene los resultados de forma que sea personalizada para cada usuario usando estas técnicas.
Una de las áreas más conocidas de la inteligencia artificial es el aprendizaje automático [1] y una de sus aplicaciones principales es la clasificación, que consiste en establecer a qué categoría pertenece un elemento, por ejemplo, dado un alimento establecer si es fruta o verdura. El aprendizaje automático se puede aplicar en diversas áreas, por ejemplo, en medicina para detectar enfermedades [2] o en biometría [3].
Existe una tarea similar a la clasificación que se conoce como clasificación ordinal [4], la cual se encarga de clasificar elementos en categorías que tienen un orden natural, por ejemplo, una encuesta en la que las respuestas son malo, regular o bueno.
Es bastante común en clasificación ordinal encontrarnos problemas de clasificación desbalanceada, ya que, generalmente las clases que ocupan las posiciones centrales (siguiendo su orden natural) tienen a ser más comunes que las de los extremos, lo que supone que haya muchos más registros que pertenecen a estas categorías. Esto dificulta a los modelos de clasificación el realizar una buena clasificación de las clases minoritarias por lo que se utilizan técnicas de remuestreo [5] para mejorar la calidad de la clasificación.
Existen diversos modelos para realizar clasificación, como las redes neuronales artificiales [6]. Éstas son un modelo muy flexible ya que se pueden configurar multitud de parámetros para adaptarlas mejor a cada problema. También, en predicción de series temporales se utiliza un tipo especial de redes neuronales, conocidas como redes neuronales recurrentes [7]. Estas tienen algunos problemas que hacen difícil su entrenamiento y, por lo tanto, su utilización no está demasiado extendida. Con objeto de resolver los problemas de las redes neuronales recurrentes surgieron un nuevo tipo de redes conocidas como redes neuronales eco estado [8], las cuales se basan en el funcionamiento de las anteriores, pero resuelven los problemas de entrenamiento.
Por último, hay problemas que pueden estar relacionados entre sí y al clasificarlos por separado se pueden obtener peores resultados que al clasificarlos compartiendo la información de ambos problemas en un mismo modelo. Este tipo de aprendizaje se llama aprendizaje multitarea [9] y ha estado en desuso durante muchos años debido al coste de su entrenamiento, pero con el reciente auge de las redes neuronales profundas [10] su uso se ha extendido.
2. Contenido de la investigación En su primer capítulo la tesis desarrolla algoritmos y estructuras de red neuronal para mejorar los resultados de los ya propuestos en clasificación ordinal, principalmente mediante hibridación de funciones de base y algoritmos evolutivos con algoritmos de gradiente descendente. Tras este primer capítulo, la tesis desarrollará estos y nuevos algoritmos de inteligencia artificial para resolver problemas en diversas áreas:
La primera es el área de las ciencias sociales en la que, con algoritmos de inteligencia artificial se analizarán datos económicos y de globalización de diversos países para poder clasificarlos o darles un “ranking”. Además de esto, se han utilizado las redes neuronales obtenidas para extraer y analizar información importante sobre las variables del problema.
La siguiente es el área de la biomedicina, en concreto, en trasplantes hepáticos, donde mediante un algoritmo de clasificación ordinal y redes neuronales, se tratará de predecir quién es el receptor más adecuado para un determinado órgano teniendo en cuenta las características del donante, el receptor y la cirugía realizada. Es importante tener en cuenta que el número de trasplantes en los que el órgano muere en poco tiempo son muy escasos, pero a su vez, son los más importantes ya que son los que se deben evitar, es por ello que se han aplicado algoritmos específicos para aliviar el desbalanceo de clases.
La última de las áreas y la más extensa en la tesis trata de resolver un problema en el área de las energías renovables, específicamente un fenómeno que afecta a los parques eólicos. Este fenómeno es conocido como rampas de viento que pueden producir grandes daños y pérdidas económicas a las productoras de energía renovable. Para este problema se utilizarán modelos de red neuronal recurrentes (Reservoir Computing), para predecir con 6 horas de antelación la aparición de este tipo de fenómenos, de modo que se puedan realizar las acciones necesarias para evitar cualquier tipo de daño o pérdida. Finalmente, se utiliza aprendizaje multitarea para obtener un modelo único (global) capaz de predecir rampas de viento en todos los parques eólicos a la vez.
3. Conclusión Toda la investigación realizada en esta Tesis Doctoral ha sido validada y publicada tanto por revistas de prestigio internacional como en congresos de carácter internacional y nacional. Se han desarrollado modelos de red neuronal y algoritmos nuevos para realizar clasificación ordinal. Estos modelos se han usado en varias de las investigaciones, por ejemplo, clasificando las ayudas de los países más ricos al tercer mundo o estableciendo un ranking del nivel de globalización de 147 países del mundo. También se han creado modelos inteligentes para ayudar en el problema del trasplante hepático, permitiendo ayudar al experto médico a tomar la decisión sobre el receptor más adecuado para un órgano. Por otra parte, se ha conseguido predecir el fenómeno determinado como rampas de viento en varios parques eólicos mediante la utilización de redes neuronales recurrentes con 6 horas de antelación. Por lo general, los modelos y algoritmos propuestos han mejorado los resultados obtenidos por otros del estado del arte, y además se han obtenido buenos resultados en cada una de las áreas en las que se ha aplicado la clasificación ordinal.
4. bibliografía [1] C. M. Bishop. Pattern Recognition and Machine Learning (Information Science and Statistics). Inf. Science and Statistics. Springer-Verlag New York, Inc., Secaucus, NJ, USA, 1st edition, 2006.
[2] Y. Fan. Ordinal ranking for detecting mild cognitive impairment and Alzheimer’s disease based on multimodal neuroimages and csf biomarkers. In Proceedings of the First International Workshop on Multimodal Brain Image Analysis (MBIA2011), volume 7012 of Lecture Notes in Computer Science, pages 44–51. Springer Berlin Heidelberg, 2011.
[3] G. Levi and T. Hassncer. Age and gender classification using convolutional neural networks. In 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, jun 2015.
[4] P. A. Gutiérrez, M. Pérez-Ortiz, J. Sánchez-Monedero, F. Fernandez-Navarro, and C. Hervás-Martínez. Ordinal regression methods: survey and experimental study. IEEE Transactions on Knowledge and Data Engineering, 28(1):127–146, January 2016.
[5] N. Chawla, K. Bowyer, L. Hall, and W. Kegelmeyer. Smote: Synthetic minority oversampling technique. Journal of Artificial Intelligence Research, 16:321–357, 2002.
[6] C. M. Bishop. Neural networks for pattern recognition. Oxford University Press, Oxford, UK, 1996.
[7] J. Connor, R. Martin, and L. Atlas. Recurrent neural networks and robust time series prediction. IEEE Transactions on Neural Networks, 5(2):240–254, mar 1994.
[8] H. Jaeger. The “echo state” approach to analysing and training recurrent neural networks. GMD Report, 148:1–43, 2001.
[9] R. Caruana. Multitask learning. Machine Learning, 28(1):41–75, 1997.
[10] Y. LeCun, Y. Bengio, and G. Hinton. Deep learning. Nature, 521(7553):436–444, may 2015.
