Resumen de Análisis y modelización de los procesos de aprendizaje profundo
- español
Actualmente, gracias a la inmensa cantidad de datos accesibles, la inteligencia artificial está permitiendo inferir nuevo conocimiento y realizar avances espectaculares. Particularmente, el aprendizaje automático que ofrecen las redes neuronales profundas se encuentra en un momento de grandes progresos. No obstante, estos avances vienen acompañados de la necesidad de mejorar las técnicas, el análisis y el uso de estas redes y de los procesos que conllevan a fin de reducir sus costes.
El objetivo principal sobre el que se ha desarrollado esta tesis consiste en el diseño, implementación y validación experimental de soluciones software paralelas para el aprendizaje automático mediante redes neuronales profundas. Dentro de esta línea, el trabajo de investigación que aquí se presenta aborda tres diferentes vertientes que se han ido derivando de las conclusiones obtenidas a lo largo de los estudios realizados.
En primer lugar se desarrolla un entorno de simulación para redes neuronales válido para la implementación de estrategias que mejoren el rendimiento del proceso de entrenamiento, como es el uso de esquemas de paralelismo, y que sea apto para su uso en plataformas distribuidas, como clústeres de computadores equipados con GPU.
Seguidamente se trabajan métodos para estimar los tiempos de ejecución de los diferentes procesos relativos a las redes neuronales profundas. En este sentido, se presentan dos modelos que permiten predecir el coste de cada operación involucrada, tanto en el entrenamiento como en la inferencia, y se realiza en base a estos modelos un estudio de escalabilidad del proceso de entrenamiento distribuido.
Por último, como consecuencia del cuello de botella observado que suponen las comunicaciones durante el entrenamiento distribuido, se realiza un análisis profundo de la primitiva AllReduce en el que se estudian los diferentes algoritmos de implementación y la idoneidad de estos para cada escenario, proponiendo modelos alternativos que mejoran el ajuste de los propuestos en la literatura.
- English
The aim of this thesis is to design, implement and experimentally validate parallel software solutions for machine learning using deep neural networks (DNN). This study addresses three aspects derived from the results obtained during the research. First, we develop a simulation environment for DNNs that is valid to implement strategies that improve training performance (such as the use of parallelism schemes) and is suitable for use on distributed platforms. Next, we develop methods for estimating the execution times of DNN-related processes. We present two models for predicting the cost of each operation involved and, based on these models, we perform a training scalability study. Finally, we perform an in-depth analysis of the AllReduce primitive, studying the implementation algorithms, proposing alternative models that improve its fit, and analysing its suitability for each scenario.
