Resumen de Novel evolutionary-based methods for the robust training of SVR and GMDH regressors
- español
Esta Tesis plantea nuevas mejoras sobre dos métodos del estado del arte en el área de Aprendizaje Máquina: Máquinas de Vectores Soporte para Regresión (SVR) y el algoritmo conocido como Group Method of Data Handling (GDMH). En el caso de las SVR, se ha desarrollado un nuevo algoritmo de tipo evolutivo para el entrenamiento con kernel multi-paramétrico. Este nuevo algoritmo tiene en cuenta un parámetro γ distinto, para cada una de las dimensiones del espacio de entradas. En este caso, debido al incremento del número de parámetros no puede utilizarse una búsqueda en grid clásica, debido al coste computacional que conllevaría. Por ello, en esta Tesis se propone la utilización de un algoritmo evolutivo para la obtención de los valores óptimos de los parámetros de la SVR. Respecto a las redes GMDH, esta Tesis propone un nuevo algoritmo de construcción de estas redes basado en un algoritmo de tipo hiper-heurístico. Esta aproximación es un concepto nuevo relacionado con la computación evolutiva, que codifica varios heurísticos que pueden ser utilizados de forma secuencial para resolver un problema de optimización. En nuestro caso particular, varios heurísticos básicos se codifican en un algoritmo evolutivo, para crear una solución hiper-heurística que permita construir redes GMDH robustas en problemas de regresión. Como contribución final de esta Tesis, se proponen nuevos métodos de validación que mejoren el rendimiento de las técnicas de regresión en problemas data-driven.
La idea es obtener mejores modelos en la fase de entrenamiento del algoritmo, de tal forma que el desempeño con el conjunto de test mejore, principalmente en lo que a tiempo de entrenamiento se refiere y en el rendimiento general del sistema, con respecto a otros métodos de validación clásicos como son K-Fold cross validation, etc. Todas las propuestas y métodos desarrollados en esta Tesis han sido evaluados experimentalmente en problemas benchmark, así como en aplicaciones de regresión reales.
- English
This Ph.D. Thesis elaborates on several novel improvements for two specific state-of-the-art Machine Learning algorithms: the Support Vector Regression (SVR) approach, and the Group Method of Data Handling. In the case of the SVR approach, a new multi-parametric evolutionary SVR is proposed.
This new algorithm takes into account a different value of the γ parameter for each dimension of the feature space. In this case, it is not possible to apply a classic grid search, due to computational requirements of such an algorithm, and therefore in this thesis an evolutionary approach is successfully applied to obtain the optimal values for these SVR parameters. Regarding the GMDH network, in this thesis a novel construction algorithm based on a hyper-heuristic approach is proposed. Hyper-heuristic is a novel concept related to evolutionary computation, in which the algorithm encodes several smaller heuristics which can be applied in a sequential fashion to solve a given optimization problem. In this specific application, several basic heuristic are encoded in an evolutionary algorithm to form a hyper-heuristic approach which constructs robust versions of GMDH networks for regression problems.
A final contribution of this thesis is the proposal of new validation methods to better estimate the performance of regression techniques in data-driven problems. The idea is to obtain better models from the training phase of the algorithms, in such a way that the performance in the test set is improved, mainly in training time and overall performance of the system, with respect to classical evaluation methods such as K-Fold cross validation, etc. All the proposed and developed methods of the thesis are experimentally evaluated in benchmark and real-world data-driven regression problems.
