Probabilidad clásica de sobreajuste con criterios de información: estimaciones con series macroeconómicas chilenas

• Carlos A. Medel ^[1]
  1. [1] University of Nottingham

     University of Nottingham

     Reino Unido

     
• Localización: Revista de análisis económico, ISSN-e 0718-8870, ISSN 0716-5927, Vol. 30, Nº 1 (Abril 2015), 2015, págs. 57-72
• Idioma: español
• Títulos paralelos:
  • Classical probability of overfitting with information criteria: estimations with chilean macroeconomic series
• Enlaces
  • Texto completo
• Resumen
  • español

    En este trabajo se estima mediante simulaciones de Monte Carlo la probabilidad clásica de sobreajuste, en un ambiente autorregresivo (AR), con los criterios de información (CI) de Akaike, Schwarz y Hannan-Quinn (AIC, BIC y HQ), calibradas con los datos chilenos de inflación total, inflación subyacente, IMACEC y el retorno mensual del tipo de cambio nominal peso-dólar estadounidense. Esta probabilidad corresponde al número de veces en que un modelo candidato posee estrictamente un mayor número de coeficientes que el modelo verdadero, dividido por el número total de búsquedas. Los resultados indican que el mayor riesgo de sobreajuste se obtiene con el AIC, seguido por el HQ y finalmente el BIC. Las probabilidades más altas de sobreajuste se alcanzan con el AIC, llegando a un 32 y un 30% con el tipo de cambio y el IMACEC, respectivamente, seguidas por un 25 y 22% para la inflación total y subyacente. Considerando los tres CI, la mayor probabilidad siempre se obtiene solamente con un coeficiente de sobreajuste. Asimismo, es más probable que el sobreajuste no exceda a los 10 coeficientes. Estos resultados son importantes en la medida que cuantifican el riesgo al cual se está sometido al modelar dichas variables mediante representaciones AR.

    Dentro de estos potenciales problemas están: (i) el de regresión espuria, (ii) distorsionar la estimación de la función de impulso-respuesta, y (iii) perjudicar la precisión predictiva de la variable de interés. Este último problema es analizado en detalle.

  • English

    This paper provides, via Monte Carlo simulations, estimates of the classical probability of overfitting under an autoregressive environment (AR), using the information criteria (IC) of Akaike, Schwarz and Hannan-Quinn (AIC, BIC and HQ), calibrated with Chilean data of total inflation, core inflation, IMACEC, and monthly return of the nominal exchange rate Chilean peso- American dollar. This probability corresponds to the number of times when a candidate model has a strictly greater number of coefficients than the true model, divided by the total number of searches. The results indicate that the increased risk of overfitting is obtained with the AIC, followed by HQ and finally the BIC. The highest probability of overfitting is achieved with the AIC, reaching 32 and 30% with the exchange rate and IMACEC, respectively, followed by 25 and 22% for total and core inflation. Considering the three IC, it is more likely to obtain an overfitted model by just one coefficient. Also, it is more likely that the overfitting does not exceed 10 coefficients. These results are important as quantifying the extent to which these variables are subject to overfitting risk when represented by AR models. The potential problems carried by overfitting includes: (i) the spurious regression, (ii) distort the estimation of impulse response function, and (iii) affect the predictive accuracy of the variable of interest. The latter problem is analyzed in detail.