Comparación de Métodos Estadísticos de Meta-Análisis de Generalización de la Fiabilidad con Datos Reales

• Raimundo Aguayo-Estremera ^[1]
  1. [1] Universidad Complutense de Madrid

     Universidad Complutense de Madrid

     Madrid, España

     
• Localización: Revista iberoamericana de diagnóstico y evaluación psicológica, ISSN 1135-3848, ISSN-e 2183-6051, Vol. 2, Nº 72, 2024, págs. 157-168
• Idioma: español
• Títulos paralelos:
  • A Comparison of Statistical Methods of Reliability Generalization Meta-Analysis with Real Datasets
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    La fiabilidad es una propiedad que deben mostrar todos los tests. Dado que no es extrapolable de una muestra a otra, para estudiarla se desarrolló el meta-análisis de generalización de la fiabilidad. Actualmente existen muchos métodos estadísticos, pero no hay acuerdo sobre el más adecuado para este tipo de meta-análisis. Este trabajo compara en tres conjuntos de datos reales 15 métodos estadísticos distintos en relación a la distribución de coeficientes de fiabilidad, la estimación de la fiabilidad promedio y el efecto de las variables moderadoras.

    Los resultados indicaron que las distribuciones tienden a normalizarse con las transformaciones. Las discrepancias en las estimaciones de la fiabilidad promedio fueron pequeñas, pero pueden llevar a distintas conclusiones sustantivas. Las variables moderadoras obtuvieron resultados significativos en función del método empleado. Se debate la forma en que esta discrepancia entre métodos puede repercutir en aplicaciones concretas de estudios de generalización de la fiabilidad.

  • English

    The reliability is a property that all tests must exhibit. Since it is not generalizable from one sample to another, the meta-analysis of reliability generalization was developed. Currently, there are many statistical methods, but there is no agreement on the most suitable for this type of meta-analysis. This study compares 15 different statistical methods in three real datasets regarding the distribution of reliability coefficients, the estimation of average reliability, and the effect of moderator variables. The results indicated that distributions tend to achieved normality with the transformations. Discrepancies in estimates of average reliability were small but could lead to different substantive conclusions. Moderator variables yielded significant results depending on the method employed. The discussion revolves around how this discrepancy between methods may influence on specific applications of reliability generalization studies.