Resumen de Consistency errors in p-values reported in Spanish psychology journals

José Manuel Caperos Montalbán, Antonio Pardo Merino

• español

  Antecedentes: recientes trabajos han llamado la atención sobre la presencia de frecuentes errores de consistencia al informar de los resultados estadísticos. Método: hemos revisado los resultados estadísticos de 186 artículos publicados en cuatro revistas españolas de Psicología, 102 de los cuales contenían alguno de los estadísticos seleccionados para nuestro estudio: F de Fisher, t de Student y c2 de Pearson. Resultados: de los 1.212 contrastes completos revisados el 12,2% presenta algún tipo de error de consistencia: el valor p informado no se corresponde con el valor del estadístico de contraste y sus grados de libertad. En el 2,3% de los casos el error detectado conllevaría un cambio en la conclusión estadística del contraste. En términos del número de artículos, el 48% de los revisados incluye algún error de consistencia y al menos el 17,6% tendría que cambiar alguna de sus conclusiones. En términos meta-analíticos, los errores de consistencia pueden considerarse importantes en el 9,5% de los casos. Conclusiones: estos resultados señalan la necesidad de mejorar la calidad y precisión con la que se informa de los resultados estadísticos en las revistas españolas de Psicología.

• English

  Background: Recent reviews have drawn attention to frequent consistency errors when reporting statistical results. Method: We have reviewed the statistical results reported in 186 articles published in four Spanish psychology journals. Of these articles, 102 contained at least one of the statistics selected for our study: Fisher-F, Student-t and Pearson-c2. Results: Out of the 1,212 complete statistics reviewed, 12.2% presented a consistency error, meaning that the reported p-value did not correspond to the reported value of the statistic and its degrees of freedom. In 2.3% of the cases, the correct calculation would have led to a different conclusion than the reported one. In terms of articles, 48% included at least one consistency error, and 17.6% would have to change at least one conclusion. In meta-analytical terms, with a focus on effect size, consistency errors can be considered substantial in 9.5% of the cases. Conclusion: These results imply a need to improve the quality and precision with which statistical results are reported in Spanish psychology journals.