¿Es reproducible el Altmetric Attention Score?

• Autores: José Luis Ortega Priego
• Localización: Anuario ThinkEPI, ISSN 1886-6344, Vol. 13, Nº. 1, 2019
• Idioma: español
• Títulos paralelos:
  • Is the Altmetric Attention Score reproducible?
• Enlaces
  • Texto completo
• Dialnet Métricas: 1 Cita
• Resumen
  • español

    La presente nota responde de una forma empírica a la cuestión de en qué medida el Altmetric Attention Score (AAScore) puede ser reproducido. Para ello se tomó una muestra de más de 28.000 artículos extraídos de la API pública de Altmetric.com para reproducir el indicador a partir de los pesos publicados por la plataforma y se compararon con los valores reales. Sólo en el 13,2% de los casos se replicó correctamente el AAScore, incrementándose los errores a medida que aumenta el impacto. Las métricas que más influyen en su no reproducibilidad son Tweeters (44%), news (16%) y blogs (12%). La principal razón de esta pobre reproducibilidad es la existencia de criterios de puntuación no publicados que impiden su replicación. Este hecho limita considerablemente el uso del AAScore en procesos de evaluación científica.

  • English

    The aim of this study is to know to what extent the Altmetric Attention Score (AAScore) can be reproduced. A sample of more than 28,000 research articles extracted from the public API of Altmetric.com were employed to reproduce the AAScore from the weights published in Altmetric.com. The indicator was correctly replicated in 13.2% of the cases, increasing the errors as the impact increases. The metrics that influence the most on the non-reproducibility are Tweeters (44%), news (16%) and blogs (12%). The main reason of this problem is the existence of non-published scoring criteria that impede the replication. This fact is an important limitation to the use of AAScore as research evaluation indicator.