La evaluación académica basada en indicadores bibliométricos como sistema socio-técnico. Micro y macropolítica de la jerarquización de productos y actividades científicas y tecnológicas
-
-
[1] Universidad Nacional de Quilmes
Universidad Nacional de Quilmes
Argentina
-
- Localización: Redes: Revista de estudios sociales de la ciencia y la tecnología, ISSN-e 1851-7072, ISSN 0328-3186, Vol. 25, Nº. 49, 2019 (Ejemplar dedicado a: REDES N° 49), págs. 253-337
- Idioma: español
- Títulos paralelos:
- Academic review based on bibliometric indicators as a socio-technical system. Micro and macropolitics of the hierarchy of S&T products and activities
- Enlaces
- Dialnet Métricas: 1 Cita
-
Resumen
- español
La evaluación académica basada en indicadores bibliométricos cuantitativos (factor de impacto – WoS; Scimago sjr – Scopus e índice h – Google Scholar) se ha convertido en las últimas décadas en uno de los principales pilares de la jerarquización de publicaciones, la definición de agendas de investigación, la conformación de equipos de investigación, la asignación de recursos financieros y la promoción (y a veces estancamiento) de trayectorias profesionales de investigadores y tecnólogos.
Esta centralidad ha determinado múltiples niveles de incidencia de una práctica relativamente restringida a dinámicas intra-comunitarias, al punto de convertir la tecnología de evaluación “objetiva” basada en indicadores bibliométricos en una práctica hegemónica. Sin embargo, tal hegemonía no implica un consenso absoluto: los manifiestos contenidos en este dossier son una prueba de ello.
El análisis se despliega desde un abordaje socio-técnico y se presenta en clave de un argumento incremental. En primer lugar, se analiza la trayectoria socio-técnica de la transición entre la tecnología de evaluación por pares (subjetiva, “idiosincrásica”) y la bibliométrica (“objetiva”), poniendo el foco en el proceso de cambio no-lineal que sufrieron los criterios, mecanismos, protocolos y prácticas (desde fines de la segunda guerra mundial hasta la actualidad) a escala internacional y su adecuación a los complejos institucionales de cyt latinoamericanos.
En segunda instancia, se abordan problemas puntuales de la tecnología de evaluación basada en indicadores bibliométricos. Así, se analizan los problemas (conceptuales y empíricos) de la evaluación “objetiva”, y sus problemas derivados: sobre la concepción de la calidad de la producción académica; las microprácticas de los investigadores y las microprácticas de evaluación.
Este análisis por elementos puntuales se integra, en una tercera instancia, en términos sistémicos. Se pone en tensión qué mide (y por derivación, qué invisibiliza) la evaluación “objetiva”; cómo incide esta tecnología de evaluación en la relación entre la producción de conocimiento científico y la producción de bienes y servicios; entre la producción de conocimientos científicos y la producción de soluciones a problemas locales; y entre las agendas de investigación y las políticas públicas de ciencia, tecnología, innovación y desarrollo en América Latina.
El artículo concluye con una reconstrucción analítica de la alianza socio-técnica en términos de las capacidades relacionales, los bucles de retroalimentación y la dinámica inercial que construye, estabiliza y refuerza el funcionamiento de la tecnología de evaluación “objetiva”. Este último nivel permite dimensionar la capacidad transformadora de las diferentes soluciones –propuestas en los manifiestos- a los problemas analizados.
- English
The academic review based on quantitative bibliometric indicators –impact factor – WoS; Scimago sjr – Scopus and h-index – Google Scholar– has become in recent decades one of the main pillars of the hierarchy of publications, the definition of research agendas, the formation of research teams, the allocation of financial resources and the promotion –and sometimes stagnation– of professional careers for researchers and technologists.
This centrality has determined multiple levels of incidence from a practice relatively restricted to intra-community dynamics, to the point of turning “objective” review technology based on bibliometric indicators into a hegemonic practice. However, such hegemony does not imply an absolute consensus: the manifestos contained in this dossier are proof of this.
The analysis are deployed from a socio-technical approach and is presented in terms of an incremental argument. First, the socio-technical trajectory of the transition between peer review technology –subjective, “idiosyncratic”– and bibliometric –“objective”– is analyzed, focusing on the non-linear change process suffered by: criteria, mechanisms, protocols and practices –from the end of the Second World War to the present day– on an international scale and their adaptation to the Latin American s&t institutional arrangements.
Second, specific problems of review technology based on bibliometric indicators are addressed. Thus, the problems –conceptual and empirical– of the “objective” review are analyzed, as well as their derived problems: on the conception of the quality of academic production; researchers micro-practices and review micro-practices.
This analysis by specific elements is integrated, in a third instance, in systemic terms. What the “objective” review measures –and by derivation, what makes invisible– is put into tension; how does this review technology affect the relationship between the production of scientific knowledge and the production of goods and services; between the production of scientific knowledge and the production of solutions to local problems; and between the research agendas and the public policies of science, technology, innovation and development in Latin America.
The article concludes with an analytical reconstruction of the socio-technical alliance in terms of the relational capacities, the loops and the inertial dynamics that builds, stabilizes and reinforces the working dynamic of the "objective” review technology. This last level of analysis allows us to measure the transforming capacity of the different solutions –proposed in the manifests– to the problems analyzed.
- español
