La evaluación académica basada en indicadores bibliométricos como sistema socio-técnico. Micro y macropolítica de la jerarquización de productos y actividades científicas y tecnológicas

Abstract

La evaluación académica basada en indicadores bibliométricos cuantitativos (factor de impacto - WoS; Scimago SJR - Scopus e índice h - Google Scholar) se ha convertido en las últimas décadas en uno de los principales pilares de la jerarquización de publicaciones, la definición de agendas de investigación, la conformación de equipos de investigación, la asignación de recursos financieros y la promoción (y a veces estancamiento) de trayectorias profesionales de investigadores y tecnólogos. Esta centralidad ha determinado múltiples niveles de incidencia de una práctica relativamente restringida a dinámicas intracomunitarias, al punto de convertir la tecnología de evaluación “objetiva” basada en indicadores bibliométricos en una práctica hegemónica. Sin embargo, tal hegemonía no implica un consenso absoluto: los manifiestos contenidos en este dossier son una prueba de ello. El presente trabajo responde a los siguientes objetivos: 1) comprender cómo fue el proceso de construcción y adopción del sistema de evaluación basado en indicadores bibliométricos, la estabilización de ciertos criterios, la adopción de ciertas técnicas de medición y control; 2) analizar el alcance e incidencia de este sistema sobre las actividades científicas y tecnológicas, tanto en un nivel general/global como nacional y regional, y 3) analizar los encadenamientos explicativo-causales de este sistema de evaluación académica sobre la generación / inhibición de capacidades de investigación y desarrollo, en particular, sobre la dinámica sociocognitiva de los aparatos tecnoproductivos de países en vías de desarrollo. El análisis se despliega desde un abordaje socio-técnico y se presenta en clave de un argumento incremental. En primer lugar, se analiza la trayectoria socio-técnica de la transición entre la tecnología de evaluación por pares (subjetiva, “idiosincrásica”) y la bibliométrica (“objetiva”), poniendo el foco en el proceso de cambio no-lineal que sufrieron los criterios, mecanismos, protocolos y prácticas (desde fines de la segunda guerra mundial hasta la actualidad) a escala internacional y su adecuación a los complejos institucionales de CyT latinoamericanos. En segunda instancia, se abordan problemas puntuales de la tecnología de evaluación basada en indicadores bibliométricos. Así, se analizan los problemas (conceptuales y empíricos) de la evaluación “objetiva”, y sus problemas derivados: sobre la concepción de la calidad de la producción académica; las microprácticas de los investigadores y las microprácticas de evaluación. Este análisis por elementos puntuales se integra, en una tercera instancia, en términos sistémicos. Se pone en tensión qué mide (y por derivación, qué invisibiliza) la evaluación “objetiva”; cómo incide esta tecnología de evaluación en la relación entre la producción de conocimiento científico y la producción de bienes y servicios; entre la producción de conocimientos científicos y la producción de soluciones a problemas locales; y entre las agendas de investigación y las políticas públicas de ciencia, tecnología, innovación y desarrollo en América Latina. El artículo concluye, en un cuarto nivel de análisis, con una reconstrucción analítica de la alianza socio-técnica en términos de las capacidades relacionales, los bucles de retroalimentación y la dinámica inercial que construye, estabiliza y refuerza el funcionamiento de la tecnología de evaluación “objetiva”. Este último nivel de análisis permite dimensionar la capacidad transformadora de las diferentes soluciones –propuestas en los manifiestos– a los problemas analizados.

The academic review based on quantitative bibliometric indicators –impact factor – WoS; Scimago SJR – Scopus and h-index – Google Scholar– has become in recent decades one of the main pillars of the hierarchy of publications, the definition of research agendas, the formation of research teams, the allocation of financial resources and the promotion –and sometimes stagnation– of professional careers for researchers and technologists. This centrality has determined multiple levels of incidence from a practice relatively restricted to intra-community dynamics, to the point of turning “objective” review technology based on bibliometric indicators into a hegemonic practice. However, such hegemony does not imply an absolute consensus: the manifestos contained in this dossier are proof of this. The present work responds to the following objectives: 1) understand how was the process of construction and adoption of the review system based on bibliometric indicators –the stabilization of certain criteria and the adoption of certain measurement and control techniques–, 2) analyze the scope and incidence of this system on scientific and technological activities, both at a general/global level and national and regional one, and 3) analyze the explanatory-causal linkages of this academic review technology on the generation / inhibition of research and development capacities, in particular, on the socio-cognitive dynamics of the techno-productive structures of developing countries. The analysis are deployed from a socio-technical approach and is presented in terms of an incremental argument. First, the socio-technical trajectory of the transition between peer review technology –subjective, “idiosyncratic”– and bibliometric –“objective”– is analyzed, focusing on the non-linear change process suffered by: criteria, mechanisms, protocols and practices –from the end of the Second World War to the present day– on an international scale and their adaptation to the Latin American S&T institutional arrangements. Second, specific problems of review technology based on bibliometric indicators are addressed. Thus, the problems –conceptual and empirical– of the “objective” review are analyzed, as well as their derived problems: on the conception of the quality of academic production; researchers micropractices and review micro-practices. This analysis by specific elements is integrated, in a third instance, in systemic terms. What the “objective” review measures –and by derivation, what makes invisible– is put into tension; how does this review technology affect the relationship between the production of scientific knowledge and the production of goods and services; between the production of scientific knowledge and the production of solutions to local problems; and between the research agendas and the public policies of science, technology, innovation and development in Latin America. The article concludes, in a fourth level of analysis, with an analytical reconstruction of the socio-technical alliance in terms of the relational capacities, the loops and the inertial dynamics that builds, stabilizes and reinforces the working dynamic of the “objective” review technology. This last level of analysis allows us to measure the transforming capacity of the different solutions –proposed in the manifests– to the problems analyzed.