Críticas recientes a la evaluación de la investigación : ¿vino nuevo en odres viejos?

Abstract

Este artículo examina las críticas recientes a la evaluación de la producción científica plasmadas en siete documentos / manifiestos publicados entre 2010 y 2016. Los objetivos planteados son de dos tipos: a) examinar y valorar las críticas a la evaluación de la ciencia –académica– realizadas en los mencionados manifiestos y b) comparar esas críticas con las realizadas en décadas anteriores, indagando si hay identidades, divergencias, cuestiones viejas y emergentes. Los textos fueron seleccionados llevando en consideración su amplia divulgación y la discusión que suscitaron. El estudio fue realizado a partir de un análisis de contenido de los textos y de su contextualización mediante revisión de literatura. Concluimos que la mayor parte de las críticas a la evaluación de la producción científica realizada en los manifiestos no es nueva, aunque hay un claro desplazamiento del centro de la discusión desde la revisión por pares hacia la evaluación cuantitativa mediante indicadores bibliométricos. Es evidente también que algunas críticas, como las que señalan un deterioro en la calidad y relevancia de la actividad científica, han ido adquiriendo más fuerza en los últimos años, conforme la escala y la eficiencia de aplicación de la evaluación cuantitativa se han ido ampliando y sus efectos sobre la dinámica de producción de conocimiento y la actividad universitaria tienden a manifestarse más claramente.

This article examines recent critiques of scientific evaluation exposed in seven documents-manifestos published between 2010 and 2016. The goals are two-fold: a) to examine and assess the critiques of (academic) science evaluation contained in the aforementioned manifestos and b) to compare these critiques with those made in previous decades, exploring the identities, divergences, old and emergent issues. The texts were selected taking into consideration their wide dissemination and the discussion they prompted. The study was carried out through content analysis of the texts and their contextualization through a literature review. We concluded that most of the critiques to science evaluation depicted in the manifestos are not new; however, there is a clear displacement of the center of the discussion from peer review towards quantitative bibliometric assessment. It is also evident that some critiques, particularly those calling attention to the degradation of scientific quality and relevance, became stronger over the past decade, following the increasing scale and efficiency of the application of quantitative evaluation methods, making more evident their effects on knowledge production and the academic activity.