Athenea Digital. Revista de pensamiento e investigación social

Volumen 21, Número 1, 2021

Indexación y Factor de Impacto: La Academia y sus cajas negras

Título en inglésIndexing and Impact Factor: Academia and Its Black Boxes

• Resumen
• Abstract

1 Introducción

La universidad a la que pertenece mi antiguo centro de investigación convocó recientemente una nueva edición de sus premios para investigadores. El objetivo de esta iniciativa es promover la excelencia en la publicación. Los requisitos que debe cumplir un artículo para optar a tales premios son los siguientes: estar incluido en una revista indexada en la base Web of Science (WoS) o en la base Scopus y ocupar una posición específica —primer decil y cuartil, segundo cuartil…— dentro de la clasificación establecida para cada área científica en función del factor de impacto (FI) recogido en el Journal of Citations Report (JCR). Esta es una muestra trivial de la presencia del FI en la vida académica. Con mayor o menor peso, es un elemento que no falta en la evaluación del profesorado universitario o en la selección y contratación de docentes e investigadores

El FI es un indicador, pero ¿qué indica? Una interpretación intuitiva basada en su propia denominación nos remite a una suerte de efecto producido por el artículo entre sus lectores; un efecto que, a priori, podría ser positivo en el sentido de considerarse relevante o útil, pero también negativo por su falta de interés. Si deseamos calcular el FI de la revista A en 2019, tendremos que determinar el resultado de este cociente:

Número de citas en 2019 que los artículos publicados en A durante 2017 y 2018 han recibido procedentes de artículos publicados en otras revistas incluidas en la misma base que A sobre el total de artículos publicados en A durante 2017 y 2018.

La lectura literal de este cociente nos informa del número medio de citas que los artículos de la revista A han recibido. Por ejemplo, el SCImago Journal atribuye a la revista American Sociological Review un FI de 5,862 en 2018. En este caso, es un FI calculado con base en un periodo de tres años, si bien su lectura es la misma: considerando los artículos que la revista publicó en 2015, 2016 y 2017, estos han recibido una media de 5,8 citas por parte de textos publicados en 2018 en otras revistas. Si optamos, de nuevo, por una interpretación intuitiva, puede suponerse, siempre que el futuro reproduzca el pasado, que cuando la revista publica el artículo de un investigador, este puede esperar que lo citen casi 6 veces.

Obviamente, entender el FI desde la literalidad impide comprender por qué en torno a esta media se articula un concepto como la excelencia o por qué se erige en juez de un premio. Esto nos recuerda que cualquier indagación sociológica debe ir más allá de lo literal. En cierto modo, el FI se configura como una caja negra latouriana. El input son las publicaciones en revistas con las consiguientes citas y el output, una ordenación que permite evaluar la candidatura a una plaza, la financiación de un proyecto o la concesión de un galardón. Lo relevante será, pues, comprender cómo se ha construido ese mecanismo.

El objetivo de este artículo es analizar la construcción del FI como proceso en el que se relacionan dimensiones técnicas y sociales en constante interdependencia. Las dimensiones técnicas aluden al conjunto de decisiones, negociaciones, debates, demostraciones y experimentos que se llevan a cabo en el campo de la bibliometría para determinar el FI. Las dimensiones sociales se refieren al contexto en el que se encuadran las dimensiones técnicas, conectadas con concepciones específicas de la ciencia, la política científica o la gestión del conocimiento y de las universidades. En este sentido, el FI es examinado entendiéndolo como una invención sociotécnica. Este examen tendrá en cuenta los procedimientos principales que han conducido a la objetivación del FI como indicador significativo de la producción y evaluación de la actividad científica. De igual modo, se comprobará hasta qué punto dichos procedimientos también se encuentran presentes en la construcción de indicadores alternativos al FI propuestos desde el campo de la Altmetrics.

Para cumplir con este objetivo, desentrañaré analíticamente las relaciones de dependencia recíproca entre la bibliometría y el contexto social en el que se desarrolla y gestiona la ciencia. Conceptualmente, me serviré de la idea de caja negra para ilustrar la construcción y objetivación del FI como proceso en el que se oscurecen los componentes sociales, culturales e intelectuales que intervienen en su constitución.

2 Cuadro conceptual

Cuando el FI se usa para evaluar, contratar, premiar o financiar se presenta como una caja negra a la que se le han proporcionado una serie de datos en forma de insumo —publicaciones y citas— que generan, en forma de producto, un número clasificatorio. El concepto de caja negra lo empleo en el sentido definido por Bruno Latour en su obra “Ciencia en Acción” (Latour, 1987/1992). Es decir, en cuanto indicador, se ha conformado mediante el acto de invisibilizar debates, controversias, decisiones y procedimientos que han llevado, precisamente, a su consolidación como indicador (Latour, 1999/2001, p. 362).

Condición imprescindible para el funcionamiento de una caja negra es que su proceso de construcción sociotécnica sea obviado. Ello es posible porque se asume que el dispositivo —en nuestro caso, el FI— funciona. Mas, ¿qué significa que algo “funciona”? No significa que el dispositivo muestre, per se, una actuación con arreglo a su finalidad, sino que las personas, grupos e instituciones relevantes estén de acuerdo en que, efectivamente, funciona. Es decir, “funcionar” no es estrictamente una cuestión de cariz técnico, sino que incluye también consideraciones de orden social. En consecuencia, “abrir la caja negra” es sinónimo de interrogarse por su construcción, por las relaciones que se establecen entre los actores involucrados y sus concepciones del conocimiento y de la ciencia.

Todo ello remite a un proceso históricamente no necesario que desemboca en la actual noción de FI; un proceso desprovisto de cualquier sentido teleológico y susceptible de ser explorado con herramientas sociológicas. Steven Woolgar (1991) efectúa un planteamiento ejemplar de la cuestión y propone una manera específica de observar este tipo de dispositivos configurados como cajas negras. Para Woolgar, el FI es un punto de encuentro de relaciones sociales, expectativas, demandas, concepciones y agentes que interactúan y pugnan por definir su funcionamiento, su pertinencia, su aplicación y aquello que representa, mide o evalúa. Esta perspectiva permite eludir el principal escollo que surge cuando se aborda la cuestión del FI, a saber: el debate acerca de cómo medir la calidad o cómo hacerlo fidedignamente. Adentrarse en ese debate implica discutir en términos matemático-estadísticos sobre fórmulas, factores, ponderaciones o variables a incluir en los cálculos. E implica también aceptar un presupuesto fundamental: existe un objeto exterior con diferentes denominaciones —calidad, excelencia, relevancia, impacto…— que el indicador habrá de captar con la máxima precisión posible. Esto es, el objeto que se mide tiene existencia al margen del instrumento de medida. Sin embargo, Woolgar recomienda no da por sentado tal presupuesto. De hecho, como se verá más adelante, la medición de la calidad ni siquiera formaba parte de la finalidad inicial adjudicada al FI. En definitiva, el interés del FI como objeto para la sociología radica en la observación y el análisis de las dinámicas sociales e históricas que confluyen en ese punto de encuentro.

Esta confluencia explica que el significado del FI no haya sido nunca unívoco y que en su formación hayan intervenido guiones y escenarios diversos. Ambos términos, guiones y escenarios, los emplea la sociología de la tecnología para estudiar los procesos de inscripción que establecen los usos y los utilizadores que se proyectan para un determinado dispositivo, así como la idea de mundo en la que el propio dispositivo va a operar (Shove, 2003). Los promotores del FI inscribieron su propia visión en el indicador, lo que predetermina una serie de funciones. No obstante, esos guiones y escenarios son adaptados, reformulados o asimilados de forma desigual por los utilizadores, provistos de sus propios guiones y escenarios. Desarrollan procesos de des-inscripción: ajustes que marcan distancias entre el utilizador proyectado/imaginado y el utilizador efectivo, lo que afecta inevitablemente al significado asignado al dispositivo (Akrich, 1997).

Así pues, son estas las herramientas conceptuales que guían el artículo. El análisis que propongo nunca entrará en cuestiones valorativas acerca del uso del FI como instrumento de evaluación. Tampoco dirime si ha o no de perfeccionarse y en qué sentido, si tendría o no que integrar tal o cual variable o si la calidad, la excelencia o el impacto poseen o no un contenido mensurable. Estas son cuestiones que se plantean típicamente cuando el FI se naturaliza y objetiva. Al contrario, lo que se persigue en estas páginas es conocer cómo se ha conformado esa naturalización y objetivación, pretensión que obliga a detenerse en las dinámicas sociales en torno al FI, las concepciones que se movilizan acerca del conocimiento y la ciencia, las decisiones que se han adoptado y los debates que permanecen abiertos junto a los que ya están clausurados.

3 Aproximación histórica preliminar al Factor de Impacto

El FI es, sólo en parte, una novedad histórica. Se construye sobre la cita y el acto de citar publicaciones y autores, elementos cuyo propósito, funciones y formato han ido variando a través de los siglos. Al respecto, Matthew Sharpe y Kirk Turner (2018) elaboran la siguiente tipología:

1) Modelo de textos sagrados y clásicos. Las citas son obra de copistas, escribanos y comentaristas y se dirigen a los lectores, de quienes se espera, gracias a ellas, que interpreten el texto con arreglo a una ortodoxia concreta. Esas citas solían colocarse en los márgenes del cuerpo central y servían para fijar una interpretación unitaria e indiscutible del mensaje. Con ello se perseguía reforzar la cohesión de la comunidad.

2) Modelo de la auto-escritura. El autor cita para sí mismo como soporte de su memoria. El contenido de esas citas son deseos, creencias, pensamientos o fragmentos de discursos leídos o escuchados. La cita no es literal, sino que se recoge tal y como se recuerda, seleccionando principios valiosos para guiar la conducta.

3) Modelo ilustrado. La cita se sitúa en la misma página que el texto principal. Aborda aspectos más controvertidos con el fin de iluminar a quien lee, pero también para evitar el dictamen negativo de los censores.

4) Modelo de cita-nota. El autor la dirige al lector, a quien indica además las características formales de la obra, es decir, título, autor, año y editorial. Así, quien lee dispone de medios para comprobar la fuente a la que remite el autor asociándolo con una determinada comunidad científica o intelectual.

5) Modelo de cita bibliométrica. Un algoritmo informático vincula publicaciones a partir de textos académicos publicados y disponibles en Internet. Es el propio algoritmo el que se encarga de rastrear la Red para producir información destinada a investigadores, académicos, editores o gestores de ciencia con una finalidad, en sentido lato, evaluadora.

El FI sólo es factible a partir de los modelos (4) y (5). Los tres modelos previos se basan en una idea de la cita y del acto de citar que no permite elaborar cualquier indicador en ese sentido.

Tras este apresurado recorrido histórico, conviene detenerse en los antecedentes inmediatos del FI para entender su evolución. Para ello nos situamos en los Estados Unidos fijando la atención en un artículo publicado por P.L.K Gross y E. M. Gross en la revista Science en 1927 (Archambault y Larivière, 2009). El texto, titulado “College Libraries and Chemical Education”, intenta resolver un problema logístico-administrativo habitual en toda biblioteca universitaria: ¿cuál es el fondo apropiado de revistas científicas para estudiantes, profesores e investigadores y cómo gestionar su coste de subscripción? Para los autores, esa decisión no podía depender del bibliotecario. De ser así, no tendría ningún fundamento científico. Habría, en efecto, que apoyarse en la opinión de profesores e investigadores. Para ejemplificar su propuesta, seleccionaron una revista considerada clave en el campo de la química —Journal of the American Chemical Society— abarcando todos los números publicados en 1926. De ahí extrajeron 3633 referencias a 247 revistas, todas en inglés y mayoritariamente radicadas en los Estados Unidos. De esta forma, identificaron las revistas más utilizadas por los profesionales del área y, por extensión, las más aptas para aprovisionar la biblioteca optimizando las subscripciones.

La incipiente aportación de P.L.K Gross y E.M. Gross se encuadra en un contexto sociopolítico en el que el interés por la recuperación y la localización del conocimiento crece progresivamente. A partir de 1940 se hablará con frecuencia de la “explosión de la literatura científica” (Wouters, 1999). Los estados entienden que la ciencia es imprescindible para construir economías competitivas y, por ese motivo, financian métodos y técnicas para recuperar, recopilar, clasificar y localizar información y conocimiento con el cual alimentar el sistema científico de sus respectivos países (Baumgarten, 2004; Kinouchi, 2014).

Poco a poco, iniciativas individuales como la glosada anteriormente dejarán paso al esfuerzo concertado de agencias estatales y de organismos internacionales. De nuevo, Estados Unidos vuelve a ser el epicentro de este movimiento. Allí nace el National Bureau of Economic Research, se desarrolla el Proyecto Manhattan y arranca la carrera espacial frente a su gran rival, la Unión Soviética. Reunir información científica deja de ser un cometido para pioneros aislados y se transforma en un quehacer especializado, soportado por fondos públicos y, muchas veces, vinculado al complejo militar-industrial de la II Guerra Mundial y la Guerra Fría (Santos Pereira, 2004). Para los Estados Unidos, la ciencia adviene una prioridad estratégica. No en vano, Kennedy dirá que es, ante todo, una auténtica necesidad nacional (Wouters, 1999, p. 63). El acceso al conocimiento y la información sobrepasa el ámbito de la logística bibliotecaria. Se crean las condiciones de posibilidad para la emergencia de la bibliometría y de su indicador más emblemático, el FI.

Se entiende por bibliometría la aplicación de métodos estadísticos y matemáticos a textos —artículos, libros, recensiones, notas…— habitualmente utilizados como medio de comunicación científica (Sharpe y Turner, 2018). A partir de esos métodos, se puede cuantificar la producción de tales textos y su frecuencia, además de determinar sus patrones de divulgación y repercusión. Es esta, por lo tanto, una aproximación cuantitativa a la expansión de la ciencia, centrada en la detección de regularidades y la enunciación de leyes concernientes a la comunicación científica (Mattedi y Spiers, 2017). Desde sus inicios, la bibliometría ha privilegiado, como metodología, el análisis de citas entre textos científicos a fin de confeccionar indicadores y mapear los flujos de conocimiento. Según Nicola De Bellis (2014), sus raíces intelectuales reposan en una concepción positivista de la actividad científica, donde lo relevante son las dimensiones observables, colectables y mensurables de la propia actividad. De igual modo, se asume que la ciencia es, esencialmente, un proceso acumulativo que ha de ser analizado según los principios del método científico, la neutralidad valorativa y la supresión de la subjetividad individual. Así, la bibliometría responde a la necesidad política de monitorizar la ciencia centrándose en sus aspectos formales —autores, revistas, títulos, fechas, páginas…— y no en su vertiente cognitiva (Wouters, 1999). Como sucede con cualquier disciplina, procurará su institucionalización gracias a publicaciones especializadas —su emblemática revista Sciencetometrics ve la luz en 1978— la creación de unidades de investigación —Information Science and Sciencetometric Research Unit en la Academia Húngara de las Ciencias— y el desarrollo de congresos, planes de estudios y grupos de académicos que surgen en Europa y Estados Unidos (De Bellis, 2014).

4 La construcción del FI

El paso previo a la aparición del FI es la confección del Science Citation Index (SCI). Eugene Garfield, su principal valedor, hará del SCI el producto principal de su compañía, el Institute for Scientific Information (ISI). También contó con el respaldo de la National Science Foundation y los National Institutes for Health: ambas instituciones contribuyeron con 300.000 dólares para el proyecto.

A primera vista, el SCI no tiene un carácter inédito. Es un índice de publicaciones procedentes de diversas áreas científicas. La novedad estriba en el criterio de organización que adopta: junto a cada artículo coloca todos aquellos trabajos que lo han citado. Sobre esta cuestión me detendré más adelante con mayor detalle. Baste por ahora decir que el SCI no se concibe como un simple vaciado de referencias bibliográficas en el que, con cada artículo, surgen todos los documentos que se recogen en su bibliografía. La lógica es diferente: se trata de identificar todos los artículos que citan un artículo concreto.

El primer SCI se publica en 1963, ocupa 5 volúmenes y se construye con datos de 1961 abarcando revistas de física y ciencias de la vida (Fleck, 2013). En 1972 se da a conocer el Social Sciences Citation Index y en 1975 el Arts and Humanities Citation Index. Garfield pergeña su propuesta algunos años antes y en un artículo de 1955 en la revista Science ya se vislumbra su traza (Davies, 2009). Allí, a la hora de explicar la finalidad del índice, ofrece varias posibilidades. Podría ser usado, por ejemplo, por los historiadores de la ciencia para cartografiar el desarrollo del conocimiento determinando objetivamente, mediante redes de citas, la estructura de un área científica o señalando su núcleo de documentos seminales (Core Journals). Tampoco descartará, más adelante, que pueda utilizarse como herramienta de gestión bibliotecaria (Garfield, 1972a, p. 540). Existen desde el principio distintos argumentos justificadores de la pertinencia del SCI, si bien aquellos que tienen que ver, genéricamente, con la observación y mensuración de la comunicación científica resulten predominantes. De hecho, como apunta Paul Wouters (1999), la forma de organizar el SCI —recordémoslo, por citas— merece diferentes comentarios negativos por parte de profesionales de las bibliotecas de la época, que ya no lo ven como un método apropiado para recuperar información científica y, en función de eso, organizar fondos y subscripciones.

En un contexto de interés político-económico por la ciencia, el ISI publica el JCR en 1975 como suplemento del SCI. Aquí es donde por primera vez aparece el FI, aunque también contase con esbozos previos. En el ya mencionado artículo de 1955 en la revista Science, Garfield lo concibe como un instrumento para mapear la ciencia y conocer la influencia y evolución de la literatura científica: “Dicho factor de impacto podría ser más indicativo que el recuento absoluto del número de publicaciones de un científico” (apud Wouters, 1999, p. 32). También se interroga por los autores, revistas o artículos con un número de citas por encima de la media, considerándolo un fenómeno relevante y, por lo tanto, digno de estudio. Así, el indicador se va perfilando a partir de premisas puramente inductivas teniendo como referencia el campo de las ciencias naturales. Como puede verse, los elementos estructurales del SCI, JCR o el FI contaban con prototipos cuya concreción no se puede entender sin el concurso de la computación. Esta permitirá construir un índice progresivamente ampliado, así como avanzar en la sofisticación del análisis bibliométrico. Simultáneamente, la vocación empresarial del ISI le confiere una escala, visibilidad y viabilidad comercial hasta entonces inédita (Mattedi y Spiess, 2017).

Desde aquí, va a abrirse el debate para mejorar el factor de impacto. O, dicho de otro modo, para conseguir que éste represente fidedignamente el desarrollo y la evolución de la actividad científica. El debate se plantea en términos esencialmente técnicos dentro del campo de la bibliometría y se concreta en un amplio abanico de estudios, métodos y experimentos cuyo propósito es, globalmente, perfeccionar el indicador. De todo ello, Wolfgang Glänzel y Henk F. Moed (2002) dan cuenta pormenorizadamente, por lo que aquí me referiré a cuatro aspectos básicos que han protagonizado y continúan protagonizando el debate: las auto-citas de la propia revista, la ventana de citación, la base de revistas y los elementos computables para el recuento de citas.

4.1 Auto-citas

P.L.K Gross y E.M. Gross, en su artículo pionero de 1927, no incluían las auto-citas en su índice. Èric Archambault y Vincent Larivière (2009) sostienen que la justificación de esa decisión no es del todo clara. Recordemos que seleccionan una revista señera del área de las ciencias químicas (Journal of the American Chemical Society) de la que extraen 3633 referencias a 247 revistas. Una hipótesis explicativa es la de haber pensado que la auto-cita —un autor que cita un artículo incluido en el Journal of the American Chemical Society— incrementaría artificialmente el número de citas que recibe la revista. Esta es hoy una práctica polémica, denunciada como medio de aumentar ilegítimamente el FI de una revista. Sin embargo, si se tiene en mira la lógica con la que se concibió la propuesta de los Gross, la explicación se torna prosaica.

Dado que su preocupación era idear un método para optimizar fondos y subscripciones, les interesaban, fundamentalmente, las referencias que los artículos publicados en Journal of the American Chemical Society hacían a artículos de otras revistas para saber cuál de estas valdría la pena subscribir. Lo más probable, como señalan Archambault y Larivière (2009) es que la revista que se tomó como base —Journal of the American…— ya constase entre las subscripciones de su biblioteca. De ahí que las auto-citas a la revista careciesen de interés, pues esta ya formaba parte de su fondo documental. Por su parte, Eugene Garfield sí considera computable la auto-cita, lo que abre puertas, como dije antes, al aumento por vía inducida del FI de la revista: cuando un artículo se evalúa, el editor podrá solicitar, entre las recomendaciones de mejoría, que se citen otros trabajos previamente publicados en su revista.

4.2 Ventana de citación

Se refiere al periodo de tiempo considerado para registrar y calcular el número de citas que reciben los artículos. El criterio originalmente adoptado fue contemplar un arco de dos años. La iniciativa partió de un trabajo de J. Martin y A. Gilchrist publicado en 1968 en el que se evaluaban revistas publicadas en 1965 (Archambault y Larivière, 2009). Los autores constatan que el 26 % de las citas efectuadas por artículos en 1965 se referían a artículos de 1963 y 1964. Ese porcentaje era, en su opinión, una muestra representativa adecuada, lo que permitía reducir el coste de adquirir datos adicionales y contabilizarlos. Garfield también adopta como criterio la ventana de citación de dos años, aunque lo hace sin analizar otras opciones. Siguiendo a J. Martyn y A. Gilchrist, pretende economizar esfuerzos y abaratar costes dando por descontado que ese periodo de tiempo es suficiente para producir resultados representativos.

Una de las implicaciones más evidentes de esta decisión es la eliminación del efecto de los autores clásicos en el recuento de citas. Cabe suponer que esos clásicos lo son en la medida en la que su influencia perdura más allá de un tiempo reducido (Fleck, 2013). Otra de las implicaciones de un periodo limitado es obviar las culturas de cita que existen en las diferentes áreas científicas. Si en algunas los consensos teóricos o metodológicos se producen de forma relativamente rápida, existen otras, como las humanidades o las ciencias sociales, en las que suelen llevar años.

4.3 Base de las revistas

Para contar citas es indispensable seleccionar inicialmente el conjunto de revistas que será objeto de examen. Cuántas y cuáles son las preguntas que hay que responder. Desde sus comienzos, la base de revistas que da lugar al SCI está compuesta mayoritariamente por publicaciones oriundas de los Estados Unidos escritas, naturalmente, en inglés. Hasta cierto punto, sería de esperar que así fuese, pues la función de los primeros índices pasaba por el aprovisionamiento y la gestión de bibliotecas de aquel país. Hoy, evidentemente, no es eso lo que sucede.

Las dos principales bases de revistas empleadas para el análisis de citas y el cálculo del FI son la Web of Science —propiedad de Clarivate Analytics— y Scopus —propiedad de Emerald—, lo que nos conduce, otra vez, al debate en torno al “cuántas y cuáles”. Ambas bases manejan criterios simultáneamente transparentes y opacos, además de métodos cualitativos y cuantitativos para justificar la inclusión de una revista en sus bases. Se atiende, por ejemplo, a los datos sobre citas, los estándares de la revista, su funcionamiento, la periodicidad, la composición del consejo de redacción o la reputación de la editorial que ampara a la revista (Fleck, 2013). Aun así, el proceso de indexación sigue mereciendo críticas por sus inconsistencias. Otro de los grandes caballos de batalla es la clasificación de las revistas por áreas científicas. Que una revista sea ubicada en una u otra área científica influirá en el FI comparado de las revistas con las que comparte clasificación, resultando en posiciones superiores o inferiores en la ordenación final.

4.4 Elementos que cuentan para el cálculo del FI

Otra operación esencial para el cómputo de citas es determinar qué elementos de los que integran una revista científica puede ser objeto de cita. O, si se me permite la expresión, cuál de esos elementos es “citable”. En una revista solemos encontrar artículos, cartas, editoriales, recensiones críticas o trabajos de revisión bibliográfica. La cuestión es saber cuál de ellos, al ser citado por otro trabajo científico, constituye una cita que ha de ser contabilizada a efectos de FI.

El debate se articula alrededor de la idea de documento científico o, más concretamente, del tipo de documento que mejor representa el conocimiento científico (Glänzel y Moed, 2002). ¿Y por qué es este un asunto relevante? Porque podría suceder que una revista construyese su FI a partir de citas recibidas por documentos que publica a los que se les atribuye menor capacidad de representación del conocimiento científico. Es el caso de las editoriales, las cartas al editor o los trabajos de revisión bibliográfica. De hecho, estos últimos han generado un sub-debate dentro del debate general por su capacidad para generar un elevado número de citas en un corto espacio de tiempo. Son trabajos que efectúan síntesis globales de la bibliografía sobre un tema y, por esa razón, son consultados por quien desea actualizarse, iniciar una investigación o simplemente tener una panorámica general sobre una materia. Esa vocación de síntesis los hace especialmente atractivos, convirtiéndose en un receptáculo privilegiado de citas. Al tiempo, despiertan suspicacias. La principal es la de no representar tan fidedignamente el conocimiento científico como un artículo que realice una aportación original. Por tal motivo, se defiende que no deberían tener el mismo valor en el cálculo del FI (Glänzel y Moed, 2002).

En esta síntesis he tratado de recopilar algunos de los aspectos que protagonizan el debate bibliométrico sobre la indexación y el FI. Son debates estructurados en clave técnica que revelan decisiones, medidas o criterios adoptados por razonamiento inductivo, argumentos ad hoc o simple economía de esfuerzo y costes. Una parte significativa del gremio bibliométrico apuntala la auto-imagen de un debate consagrado a la mejora de los indicadores que representan la actividad científica. No es extraño, pues, que dicho gremio explique la preponderancia y hasta el éxito del FI recurriendo a razones inherentes al indicador. Es decir, si resulta preponderante y exitoso es porque, como esgrimen Glänzel y Moed (2002), el FI se comprende con facilidad, porque se publica todos los años y porque es un indicador robusto no expuesto a altibajos: se puede confiar en él a la hora de observar la evolución de una revista.

La finalidad otorgada a la indexación y al análisis de citas sufre modificaciones conforme se van definiendo sus rasgos dominantes. Como vimos, parte de una visión centrada en la gestión bibliotecaria que es relegada a un segundo plano cuando se entiende que su cometido es otro: cartografiar la ciencia, determinar las redes establecidas por la literatura científica, identificar los trabajos con repercusión en un área o señalar sus revistas esenciales. Según se afianza esta visión, se suceden diversas controversias centradas en el perfeccionamiento técnico de la indexación y el FI, controversias cuya clausura no se produce con arreglo a argumentos estrictamente técnicos. En este sentido, será preciso movilizar razones extra-técnicas para fijar lo que técnicamente ha de hacerse. Este tipo de razones contribuye a construir la conexión de la bibliometría con la evaluación de la calidad de la actividad científica.

5 La legitimación del FI

Para que la indexación y el FI se puedan concebir como instrumentos de evaluación restan aun algunas condiciones por cumplir. El cierre de la caja negra se produce en virtud del convencimiento de grupos, individuos e instituciones de que el FI sirve para lo que sirve, en este caso, evaluar. Para que ese convencimiento sea una realidad tienen lugar cuatro operaciones relacionadas entre sí que aquí abordaré analíticamente por separado: la transformación de la cita en un signo, la conexión de la cita con los valores morales de la ciencia, la equiparación del análisis de citas con sistemas de evaluación convencionalmente aceptados y la cobertura gerencialista de la cita como indicador del impacto-retorno de la inversión en investigación.

5.1 La cita como signo

Paul Wouters (1998, 1999) desarrolla una interesante reflexión sobre la lógica profunda que preside la construcción del SCI estableciendo una distinción entre referencia y cita. Si el artículo A contiene un apunte bibliográfico (en nota a pie de página o en el cuerpo del texto) describiendo un artículo B según sus propiedades formales (autor, título, año, páginas… de acuerdo con un código estandarizado APA, Harvard, Chicago…) se dice que A contiene una referencia a B. Por lo tanto, las referencias contenidas en A son signos de B, que es el referente. En esta línea, la referencia es el reconocimiento que un documento otorga a otro. Observando el mismo proceso desde B, diríamos que este recibe una cita de A. Aquí lo que tenemos es el reconocimiento que un documento recibe de otro.

La forma tradicional de construir un índice se basa en la referencia: se ordenarían los artículos y se señalarían los trabajos a los que se refieren. De este modo, un índice no sería sino una relación más o menos amplia de referencias bibliográficas. Pero el SCI invierte esta lógica: cada artículo viene acompañado de todos aquellos artículos de los que ha recibido citas. Usando el ejemplo anterior, el artículo B se acompaña del artículo A y de todos aquellos, insisto, de los que ha recibido una cita. En este punto, el signo es el artículo B y el referente, A y los restantes artículos. Se asume que esta inversión nos dice algo sobre la ciencia, algo específico y relevante que se manifiesta, sobre todo, al analizar volúmenes extensos de citas. Ese “algo” lo veremos especificado en la próxima sección, aunque a modo de anticipo, puede decirse que tiene que ver con los valores morales distintivos de la ciencia.

Una vez confeccionado, el SCI emerge como una representación de la literatura científica que, a su vez, es una representación de la ciencia. Se prefigura como un observador externo que se limita a registrar lo que hacen los científicos con los artículos. Como observador externo, su registro se pretende objetivo: no tiene en cuenta los resultados ni los contenidos de la literatura. Tampoco se valoran o evalúan. Se ciñe rigurosamente a las propiedades formales de cada trabajo: autor, título, fecha, nombre de la revista, páginas, institución y editorial. Visto de esta forma, el SCI y el FI lo producen, en realidad, los científicos que escriben sus artículos. Los indexadores tan sólo ordenan lo que sucede entre ellos y expresan con indicadores la dinámica de citas.

Recapitulemos: se ha producido una operación de inversión en el ordenamiento del índice. El resultado de la inversión se supone que nos informa de “algo” relevante sobre la ciencia. Esa información es transmitida por el SCI, un observador externo del que deriva el FI. La cuestión, a continuación, es identificar ese “algo”.

5.2 El valor moral de la cita

Para descifrar ese “algo”, los valedores de la bibliometría encontrarán en la teoría normativa de la ciencia, defendida por Robert K. Merton, una respuesta satisfactoria. Por su parte, Merton verá en el análisis de citas una herramienta apta para entender el desarrollo de la ciencia (Merton, 1979). De hecho, será él quien escriba un prólogo a la principal obra de Eugene Garfield, “Citation Indexing – Its Theory and Application in Science” (Garfield, 1972b).

Para que el FI pueda funcionar, debe entenderse que la conducta citadora del autor es significativa, regular y que nos dice cosas importantes sobre la ciencia. La teoría normativa de la ciencia expuesta por Merton sostiene que la cita es la retribución obtenida por un autor a cambio del uso de sus productos – artículos científicos – por parte de otros autores. Estamos ante un modo de gestionar los derechos de propiedad intelectual, cuyos réditos el autor acumula en forma de prestigio, reconocimiento y oportunidades materiales (financiación para proyectos, promoción profesional, contratación…) (Davies, 2009). El fundamento de este sistema de retribución y gestión son las normas morales de la ciencia. Un autor refiere aquellos documentos que ha empleado para elaborar su propio trabajo como reconocimiento a las contribuciones de los autores de tales documentos. Desde esta óptica, la ciencia es una tarea acumulativa que se edifica a partir de productos intelectuales que nos preceden.

El SCI se basa en esta estructura latente de la actividad científica. Tal estructura remite a la propiedad intelectual de conceptos, ideas, teorías y hallazgos que los científicos ponen a disposición del público, garantizando así su condición de propietarios. Conforme aumenta la disponibilidad, más segura se torna esa propiedad. Se advierte un deber moral exigible a todo autor: el reconocimiento de las deudas intelectuales para con otros autores, lo que es, al tiempo, una evidencia del crédito que le merecen sus aportaciones a un determinado corpus de conocimiento. La remuneración de la deuda se produce a través de la cita que reciben los autores a quienes recurrimos para construir nuestra investigación. Esa remuneración aumenta el capital de reputación de un autor y supone un estímulo para proseguir con la producción de artículos científicos.

Llegados a este punto, estamos en condiciones de responder a la pregunta relativa a ese “algo” que, sobre la ciencia, nos dice la cita. Esta nos informa de que un artículo citado es un trabajo considerado valioso, útil, relevante, decisivo o influyente en un área determinada. Así pues, el artículo atesora valores positivos y, por extensión, de calidad. Discursivamente, se crean las condiciones de posibilidad para que la utilidad, la relevancia o la influencia se identifiquen como indicios de aquello que es cualitativamente valioso (Bornmann y Haunschild, 2017).

El propio Merton entiende que esta identificación resultaba ya meridianamente clara desde la aparición del SCI en 1963 al llamar la atención sobre una potencial utilización del FI como criterio de evaluación o de contratación para docentes e investigadores (Merton, 1979). Recomendaba, eso sí, un uso prudente del indicador sometiéndolo al filtro del escepticismo organizado característico de la actividad científica. En definitiva, lo que proporciona un significado a la cita es su asociación con la dimensión normativa de la ciencia. Traduce deudas intelectuales y, por consiguiente, constituye un medio de remuneración a través del reconocimiento. En simultáneo, aproxima discursivamente el análisis de citas al universo semántico de la calidad que, por extensión, es también el universo de la evaluación.

La lectura normativa de la cita favorece y permite la utilización del FI con un propósito evaluador. Sin embargo, a nadie se le escapa que esa es solo una lectura de entre varias posibles. Eugene Garfield apuntaba en un artículo de 1964 (Aksnes et al., 2019) diferentes razones, más allá de las normativas, por las cuales un autor incluye una referencia bibliográfica en un artículo. Podría hacerse para demostrar que se conocen los textos esenciales de una disciplina y que se han efectuado las lecturas necesarias e imprescindibles para abordar un tema. O para describir e identificar un concepto que se problematiza. También para criticar o enmendar trabajos publicados previamente. Otra opción es la de apuntar pistas para futuros artículos o, por qué no, divulgar investigaciones poco conocidas. Es decir, el uso de la cita puede no responder en todo momento a la lógica moral mertoniana y sí vincularse a un uso pragmático y funcional.

En clara oposición a Merton, Bruno Latour propone una lectura de la cita desprovista de finalidad moral: citar posee un valor netamente discursivo (Lukkonen, 1997). Para Latour, la cita es el recurso utilizado por un autor, en particular, para garantizar la cientificidad de su texto y, en general, para defender su aportación al conocimiento. En defensa de su posición, puede hacer varias cosas para reforzar su punto de vista. Puede apelar al nombre de su institución, al prestigio de la revista, a la financiación captada o las autoridades intelectuales que le ofrecen su apoyo. Y también puede valerse de las citas como un dispositivo retórico presente en la fase de redacción de textos para comunicar el conocimiento científico. Este dispositivo sirve para conferir credibilidad a lo que se expone, para dotar al texto de un carácter técnico o para superar posibles resistencias mediante referencias a autores consagrados. No se cita, pues, exclusivamente en nombre de la calidad o del valor científico intrínseco de un artículo.

Evidentemente, entre la lectura mertoniana y la latouriana media una distancia insalvable, que nos recuerda que hoy no contamos todavía con una teoría integral y satisfactoria de la cita (Cronin, 1981). Resulta igualmente evidente que la posición de Latour relativiza la trascendencia que Merton le confiere a la cita. En otras palabras, con Latour, el FI difícilmente hubiera prosperado.

5.3 La cita como equiparación y superación de la evaluación por pares

Hasta ahora hemos constatado cómo la cita, materia esencial para la indexación y el FI, se va deslizando hacia el terreno de la evaluación y, por ende, del veredicto sobre la calidad. El sistema convencional de evaluación en la ciencia remite a los pares del científico como dictaminadores. Las evidencias más fiables y antiguas se remontan al siglo XVII: según Marcos Antônio Mattedi y Maiko Rafael Spiess (2017), el Journal des Sçavants o el Philosophical Transactions de la Britain’s Royal Society empleaban ese procedimiento en la aprobación de sus textos. Desde entonces, la evaluación por pares se ha establecido como un sistema canónico, no sólo para los artículos científicos: a ella se someten proyectos, departamentos, universidades y centros de investigación. A pesar de su extensión y aceptación, la evaluación por pares es y ha sido objeto de críticas recurrentes. Se aduce que los revisores de artículos científicos carecen de la especialización necesaria para apreciar ciertos temas. Los evaluadores pueden estar condicionados por conflictos de intereses que hagan depender el sí a un artículo de la defensa de posiciones corporativistas. Por último, se afirma que la evaluación por pares difícilmente consigue lidiar con el volumen actual de producción de artículos científicos. Eugene Garfield, por ejemplo, lo expresa del siguiente modo: “En un mundo ideal los evaluadores se leerían cada artículo y emitirían su opinión (…) La mayor parte de la gente no tiene tiempo para leer todos los artículos que son relevantes. Aunque lo consiguiesen, su opinión estaría condenada por los comentarios de quienes citaron sus trabajos” (Garfield, 2006 p. 93). En resumen, se trata de un sistema con imperfecciones que la comunidad científica acepta por convicción o resignación.

En el proceso de legitimación del FI como instrumento de evaluación resulta decisiva la aproximación y equiparación de la evaluación por citas a la evaluación por pares. Argumentativamente, la operación es simple: si se demuestra que la evaluación por citas produce los mismos resultados que la evaluación por pares —sistema aceptado por la comunidad científica— cabe pensar que la primera es equivalente a la segunda, por lo que los científicos no tendrían razones substanciales para rechazarla. Eugene Garfield apunta en esta dirección al destacar en 1979 todos los estudios que, por aquel entonces, demostraban la correlación entre resultados de evaluación por citas y evaluación por pares. Establecida esa correlación, Garfield no postula una sustitución de los pares por las citas, pero sí defiende su complementariedad: el análisis de citas puede ser un apoyo para emitir un juicio más objetivo y completo (Garfield, 1979, p. 364).

En cualquier caso, Garfield no hace sino dar continuidad a una tendencia que se vislumbra con claridad a lo largo de la década de 1970. Prueba de ello es el trabajo de Nicholas Wade (1975), que, sin ambages, asume la conexión entre el recuento de citas y la evaluación de la calidad (Wade, 1975, p. 429). Aporta varias pruebas del uso de las citas, por ejemplo, para la adjudicación de una plaza en la Universidad de Nueva York, la concesión de fondos por parte de la National Science Foundation a departamentos de química del país o como registro pericial en la reclamación presentada por una docente contra el fallo de un comité de evaluación. Wade entendía que el recuento de citas sobrepasaba la que hasta entonces había sido su función inicial: ayudar en la gestión de los fondos bibliotecarios. Y la sobrepasaba porque sus resultados correlacionan con la evaluación por pares, un sistema que los científicos aceptan.

Frente a la resistencia a asumir la continuidad del análisis de citas y la evaluación de la calidad, se alza la voz autorizada de Derek John de Solla Price, célebre historiador de la ciencia y precursor de la bibliometría. Anunciaba que el procedimiento para analizar citas iría, inevitablemente, a sofisticarse hasta corregir el ruido estadístico: “Pienso que, incluso en términos individuales, el SCI es uno de los indicadores de calidad más importantes que correlacionar con otros ya disponibles y con todas las evaluaciones de calidad de la investigación científica que permitan adoptar una decisión sobre financiación, promoción o contratación” (apud Wouters, 1999, p. 103). A partir de aquí, se multiplican los estudios que refuerzan la relación citas-calidad-evaluación, condición imprescindible para una ulterior defensa en clave económica de la evaluación por citas.

Un ejemplo depurado de esta línea argumental lo representa el trabajo de Charles Oppenheim (1995). El autor toma como referencia el Research Assesment Exercise (RAE) de 1992 en el Reino Unido, un sistema de evaluación por pares de la actividad de los investigadores agrupados por departamentos o universidades. A continuación, compara la clasificación producida por el RAE en el dominio de Bibliotecas y Gestión de la Documentación con una clasificación elaborada mediante el análisis de citas de publicaciones de los mismos departamentos que se encuadran en ese dominio. Ambas clasificaciones son coincidentes, lo que le permite efectuar tres afirmaciones:

1) Su estudio refuerza lo que muchos estudios han demostrado. Existe una fuerte correlación entre el recuento de citas y las clasificaciones de excelencia académica medidas a través de la concesión de distinciones, la captación de fondos para investigación, la dirección editorial de las revistas científicas de renombre o la puntuación otorgada por grupos de pares (Oppenheim, 1995, p. 19)

2) El recuento de citas es una medida fiable de la calidad de la investigación. No significa esto que un elevado número de citas indique una calidad también elevada. Lo que sí se afirma es que se manifiesta una asociación significativa entre las clasificaciones construidas mediante el recuento de citas y las clasificaciones basadas en la evaluación por grupos de pares (Oppenheim, 1995, p. 25).

3) El coste del RAE para las arcas públicas y, por extensión, para los contribuyentes es incomparablemente superior al coste del estudio de Wade. Este supuso, como el propio autor aclara, unos pocos días de elaboración y unos 200 dólares en trabajo informático.

El camino que se ha recorrido está claro: la legitimación del análisis de citas mediante su equiparación a la evaluación por pares. Esa equiparación sería la prueba de validez del análisis de citas. Una vez establecida esa validez, podría incluso superar a la evaluación por pares en un punto crucial: la logística es más sencilla, resulta más barata y, por ello, más eficiente. Esta eficiencia es, de hecho, un argumento central dentro de la lógica managerialista que abordaré a continuación.

5.4 La cobertura managerialista de la cita

Se entiende por gerencialismo o managerialismo la ideología que sostiene que el gobierno de las organizaciones, independientemente de su naturaleza o finalidad, puede llevarse a cabo con arreglo a técnicas y principios enunciados por las llamadas ciencias de la gestión (Alonso y Fernández Rodríguez, 2012; Fernández Rodríguez, 2007). Tales técnicas y principios, al poseer base científica, garantizan eficacia, eficiencia y competitividad en el funcionamiento organizacional, atributos fundamentales en un contexto global presidido por la incertidumbre. En el terreno concreto de la ciencia, ese contexto se caracteriza por el vínculo entre el conocimiento científico, la tecnología y el desarrollo económico. De este modo, el saber gerencial se destinará a alinear el conocimiento con su aplicabilidad y el valor comercial que pueda generar (Donovan, 2007). Ese alineamiento se considera esencial para la universidad, inmersa en el mercado global de la educación y la investigación y, a resultas de ello, pugnando con otras instituciones para atraer estudiantes, investigadores, profesores, recursos y fondos.

Esta dinámica competitiva se expresa mediante clasificaciones internacionales en las que la investigación tiene un peso reseñable (Sharpe y Turner, 2018). En el famoso Ranking de Shanghái, el 20 % de la evaluación depende de la calidad de la investigación, acreditada mediante métricas elaboradas a partir del Science Citation Expanded y el Social Science Citation Index. En la clasificación de The Times (Times Higher Education World University) ese porcentaje se eleva al 32,5 % y depende de métricas confeccionadas con base en la Web of Science. Por su parte, el QS World University Rankings de Elsevier sitúa el porcentaje en el 20 % tomando como referencia Scopus. En este marco de competición y valoración mercantil del conocimiento se impone desde el managerialismo universitario una gestión eficiente de los recursos que se invierten en la ciencia, lo que obliga a tener en cuenta el retorno que dicha investigación genera.

Surge la necesidad de indicadores para los equipos gestores teniendo en mira la estrategia competitiva de la organización. Entre ellos, el FI ocupa un lugar señero. En cuanto indicador, se sobrentiende que mide la utilidad o el impacto como aproximaciones a la calidad. Lo relevante es que permite la evaluación y, por añadidura, la gestión de la ciencia sin necesidad de que el gestor sea un par, esto es, sin necesidad de conocer el contenido de la investigación o poseer formación en el área de conocimiento que se evalúa. Permite, además, realizar comparaciones, observaciones sincrónicas y diacrónicas, clasificar y ordenar. Se interpreta como un indicador que sintetiza toda la información disponible sobre un producto científico o sobre su productor: reconocimiento, utilidad, difusión o influencia. En suma, una herramienta indispensable para el gestor de ciencia, vista esta como actividad productiva en la que determinados insumos —financiación— dan lugar a diversos resultados: artículos con elevado FI que influyen en la posición de la universidad en relación con sus competidoras.

La investigación y la ciencia son managerialmente dirigidas a través de la creación de mecanismos de mercado. El FI es el indicador de una actividad competitiva que se evalúa homogeneizando las áreas científicas y obviando sus particularidades. Dependiendo de la posición en la que el indicador sitúa al investigador, el grupo de investigación, el departamento o la universidad, se alocan recursos de forma eficiente. Y se entiende que es eficiente puesto que dichos recursos se destinan en mayor volumen a quien se halle mejor clasificado. Este entramado prefigura una estructura de incentivos diseñada por la entidad que transfiere recursos —usualmente, el Estado— con el fin de alinear los objetivos de los investigadores con los objetivos definidos en el proceso de competencia en el mercado global.

Hasta aquí la exposición de los procedimientos que actúan en el cierre de la caja negra del FI. Eugene Garfield anticipaba en 1979 que, muy a pesar de las resistencias, el avance del FI se haría inevitable (Garfield, 1979). Tales resistencias se le antojaban comprensibles. Si, como afirmaba, el 25 % de los artículos científicos que se escriben no se citan nunca, el FI sería la prueba fehaciente de la magnitud de una irrelevancia de la que el investigador no desea que quede constancia. Otra fuente de resistencia sería el sempiterno miedo a la novedad, especialmente a un sistema de evaluación que prescinde de los pares. Empero, quien exhibe estas resistencias tendría que comprender la irreversibilidad del proceso en curso: la actividad científica crece en complejidad. Cada vez será más complicado y costoso diseñar un sistema de evaluaciones capaz de identificar las mejores contribuciones de los mejores autores. Ante esto, el análisis de citas se presenta como un procedimiento objetivo, auténticamente informativo para el evaluador y con un coste comparativamente bajo al sistema de pares (Garfield, 1979, p. 373).

El análisis de citas en el que se basa el FI experimenta una traslación que lo lleva desde el mundo de las bibliotecas, pasando por el conocimiento de la estructura de la comunicación científica, hasta la evaluación de la calidad. Para ello ha necesitado transformar la cita en un signo, legitimarse con arreglo a una visión normativa de la ciencia, asimilarse al sistema de evaluación por pares y superarlo en objetividad, eficiencia y reducción de costes y, por último, ser amparado por la gestión managerial de la ciencia.

6 Altmetrics: ¿Nuevas cajas que se abren?

De acuerdo con Lutz Bornmann y Robin Hannschild (2017), la bibliometría ha vivido hasta hoy un periodo de ciencia normal: se han ido sofisticando y refinando las técnicas, se han acumulado datos y estudios y se han fijado temas canónicos. Todo ello se ha hecho, en general, asumiendo que lo que se mide es una evidencia de la calidad. En este periodo no han faltado movimientos opuestos a la evaluación bibliométrica de la calidad. Contamos con la Declaración de San Francisco sobre Evaluación de la Investigación (DORA, 2013), el Manifiesto de Leyden (Hicks et al., 2015) o el Movimiento Slow Science (Frith, 2015). No obstante, el propio campo de las métricas sobre ciencia recoge estas reacciones reformulándolas y combinándolas con sus propias dinámicas. El managerialismo científico, por ejemplo, continúa demandando indicadores que, sin dejar de lado la calidad, mensuren nuevos objetos.

Entre estos, destaca el Impacto Societal, una síntesis entre resonancia y reverberación de la investigación. Se busca determinar su influencia siempre que sea susceptible de ser auditada, registrada y mensurada en ámbitos no académicos y no especializados. Estos ámbitos son la sociedad civil, los medios de comunicación, las empresas, las políticas públicas, el asociacionismo, el activismo o la consultoría profesional y política. Se entiende que esa influencia puede seguirse a través de registros, referencias, citas, menciones o presencia de los autores y sus trabajos en diversas plataformas: likes o shares en Facebook, tweets e retweets en Twitter, blogs, artículos de prensa, foros, contabilidad de descargas, consultas o lecturas en Academia.edu, ResearchGate o Mendeley o repositorios institucionales. Todo cuanto suponga un rastro detectable definido como relevante y apto para ser medido. Nos situamos, pues en el terreno de las métricas alternativas o Altmetrics. Mas ¿alternativas a qué? Se supone que a la bibliometría convencional basada en la indexación y el FI. El interés radica precisamente en ese punto: saber si las métricas alternativas se hallan en trance de construir una nueva caja negra a partir de procedimientos similares a los empleados por el FI. Es decir, las potenciales alternativas podrían estar reproduciendo los mecanismos de cierre usados por el sistema que ambicionan complementar o reemplazar.

Antes de discutir esta posibilidad, conviene caracterizar brevemente el campo de la Altmetrics. Las líneas maestras las encontramos en su manifiesto fundacional, que se abre con toda una declaración de intenciones: “Nadie puede leer todo” (Priem et al., 2010). En primer lugar, se afirma que la bibliometría convencional es lenta, va por detrás del dinamismo de la comunicación científica e incentiva la producción de formatos poco adaptados a las realidades actuales. En segundo lugar, se dice que el debate científico se ha desplazado a plataformas como blogs, redes sociales y, en general, al ecosistema de Internet. En tercer lugar, los productos científicos a los que atiende la bibliometría convencional —artículos, fundamentalmente— no son los únicos que habrían de tenerse en cuenta: software, bases de datos o diseños experimentales son algunos de los nuevos productos que el enfoque tradicional desdeña. En cuarto y último lugar, se reivindica la Red como medio del cual extraer datos fiables que reflejen estas evoluciones. La Red es un entorno de comunicación, relación y producción científicas que se integra en el quehacer rutinario del investigador. En ese entorno, los investigadores dejan indicios de su actividad, lo que deviene en una potencial fuente de datos. En definitiva, se pueden señalar nuevas modalidades de comunicación científica en interacción con audiencias académicas y no académicas que alimentan la idea de una ciencia abierta a la sociedad (European Commision Expert Group on Altmetrics, 2017).

Las métricas alternativas, en su proceso de afirmación, están empleando mecanismos de cierre análogos a los empleados por la bibliometría convencional en el caso de la indexación y el FI:

1) Correlación de las métricas alternativas con las métricas convencionales. El campo de la Altmetrics desarrolla estudios investigando su posible asociación con los resultados que arrojan los análisis de citas. Hasta ahora se entiende que tal correlación es, en general, baja. Con todo, ello se achaca más a la bisoñez de las nuevas metodologías que a la ausencia real de una relación significativa (Sud y Thelwall, 2014, pp. 1135-1137).

2) Expectativa de superación de la bibliometría convencional. Si bien no existe todavía un consenso sobre la correlación entre lo convencional y la Altmetrics que pudiera fortalecer esa pretensión de superación, lo cierto es que se detecta una labor de erosión del valor de las métricas tradicionales. Se constatan sus principales insuficiencias, sumariadas en su falta de adaptación a las dinámicas actuales de la ciencia. Así, la bibliometría convencional resulta rígida para captar la velocidad con la que circulan las ideas por Internet. Tampoco va más allá del formato ortodoxo del artículo científico, que no sería ya el vehículo preferente de comunicación entre investigadores. Es incapaz, pues, de considerar los canales en los que hoy se materializa preferencialmente la actividad científica (Taylor, 2013).

3) Reivindicación de indicadores por parte de los gestores de la ciencia. La Altmetrics se presenta como un recurso adicional para la gestión del conocimiento. Asumiendo que la ciencia es competitiva, las métricas alternativas permiten completar la medición de todo cuanto genera algún impacto en la sociedad (Taylor, 2013). La medición de ese impacto se relaciona con la necesidad de conocer, para gestionar, el retorno que produce la inversión en investigación, no sólo en términos económicos sino también en términos sociales (Briggle, 2014).

Estos elementos nos proporcionan pistas para pensar en la posibilidad de una nueva caja negra similar a la que rige el funcionamiento del FI. Como vimos, el FI no se asienta en una teoría consensual sobre el significado de las citas. Existen divergencias entre el normativismo mertoniano y el enfoque de Latour. Análogamente, no existe tampoco un consenso transversal sobre aquello que se denomina impacto societal. Continuando con el paralelismo, conviene recordar que Garfield admitía que no se conocían bien los factores sociales que influían en las citas (Garfield, 1979). De igual modo, uno de los autores del manifiesto Altmetrics, Jason Priem (2014), se expresa en términos idénticos sobre las métricas alternativas.

Lo cierto es que el FI, como producto de la bibliometría convencional, posee una narrativa consolidada —aunque discutible— sobre su fiabilidad. Se construye, como indiqué, asociando elementos como la objetividad, la cuantificación, la influencia, la utilidad y la calidad, todos ellos sintetizados en una cita. Las métricas alternativas carecen de esa narrativa justificadora y se encuentran en un proceso abierto de discusión (Haustein et al., 2016) ¿Y qué se discute? Entre otras cosas, cómo interpretar el significado del almacenamiento de artículos en la plataforma Mendeley: ¿son para leer o acumular? ¿es asimilable el almacenamiento a la idea de deuda intelectual-remuneración de Merton? Tampoco hay acuerdo, por ejemplo, sobre cómo interpretar el valor de un artículo escrito en un blog, normalmente publicado sin ningún tipo de revisión por pares. A pesar de este nivel de indefinición, no faltan los pronósticos sobre la inevitabilidad de la Altmetrics como, en su tiempo, no faltaron sobre el FI. Representantes de empresas que prestan estos servicios vaticinan un futuro en el que el desarrollo de las tecnologías y la accesibilidad a los datos permitirán que se pueda medir todo lo que sea relevante para la ciencia (Taylor, 2013)

7 Conclusión

La configuración del FI como una caja negra es posible mediante diferentes operaciones que oscurecen y obvian las relaciones y procesos sociales que resultan determinantes en su formación. De este modo, llega hasta nosotros como un indicador que mide la calidad: se limita a reflejar y a traducir numéricamente la dinámica de la literatura científica como prueba de reputación, notoriedad, prestigio y valor intelectual. En este punto, el FI se halla naturalizado y objetivado. Su funcionamiento poco interesa, bien por su supuesta complejidad, bien por su ininteligibilidad para el no iniciado en el saber bibliométrico. Lo relevante es aquello que produce: un número clasificatorio del que se hace depender, total o parcialmente, contrataciones, promociones o financiación.

En estas páginas he discutido esa naturalización objetivadora asumiendo, como propone Woolgar, que el FI es un punto de encuentro de múltiples variables sociohistóricas y culturales. Esa confluencia es la que explica la construcción de este dispositivo, asociado a escenarios y guiones cambiantes. He situado como antecedente inmediato del FI la gestión bibliotecaria de fondos y subscripciones. Desde ahí, he glosado la evolución del indicador hasta convertirse en un indicio de calidad destacando los siguientes aspectos:

1) Su relación con proyectos amplios de recuperación y organización del conocimiento científico liderados por los Estados y vinculados al binomio ciencia-desarrollo económico.

2) Su relación con el desarrollo de la bibliometría como expresión del interés estratégico por la ciencia en contextos crecientemente competitivos.

3) Su relación con una serie de debates y dictámenes técnicos que están en la base de su elaboración como indicador y que son protagonizados por criterios ad hoc, métodos inductivos y oportunistas y economías de esfuerzo y reducción de costes.

4) Su relación con un conjunto de operaciones de legitimación intelectual que pasan por la conversión de la cita en un signo, por su justificación ético-normativa, por su asimilación/superación a/de sistemas de evaluación establecidos y por la cobertura que le ofrece el managerialismo universitario.

Para finalizar, aventuro desde estas páginas una hipótesis que habrá de ser testada en un futuro, entiendo, más próximo que lejano. La producción de indicadores no se detiene y las métricas alternativas avanzan, entre otras cosas, socavando la hegemonía del FI. Esa impronta alternativa que se arrogan resulta discutible, máxime cuando se reproducen mecanismos y empleados en el cierre de la caja negra del FI. La Altmetrics quizá no sea, substancialmente, tan alternativa. Lo que sí apunta son maneras de conversión en una nueva caja negra.

8 Referencias

Alonso, Luis Enrique & Fernández Rodríguez, Carlos Jesús (2012). El nuevo debate sobre el gerencialismo. ¿Innovación creativa o maquiavelismo financiero? En Luis Enrique Alonso & Carlos Jesús Rodríguez (Eds.), La financiarización de las relaciones salariales. Una perspectiva internacional (pp. 104-126). Los libros de la Catarata.

Archambault, Èric & Vincent Larivière (2009). History of the Journal Impact Factor. Contingencies and Consequences. Scientometrics, 79(3), 635-649. https://doi.org/10.1007/s11192-007-2036-x

Akrich, Madeleine (1997). The De-Scription of Technical Objects. In Wiebe E. Bijker & John Law (Ed.), Shaping Technology/Building Society. Studies in Sociotechnical Change (pp. 205-224). The MIT Press.

Aksnes, Dag W.; Langfeldt, Liv & Wouters, Paul. (2019). Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open. https://doi.org/10.1177/2158244019829575

Baumgarten, Maria (2004). Avaliação e gestão de ciência e tecnología: Estado e colectividade científica. Revista Crítica de Ciências Sociais, 70, 33-56. https://doi.org/10.4000/rccs.1046

Bornmann, Lutz & Haunschild, Robin (2017). Does Evaluative Scientometrics Lose Its Main Fous on Scientific Quality by the New Orientation Towards Societal Impact? Scientometrics, 110(2), 937-943. https://doi.org/10.1007/s11192-016-2200-2

Briggle, Adam Robert (2014). Opening the Black Box: The Social Outcomes of Scientific Research. Social Epistemology, 28(2), 153-166. https://doi.org/10.1080/02691728.2013.782584

Cronin, Blaise (1981). The Need for a Theory of Citing. Journal of Documentation, 37(1), 16-24. https://doi.org/10.1108/eb026703

Davies, Philip M. (2009). Reward or Persuasion? The Battle to Define the Meaning of a Citation. Learned Publishing, 21, 5-11. https://doi.org/10.1087/095315108x378712

De Bellis, Nicola (2014). History and Evolution of (Biblio)Metrics. In Blaise Cronin & Cassidy R. Sugimoto (Eds.), Beyond Bibliometrics. Harnessing Multidimensional Indicators of Scholarly Impact (pp. 23-44). The MIT Press.

Donovan, Claire (2007). The Qualitative Future of Research Evaluation. Science and Public Policy, 34(8), 585-597. https://doi.org/10.3152/030234207X256538

DORA (2013). Declaration on Research Assessment (DORA), Proposal for Thomson Reuters to Modify the Journal Impact Factor. https://sfdora.org/read

European Commision Expert Group on Altmetrics (2017). Next Generation Metrics: Responsible Metrics and Evaluation for Open Science. European Commision, Directore-General for Research and Innovation

Fernández Rodríguez, Carlos Jesús (2007). El discurso del management: tiempo y narración. Centro de Investigaciones Sociológicas.

Fleck, Christian (2013). The Impact Factor Fetichism. European Journal of Sociology, 54(02), 327-357. https://doi.org/10.1017/S0003975613000167

Frith, Uta (2015). Slow Science. http://frithmind.org/blog/2015/10/11/slow-science/

Garfield, Eugene (1972a). Citation as a Tool in Journal Evaluation. Essays of an Information Scientist, 1, 527-544.

Garfield, Eugene (1972b). Citation Indexing – Its Theory and Application in Science, Technology and Humanities. John Wiley and Sons.

Garfield, Eugene (1979). Is Citation Analysis a Legitimate Evaluation Tool? Scientometrics, 1(4), 359-375. https://doi.org/10.1007/BF02019306

Garfield, Eugene (2006). The History and Meaning of the Journal Impact Factor. The Journal of the American Medical Association, 295(1), 90-93. https://doi.org/10.1001/jama.295.1.90

Glänzel, Wolfgang & Moed, Henk F. (2002). Journal Impact Measures in Bibliometric Research. Scientometrics, 53(2), 171-193. https://doi.org/10.1023/A:1014848323806

Haustein, Stefanie; Bowman, Timothy D. & Costas, Rodrigo (2016). Interpretating Altmetrics: Viewing Acts on Social Media Through the Lens of Citation and Social Theories. In Cassidy R. Sugimoto (Ed.), Theories of Infometrics and Scholarly Communication. A Festchrift in Honor of Blaise Cronin (pp. 372-405). De Gruyter.

Hicks, Diana; Wouters, Paul; Waltman, Ludo; Ricjke, Sarah de & Rafols, Ismael (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429-431.

Kinouchi, Renato Rodrigues (2014). Scientometrics: The Project for a Science of Science Transformed into an Industry of Measurement. Scientiae Studia, 12, 147-159. https://doi.org/10.1590/s1678-31662014000400008

Latour, Bruno (1987/1992). Ciencia en acción. Cómo seguir a los científicos e ingenieros a través de la sociedad. Labor.

Latour, Bruno (1999/2001). La esperanza de Pandora. Ensayos sobre la realidad de los estudios de la ciencia. Gedisa.

Lukkonen, Terttu (1997). Why Latour’s Theory of Citations Has Been Ignored by the Bibliometric Community? Discussion of Sociological Interpretations of Citation Analysis. Scientometrics, 38(1), 27-37. https://doi.org/10.1007/BF02461121

Mattedi, Marcos Antônio & Spiess, Maiko Rafael (2017). The Evaluation of Scientific Productivity. História, Ciências, Saúde – Manguinhos, 24(3), 623-643. http://dx.doi.org/10.1590/s0104-59702017000300005.

Merton, Robert K. (1979). Foreword. In Eugene Garfield. Citation Indexing – Its Theory and Application in Science, Technology and Humanities (pp. v-ix). John Wiley and Sons.

Oppenheim, Charles (1995). The Connection Between Citation Counts and the 1992 Research Assesment Exercise Ratings for British Library and Information Science University Departments. Journal of Documentation, 51(1), 18-27. https://doi.org/10.1108/eb026940

Priem, Jason (2014). Altmetrics. In Blaise Cronin y Cassidy R. Sugimoto (eds.). Beyond Bibliometrics. Harnessing Multidimensional Indicators of Scholarly Impact. The MIT Press.

Priem, Jason; Taraborelli, Dario; Groth, Paul & Neylon, Cameron (2010). Altmetrics: A manifesto. Recuperado el 24 de julio de 2019, http://altmetrics.org/manifesto

Santos Pereira, Tiago (2004). Processos de governação da ciência: o debate em torno do modelo de financiamiento das unidades de investigação. Revista Crítica de Ciências Sociais, 70, 5-32. https://doi.org/10.4000/rccs.1044

Sharpe, Matthew & Turner, Kirk (2018). Bibliopolitics. The History of Notation and the Birth of the Citational Academic Subject. Foucault Studies, 25, 146-173. https://doi.org/10.22439/fs.v25i2.5578

Shove, Elizabeth (2003). Confort, Cleanliness and Convenience. The Social Organization of Normality. Berg Publishers.

Sud, Pardeep & Thelwall, Mike (2014). Evaluating Altmetrics. Scientometrics, 98(2), 1131-1143. https://doi.org/10.1007/s11192-013-1117-2

Taylor, Mike (2013). Exploring the Boundaries. How Altmetrics Can Expand Our Vision of Scholarly Communication and Social Impact. Information Standars Quarterly, 25(2), 27-32. https://doi.org/10.3789/isqv25no2.2013.05

Wade, Nicholas (1975). Citation Analysis. A New Tool for Science Administrators. Science, 188, 429-432. https://doi.org/10.1126/science.188.4187.429

Woolgar, Steve (1991). Beyond the citation debate: towards a sociology of measurement technologies and their use in science policy. Science and Public Policy, 18(5), 319-326. https://doi.org/10.1093/spp/18.5.319

Wouters, Paul (1998). The Signs of Science. Scientometrics, 41(1-2), 225-241. https://doi.org/10.1007/BF02457980

Wouters, Paul (1999). The Citation Culture. Tesis Doctoral sin publicar. University of Amsterdam, Amsterdam.