Athenea Digital. Revista de pensamiento e investigación social

Volumen 18, Número 2, 2018

El informe de arbitraje según la recomendación de publicación y la productividad de los evaluadores

The referee report according to publication recommendation and reviewers’ academic productivity

• Resumen
• Abstract

1 Introducción

La ciencia es una construcción social y colectiva (Lamont, 2009; Latour, 1992; Lazega, 1992), en la que participan actores con intereses diversos. Una de las formas más directas para dar cuenta de la construcción social del conocimiento científico como una interacción es estudiar el proceso de evaluación por pares (en adelante, PEP), específicamente, a través de la descripción del ‘Informe de Arbitraje’ (en adelante, IA), puesto que es en este género donde se materializa la interacción discursiva entre los actores que participan en dicha construcción.

En el contexto hispanoamericano, la tarea de sustentar y desarrollar revistas académicas es especialmente desafiante. Esto porque, en general, las instituciones que albergan estas revistas no estiman de manera adecuada la carga de trabajo que dicha tarea implica. Dado el carácter confidencial de este proceso, no existe mucha información empírica que permita mejorar el sistema. En este contexto, el estudio de los informes de arbitraje puede ser un aporte importante para comprender de manera más profunda el PEP y para ayudar a visibilizar la relevante tarea que los equipos editoriales realizan en la producción, evaluación y diseminación del conocimiento científico.

En este género, de carácter anónimo, se materializan los juicios que un evaluador realiza sobre un artículo de investigación (Bolívar, 2008). Dado su carácter privado (Swales, 1996), la descripción empírica de este género ha sido muy escasa (Astudillo, Squadrito, Varas, González y Sabaj, 2016), y los enfoques que se han utilizado presentan limitaciones que parcializan de manera excesiva el objeto de estudio (Sabaj, González y Pina-Stranger, 2016).

En este contexto, en el presente trabajo exponemos, por un lado, el proceso de construcción de un modelo para el análisis de IA de artículos de investigación en el PEP que supera en parte esas limitaciones. Por otro lado, mostramos la aplicación de ese modelo a un corpus de 318 IA y a una submuestra de 118 informes, proveniente de tres revistas chilenas de alcance internacional.

En la primera parte del trabajo, exponemos nuestra aproximación general al PEP, como una práctica sociodiscursiva. Posteriormente, mostramos los principales trabajos que se han dedicado al análisis de los IA, especificando sus limitaciones. Luego, describimos los pasos que seguimos en la confección de nuestro modelo de análisis y sus categorías constituyentes. Por último, damos cuenta de la aplicación del modelo, los resultados e interpretaciones de esa aplicación y las conclusiones generales del trabajo.

2 El proceso de evaluación por pares (PEP)

En términos sencillos el PEP se realiza en los siguientes pasos: a) un autor (o un grupo de autores) envía un trabajo a una revista; b) el editor selecciona evaluadores para que

emitan un IA con una recomendación de publicación; c) con esas recomendaciones, el editor toma una decisión que informa al autor; d) si el trabajo es rechazado el proceso concluye; por el contrario, si el trabajo es aceptado, los autores realizan las correcciones sobre la base de las revisiones de los evaluadores y del editor y vuelven a enviar una versión para ser publicada (Bornmann, 2011; Campanario 1998a; 1998b; Garfield, 1986; 1987).

En nuestra concepción (Sabaj et al., 2016), el PEP es una práctica sociodiscursiva de carácter técnico y evaluativo que implica una coordinación epistémica entre distintos actores, a saber, los autores, los evaluadores y los editores. Esta práctica, que determina la generación y diseminación del conocimiento científico, es técnica porque depende de una experticia específica de un campo de conocimiento; es evaluativa porque implica un juicio de valor por parte de los árbitros; y, es discursiva, en tanto todo el proceso se cristaliza en textos que se intercambian entre los actores. Cada actor posee ciertas características cientométricas y sociodemográficas y produce un tipo de texto específico, que, a su vez, tiene atributos determinados. Así, es al autor al que se le asocia el manuscrito original; al editor, la solicitud de evaluación; y a los evaluadores, el IA.

2.1 Modelos para el análisis del discurso de los IA en el PEP

El IA es un texto de carácter confidencial que se utiliza en el proceso de evaluación por pares. Justamente, por su naturaleza privada (occluded genre, en términos de John Swales, 1996), es un género prácticamente imposible de estudiar sin la ayuda de los editores. Por ser el primer artículo en español que aborda el tema desde un enfoque discursivo, el trabajo de Adriana Bolívar (2008) es un referente obligatorio. La autora presenta una caracterización general del IA, en la que se destaca su carácter reactivo y dependiente de otros textos (es parte de una cadena de géneros), y que su confección está determinada por el tiempo, en tanto los editores exigen que se realice en un lapso determinado. Se sostiene también que, en el IA, se evalúa de manera global el trabajo, pero también el grado de conocimiento del autor sobre una materia y sobre el género. Así también, “es evaluada la habilidad comunicativa y retórica de los autores con base en el texto que ellos han escrito” (Bolívar, 2008, p. 47).

En un detallado trabajo, Hugh Gosden (2003) hace un análisis de contenido y funcional de los comentarios presentes en 40 IA de una revista en el ámbito de las ciencias duras. En el trabajo, se usan principalmente categorías de contenido, esto es, elementos que reflejan el objeto de la evaluación en los comentarios. Como conclusión, se establece que las categorías relativas a las afirmaciones, la discusión y las referencias son las que más frecuentemente se utilizan en los IA.

Siguiendo en parte el modelo de Gosden (2003), Inmaculada Fortanet (2008) realiza un análisis de lo que denomina patrones de evaluación, que corresponden a propósitos comunicativos que realizan los evaluadores en 50 IA de lingüística aplicada y del ámbito de la organización en las empresas. Entre los resultados se establece que la crítica es la función más frecuente en las dos disciplinas analizadas.

Tanto en el trabajo de Mohammad Tharirian y Elham Sadri (2013) como en el de Philippa Mungra y Pauline Weber (2010) se utilizan solo categorías de contenido, esto es, que representan los objetos evaluados. A su vez, estos comentarios son clasificados en aspectos de contenido o aspectos de forma. En el caso de Mungra y Weber (2010), se analizan 33 IA provenientes del área de la salud, específicamente, de las subespecialidades de neurología, dermatología, medicina interna y cirugía. De los resultados se concluye que la mayoría de los comentarios son asuntos de contenido, específicamente, en el área de la relevancia científica y aspectos metodológicos, seguidos de errores gramaticales.

Tharirian y Sadri (2013), por su parte, analizan 82 IA de ingeniería, medicina y ciencias sociales. Al igual que Mungra y Weber (2010), los autores llegan a la conclusión que la mayoría de los problemas que aparecen en los comentarios decían relación con las categorías asociadas al contenido.

El trabajo de Bolívar (2011) presenta un conjunto de funciones discursivas de la evaluación negativa en este género: detractiva o indicar algo que falta; correctiva o señalar lo que está mal o incorrecto; la función epistémica o indicar aquello que no está claro y la función relacionante que se refiere al modo en que los investigadores se presentan y posicionan como miembros de un grupo. Cada una de estas funciones se asocia a una serie de categorías de contenido, como la metodología, la representatividad de la muestra, los títulos, entre muchos otros.

3 Cuatro problemas en el análisis del discurso de los IA

En esta sección, retomamos algunas críticas que hemos hecho sobre el PEP (Astudillo, 2015; Astudillo, Squadrito, Varas, González y Sabaj, 2016; Sabaj et al., 2016) y exponemos otras que justificaron la creación de un modelo para el análisis del género textual que nos ocupa.

Un primer y gran desafío que enfrenta cualquiera que desea analizar datos discursivos es la delimitación de la unidad de análisis (Paltridge, 1996; Swales, 2004). En el caso de los IA, se ha utilizado como unidad de análisis la noción de comentario, pero esta no aparece definida o bien la definición que se propone es imprecisa o parcial. Por ejemplo, en los trabajos de Mungra y Weber (2010) y de Tharirian y Sadri (2013), la noción de comentarios se limita a aquellos extractos textuales que implican una modificación por parte del autor, es decir, se dejan fuera todos los actos evaluativos que, siendo parte del género, no implican ningún cambio por parte de los autores. En el caso de Gosden (2003), la unidad de análisis comentario se equipara a la oración, pero sabemos que una oración puede contener más de un comentario. Solo en el trabajo de Fortanet (2008) se define la unidad de análisis en términos de un acto evaluativo como “cualquier unidad estructural, independiente de su configuración léxico-gramatical, que contiene tanto el (sub)aspecto sobre el cual se comenta como la acción que se recomienda” (Fortanet, 2008, p. 29).

Una segunda dificultad de los trabajos que describen el discurso del AI es la falta de integración de las distintas dimensiones que se analizan. Tal como hemos expuesto, la mayoría de los trabajos se focalizan en aspectos del contenido y funcionales. Solo en uno de los trabajos (Bolívar, 2011), se incluye además la dimensión de la valoración. Este mismo trabajo es el único que integra dos dimensiones, asociando la dimensión de la valoración a las funciones comunicativas y, de manera indirecta, a los contenidos de la evaluación, pero en términos generales no existen propuestas que permitan dar cuenta, a la vez, qué es lo evaluado, cuáles son los propósitos comunicativos o actos que se realizan al evaluar y cuál es la polaridad de los juicios (positiva, negativa o neutra) en los IA.

El tercer problema de los trabajos sobre el AI, que también puede generalizarse al campo general de los estudios del discurso, se relaciona con la ausencia de procesos de validación o transferibilidad de los modelos analíticos. Esto es sumamente relevante porque el análisis de datos discursivo es una tarea que depende fuertemente de los conocimientos previos del analista, por lo que validar el análisis se hace imprescindible. Es común que los trabajos en análisis del discurso no aborden el tema de la validez lingüística de las descripciones e interpretaciones que se realizan de los datos textuales.

Una cuarta limitante de los trabajos dedicados al análisis discursivo de los IA se refiere a la falta de información extralingüística sociorrelacional de los sujetos que participan en la generación de estos discursos. En términos generales, para caracterizar a los sujetos, el análisis del discurso utiliza categorías sociológicas de alcance sociodemográfico, como el sexo, la edad, o la inclusión en un grupo étnico o socioeconómico, entre otras propiedades. A diferencia de los sociodemográficos, los atributos sociorrelacionales permiten determinar la posición que ocupa un sujeto en relación con todos los miembros de su comunidad, a partir de un parámetro que permite ubicar a un individuo en un ranking. Por ejemplo, la cantidad de artículos, la cantidad de proyectos adjudicados, las citas recibidas, entre otros, son rasgos que nos permiten saber quién es quién en una comunidad disciplinar específica. La razón por la cual estos datos son relevantes se basa en la idea de que tanto las características sociodemográficas, pero también y, sobre todo, las sociorrelacionales determinan la naturaleza de los discursos de los IA (Varas, 2015). En este sentido se esperaría, por ejemplo, que la evaluación realizada por un investigador senior sea sustancialmente distinta de la de un investigador en formación.

En síntesis, algunas críticas de los modelos analíticos sobre el informe de arbitraje son la falta de delimitación de la unidad de análisis, la no integración de las distintas dimensiones (contenido, función y valoración), la ausencia de criterios de validación y la falta de información sociorrelacional.

3.1 Etapas de la construcción de un modelo para el análisis de los IA en el proceso de evaluación por pares

Con el objetivo de superar esas críticas, construimos un modelo para el análisis y descripción del discurso de los IA. Este proceso se realizó en dos etapas:

i) Construcción de un modelo inicial: El modelo inicial se construyó a partir del análisis incremental de 15 IA, cuya recomendación de publicación era rechazar los artículos (Astudillo, 2015). En esta fase del proceso participaron los ocho investigadores que trabajaron en parejas en la construcción, ajuste y aplicación del modelo. Tanto para la construcción del modelo, como para su aplicación a la muestra se utilizó el Software Atlas Ti V.7.6.2. Primero, se realizó un listado con las categorías de análisis de otros trabajos (Ardakan, Mirzaie y Sheikhshoaei, 2011; Bolívar, 2011; Fortanet, 2008; Gosden, 2003; Mungra y Weber, 2010), las cuales fueron aplicadas a un corpus reducido de 5 informes (los mismos) por cada una de las cuatro parejas.

Dada la dificultad de aplicar ciertas categorías y del hecho de que partes de los IA quedaban sin análisis, se realizaron ajustes, siguiendo los preceptos de la teoría empíricamente fundada (Strauss y Corbin, 1997), para crear, separar o fundir algunas de las categorías. Tras los ajustes se volvieron a aplicar las nuevas categorías a los informes ya analizados y se incorporó el etiquetaje de otros 5 informes. El proceso se reiteró hasta que las cuatro parejas habían analizado 15 informes. Ese modelo inicial que contenía 65 categorías.

ii) Construcción del modelo final: La confección del modelo final tuvo como propósito ampliar la aplicación del modelo a IA con otras decisiones (condicionados y aceptados). En esta etapa se analizaron de manera incremental 25 informes de artículos condicionados y 25 de artículos aceptados, ajustando, de la misma forma descrita anteriormente, el modelo de análisis. El modelo final quedó constituido por 71 categorías. Todos los cambios realizados en esta fase final y el modelo completo con todas sus categorías aparecen en el Anexo 1.

La validación del modelo se realizó para dos versiones descritas, el modelo inicial y el final. En la primera validación, se calculó la confiabilidad del modelo, usando el Alfa de Cronbach. Para ello se solicitó a los ocho investigadores que registraran su grado de acuerdo en relación con la aplicación de cada una de las 65 categorías a un ejemplo. El valor mínimo aceptable para el coeficiente Alfa de Cronbach es 0,70. El valor de alfa calculado fue de 0,904 lo que permitió establecer que el modelo inicial era confiable.

En una segunda instancia, se calculó la validez de la aplicación del modelo final, a través del cálculo del acuerdo inter-codificador (Fleiss, 1971). Para ello se utilizaron los datos de la aplicación de las 71 categorías a diez informes que habían sido etiquetados por todas las parejas. El resultado del cálculo del acuerdo fue de 0,65, lo que permite establecer que había acuerdo sustancial entre los observadores. Estos dos procedimientos (el cálculo de la confiabilidad y el acuerdo) permiten establecer que el modelo era consistente e independiente de los etiquetadores, lo que suple uno de los problemas indicados en la sección “Modelos para el análisis del discurso de los IA en el PEP”.

4 Un modelo para el análisis de los IA del proceso de evaluación por pares de artículos de investigación

El modelo que hemos propuesto se aplica a un tipo específico de comentarios (los comentarios evaluativos). Por ello, dividimos su exposición en dos partes. En primer término, describimos algunas categorías generales que se agrupan de acuerdo a algunos criterios. En la segunda parte, definimos los comentarios evaluativos y presentamos cada una de las capas o dimensiones del modelo que utilizamos para analizarlos.

4.1 Categorías generales

4.1.1 Comentarios según el tema

Durante el proceso de construcción del modelo detectamos comentarios que no tenían por objeto el artículo o una parte de él, sino que abordaban otras materias o cumplían otras funciones. Se trata de comentarios ajenos al tópico que no versan sobre el artículo, sino que corresponden a recomendaciones generales (1), ordenadores u organizadores de los textos propios (2), comentarios sobre la experticia del autor (3), interacciones directas entre el evaluador y el autor (4) o indicaciones de partes del trabajo (5):

4.1.2 Comentarios según la presencia de elementos evaluativos: descriptivos versus evaluativos

Los comentarios evaluativos corresponden a un juicio valorativo con polaridad positiva o negativa que se expresa por medio de una oración, una cláusula subordinada o en un sintagma no clausular. Por ejemplo, en 6, aparecen dos comentarios evaluativos (marcamos con corchetes los límites de cada comentario evaluativo):

(6) [El trabajo es muy interesante] y [está bien escrito]

En los IA también aparecen otros tipos de comentarios que carecen de valoración. Estos son los comentarios descriptivos (7). Se trata de aserciones que se expresan mediante una oración, una cláusula subordinada o en un sintagma no clausular en la que se puede identificar secuencias descriptivas en las que no existen marcas de valoración.

(7) (El trabajo tiene como objetivo analizar los titulares de la prensa)

También pueden aparecer comentarios complejos compuestos por comentarios descriptivos y evaluativos (8):

(8) [La Introducción], (que aparece en la primera página), [está bien escrita].

Describimos, a continuación, de manera general, el modelo de análisis confeccionado, el cual, como hemos sostenido, se aplica a los comentarios evaluativos no ajenos, estén o no asociado a un constructo. Para esta descripción general, mostramos solo algunas categorías. El modelo completo, con cada una de las categorías por dimensión, aparece en el Anexo 1. En la Figura 1, se puede observar un esquema general con el modelo de análisis.

Figura 1

Dimensiones de un modelo para el análisis de los IA

A diferencia de los modelos revisados, en la clasificación que proponemos se integran, a la vez, aspectos relativos al contenido, a los propósitos comunicativos y a los tipos de valoración. A continuación, describiremos en detalle cada una de las dimensiones y los respectivos componentes de este modelo.

4.2 La dimensión del Contenido

Esta primera dimensión tiene por propósito describir cuáles son los objetos que se evalúan en los IA. A diferencia de otras propuestas que identifican categorías muy generales (Mungra y Weber) u otras muy específicas (Tharirian y Sadri, 2013), para identificar y tipificar los objetos evaluados, utilizamos una clasificación jerárquica, que permite analizarlos en tres niveles de generalidad/especificidad.

El primer nivel o componente más general, denominado macro objeto evaluado, da cuenta de la naturaleza general del comentario emitido por los árbitros. A partir de la revisión de otros trabajos (Gosden, 2003; Mungra y Weber, 2010; Tharirian y Sadri, 2013), se estableció que los comentarios pueden referirse a aspectos del contenido o bien a aspectos formales. Sin embargo, en nuestro modelo hemos agregado otra categoría que se utilizó cuando el comentario no se podía vincular a ninguno de los dos aspectos (Indeterminado).

El componente del objeto evaluado, el segundo en nivel de generalidad de la dimensión del contenido, proporciona información respecto del objeto textual donde el evaluador focaliza su valoración. Puede tratarse del artículo en su totalidad o de una sección específica. Cabe señalar que en ocasiones el objeto evaluado puede aparecer de forma implícita. El componente del objeto evaluado contiene 10 categorías.

El último componente de este nivel, el más específico de la dimensión del contenido, denominado micro-objeto evaluado, da cuenta de un aspecto delimitado del objeto evaluado, en el cual el evaluador focaliza su atención. Mientras que la presencia del objeto evaluado es obligatoria, aunque sea de forma implícita, la aparición del micro-objeto evaluado es facultativa. Este componente del modelo es el más amplio, pues contiene 34 categorías. A continuación, se muestran un ejemplo de la aplicación de esta dimensión:

4.3 La dimensión funcional

Como todo texto, los IA tienen una función general, a saber, evaluar el artículo y realizar una recomendación al editor sobre la potencial publicación del trabajo. Este propósito general se concretiza a través de propósitos comunicativos más específicos. A diferencia de otros trabajos (Gosden, 2003; Fortanet, 2008; Bolívar, 2011), que contienen funciones generales, nuestro modelo contiene funciones más específicas, entre las que se encuentran sugerir una aclaración, solicitar una acción, entre otras. Algunos ejemplos de la aplicación de esta dimensión a los comentarios de los IA:

4.4 La dimensión de la valoración

Con la tercera y última dimensión del modelo de análisis, la valoración, se puede identificar la polaridad de los comentarios, a saber, negativa o positiva. Cabe señalar que también se consideró en este análisis un tipo de comentario que no es evaluativo, sino que está asociado a la categoría Describe. Así también, la valoración puede aparecer de forma indirecta, esto es, cuando no hay marcas explícitas de valoración, sino que estas se derivan del propósito comunicativo. Por ejemplo, en el caso (10), no aparece propiamente una marca de valoración negativa, pero del propósito comunicativo, se puede derivar que, en efecto, se trata de esa polaridad. Algunos ejemplos de esta dimensión son:

5 Aplicación del modelo a un corpus de IA

En lo que sigue, mostramos la aplicación del modelo descrito a los datos de la muestra. Dos son los objetivos de esta parte empírica. Por un lado, se buscó determinar si los atributos extralingüísticos de los informes, a saber, la recomendación de publicación (aceptado, condicionado, rechazado) implicaban variaciones en la naturaleza del discurso de esos informes. Por otro lado, se exploró si el discurso de esos informes se veía afectado por las propiedades cientométricas de los evaluadores, específicamente, en relación a su productividad, medida según el número de artículos publicados. Con estos dos objetivos, superamos en parte algunos de los problemas indicados en la sección “2.1 Modelos para el análisis del discurso de los IA en el PEP”.

6 Datos

Como una forma de superar la falta de integración de los aspectos sociométricos y discursivos en el análisis del proceso de revisión por pares, se recolectó una muestra de 318 IA, provenientes de una población de 738 informes, correspondientes a las evaluaciones del total de artículos enviados durante los años 2008 y 2012 a tres revistas internacionales publicadas en español, Onomázein, Información Tecnológica y Formación Universitaria (Sabaj, Valderrama, González y Pina-Stranger, 2015). Para el desarrollo del primer objetivo se registró la recomendación de publicación del total de la muestra (318 informes).

La conformación de la muestra de IA, aparece en la Tabla 1, separada por cada revista y por la recomendación de publicación de los evaluadores.

Para la consecución del segundo objetivo, se trabajó con la submuestra de 118 informes de la Onomázein. Para cada evaluador se registró su número de publicaciones. Para contar el número de artículos, acudiendo para ello a distintas fuentes (Google Scholar, ResearchGate, Academia, páginas personales e institucionales). Además, la información se cotejó a través de consultas de las bases de datos de Scielo, Scopus y WOS. Como una forma de cuidar la confidencialidad de los datos, los asistentes encargados de registrar el número de artículos solo tuvieron acceso al listado de evaluadores por parte del editor, sin que fuera posible vincular qué evaluador revisó qué artículo. Para la obtención de los resultados de este segundo objetivo, se agruparon los evaluadores en tres grupos de manera arbitraria, según su productividad, tal como se muestra en la Tabla 2.

Cabe señalar que hasta donde llega nuestro conocimiento, este es el corpus más amplio de IA etiquetados discursivamente y con información cientométrica, disponible en español.

6.1 Procedimientos para el análisis del discurso de los IA, obtención de resultados y cálculos estadísticos

El etiquetaje de los datos discursivos fue realizado por los 8 investigadores, quienes, al igual que en el proceso de construcción del modelo discursivo de análisis, trabajaron en parejas. Específicamente, para el etiquetaje se siguieron estos pasos:

1. Identificar el límite del comentario
2. Determinar si se trataba de un comentario ajeno; en caso positivo, el análisis concluía en ese punto.
3. Determinar si el comentario era descriptivo o evaluativo. En el primer caso, se le asignaba el código correspondiente y el análisis concluía en ese punto.
4. En el caso de los comentarios evaluativos, se aplicaron, primero, las tres etiquetas correspondientes a la dimensión del contenido en sus tres niveles de especificidad (macro, objeto y micro objeto), luego se etiquetaba el propósito comunicativo y luego se asignaba la polaridad del comentario, esto es, si era positivo o negativo.

Los comentarios ajenos y los descriptivos fueron etiquetados con dos categorías, mientras que los comentarios evaluativos se les asignó seis etiquetas.

Para la obtención de los resultados se contaron las frecuencias para cada una de las categorías del modelo. En lo que sigue, se muestran los resultados relativos a tres de los componentes del modelo, a saber, el macro-objeto, el objeto evaluado y los propósitos comunicativos. Esta selección se basa en que la aplicación del modelo a los otros componentes ya ha sido publicada en otros trabajos: el análisis de los micro-objetos puede encontrarse en César Astudillo (2015), mientras que la descripción del componente de la valoración se trató en Astudillo et al. (2016). Los resultados de la aplicación del modelo completo (las 3 dimensiones y los 5 componentes) sobre la muestra que acá se analiza están disponibles para los interesados por medio de una solicitud a los autores.

Para cada componente discursivo se aplicaron cálculos estadísticos para determinar si existían diferencias en las proporciones del uso de una categoría según la recomendación de publicación de los evaluadores (ver Tablas 3, 4 y 5) y del número de artículos publicados (ver Tablas 6, 7 y 8). Dado que algunas categorías tenían una frecuencia menor a cinco no fue posible usar Chi cuadrado, por lo que se utilizó el Test de K proporciones (Alfa= 5%), que permite saber si hay diferencias significativas en las proporciones en que ocurre una variable n. Para identificar entre qué par de grupos había diferencias significativas entre las proporciones se utilizaron dos métodos: el Método Monte Carlo con 5000 iteraciones (Evans y Rosenthal, 2005) y el procedimiento de Marascuilo (Berenson, Levine y Krehbiel, 2001).

Para efectos de la presentación de los resultados, utilizamos porcentajes. Para el análisis de los propósitos comunicativos, se eliminaron de las tablas de porcentajes aquellas categorías que en todos los grupos no superaran el uno por ciento, por lo que, en esos casos, la suma total de la columna, en rigor, no alcanza el 100 por ciento. Para efectos de la discusión de los resultados, agregamos a todas las tablas una columna con el porcentaje total de ocurrencia de cada categoría, independiente de las variables desagregadas. Esto, con el objetivo de focalizar esa discusión a las categorías más frecuentes y a los casos donde existen diferencias significativas.

Los datos fuente de la investigación están disponibles en el Anexo 2. Si bien, como ya hemos expuesto, nuestro corpus está compuesto por 318 IA y una submuestra de 118 de ellos, los datos de la investigación están constituidos por más de 8000 (en el primer caso y de 3000 para la submuestra) fragmentos textuales de esos informes, etiquetados con las categorías del modelo.

6.2 El informe de arbitraje según la recomendación de publicación de los evaluadores

La Tabla 3 muestra el porcentaje de aparición de los comentarios según su naturaleza, agrupados según la recomendación de publicación.

Según estos datos, independientemente de la recomendación de publicación, en los IA priman los comentarios que apuntan al contenido de los artículos, sin embargo, la proporción de estos en relación con los otros tipos, difiere de acuerdo con la recomendación y, de hecho, existen diferencias significativas en todas las proporciones de los grupos. La predominancia de los comentarios de contenido ya había sido constatada por Tharirian y Sadri (2013) y por Mungra y Weber (2010) para distintas disciplinas, y también por Astudillo (2015), en este último caso de manera específica para Informes que recomendaban rechazar la publicación de los manuscritos. En los datos que presentamos, este patrón también se evidencia en los otros tipos de recomendación (condicionado y aceptados).

Es interesante destacar que los aspectos formales aparecen en todos los tipos de recomendación, siendo más relevantes en el caso de los artículos condicionados. En los comentarios sobre la forma, se pueden observar diferencias significativas, por una parte, entre los artículos aceptados y los condicionados, y entre estos y los rechazados, sin diferencias entre los aceptados y los rechazados. Estos resultados son similares a los encontrados por Betty Samraj (2016), quien estableció que la recomendación de los evaluadores supone diferencias discursivas en los informes de arbitraje. Esto fortalece una interpretación basada en el esfuerzo que hacen los evaluadores según sea la recomendación que realizan, lo que se plasma, en última instancia, en la naturaleza discursiva de los comentarios de los IA. Así, si los evaluadores van a aceptar o rechazar el trabajo, abordarán en menor medida la forma, porque hacerlo implica un mayor esfuerzo que no está justificado por la decisión que recomiendan.

Los comentarios indeterminados son muy poco frecuentes en los artículos aceptados y tienen una frecuencia relativa igual en los artículos condicionados y rechazados. En estos casos, existen diferencias significativas entre los artículos aceptados y los condicionados, por una parte, y entre los aceptados y los rechazados, por otra.

En la Tabla 4, se muestran los porcentajes de comentarios asociados a los objetos evaluados según la recomendación de publicación: