Acerca del rechazo inmediato de manuscritos sin evaluación externa

Por Lucas Massimo y Adriano Codato

Desde 2013 los editores de la Revista de Sociologia e Política han estado recolectando datos que permitirán calcular indicadores básicos sobre el proceso de evaluación de manuscritos que son presentados a nuestra revista. Estos datos fueron publicados anualmente en los editoriales de junio de 2014, 2015 y 2016. En este texto resumimos los resultados para emitir una opinión sobre una gestión de rutina en la administración de revistas de alto impacto, las decisiones tomadas en el análisis preliminar por los editores, sin consultar a los evaluadores anónimos, también conocido como “evaluación en desk review”.

Iniciaremos observando las frecuencias de las decisiones tomadas por los editores a partir del recibimiento de los originales en los últimos tres años, como se ve en la Tabla 1.

Tabla 1 – Decisiones tomadas por los editores

Fuente: elaboración propia en base al archivo de la Revista de Sociologia e Política

En los últimos años la mayor parte de los manuscritos originales han sido rechazados en el análisis preliminar por los editores: la línea I revela que esa decisión ha sido tomada con casi el 60% de los originales presentados a nuestra evaluación. En 2014 y 2015 el rechazo basados en las sugerencia de opiniones ciegas (líneas II y III) se estabilizó en la franja del 20% del total de manuscritos, pero disminuyó del 56% al 47% de la evaluación por pares. Los textos con publicación condicionada a la revisión (línea IV) son cerca del 7%, y el promedio de los últimos dos años 11,95% de los artículos presentados fueron aprobados (línea V).

La tabla 2 presenta datos sobre la extensión del proceso de evaluación.

Tabla 2 – Tiempo empleado en la toma de decisiones (en días).

Fuente: elaboración propia en base al archivo de la Revista de Sociologia e Política

*El coeficiente de variación (CV) se obtiene por la razón entre el desvío estándar y la media, cuyo resultado debe ser representado en forma de porcentaje. Se trata de un indicador simple desde el punto de vista aritmético y adecuado para medir la dispersión o la convergencia en el tiempo de la toma de decisiones para comparación entre grupos.

La tabla 2 revela que el tiempo promedio para la aprobación de un manuscrito (línea I) en 2015 fue de 104,3 días, un valor un poco inferior al observado en el año anterior, cuando fue tomada esa decisión en 117,8 días (en promedio). El rechazo en carácter preliminar (línea II) todavía se toma unos 20 días, el tiempo para la toma de decisiones para la reprobación de los artículos (línea III) fue de 105,6 días en 2015. El plazo para la emisión de dictámenes es un indicador que depende de cada evaluador – lo que explica la enorme variación en la línea IV, como la desviación estándar bastante próxima a la media – pero, aun así, la tabla indica que cada dictamen se está emitiendo en unos 45 días en los últimos dos años.

Es muy importante observar por qué usamos el coeficiente de variación en las medidas de tiempo. Como se ha señalado en el editorial del vol.23 n.54 (publicado en junio de 2015), la reducción en los coeficientes de variación revela la reducción de la dispersión en el tiempo de la toma de decisiones. La caída en la dispersión indica que el proceso de evaluación quedó más uniforme, y eso es posible porque las decisiones tomadas para todos los procesos (independientemente de quiénes son los autores de los manuscritos) consumen un tiempo similar en nuestro flujo de tareas.

Comparando los valores del CV en 2013 (cuando todavía no había una plataforma para la gestión de las presentaciones) con los dos años posteriores, confirmamos los hallazgos anunciados en junio de 2015 (LOS EDITORES, 2015), a saber que, el sistema ScholarOne^® ha sido un factor importante en la normalización y racionalización de las rutinas editoriales con beneficios para todos los implicados en la comunicación científica.

Por último disponemos en la tabla 3 indicadores básicos sobre nuestro proceso de arbitraje.

Tabla 3 – Indicadores sobre el proceso de arbitraje (2014 y 2015)

Fuente: elaboración propia en base al archivo de la Revista de Sociologia e Política

La tabla 3 confirma que se ha producido un profundo cambio en las condiciones de trabajo de nuestros árbitros. Al principio aclaramos que el mismo árbitro puede emitir más de una opinión (por eso los valores de la línea II son ligeramente más elevados que los de la línea V). Según el protocolo, cada evaluador solo es llamado a evaluar hasta un texto por semestre. El mismo revisor no puede emitir más de dos dictámenes al año si los autores presentaran nuevamente el mismo artículo para una segunda ronda de evaluación.

Como se ha indicado en la tabla 1, la tasa de artículos aprobados durante el arbitraje es ascendente, o sea, con el pasar de los años la cantidad de artículos aprobados por los evaluadores está aumentando. La tabla 3 presenta otra dimensión de este fenómeno, que es la disminución de la tasa de rechazo por parte de los revisores para la evaluación de los manuscritos (disminuye del 60% a poco más del 30% del total de manuscritos). La cantidad de evaluaciones por texto evaluado también cayó, lo que era de esperar con el aumento de los rechazos en desk review, pues en rigor, no es estrictamente necesario tener cerca de 4 evaluaciones para fundamentar una decisión editorial. De hecho, tal vez este exceso de opiniones expresa las vacilaciones de los editores, pues como escribimos en el editorial de junio de 2015 (vol. 23 n.54), “los artículos mal terminados toman más tiempo de los árbitros y los inducen a comentarios no concluyentes” (LOS EDITORES, 2015, p.07). Las medidas tomadas antes de la invitación a los árbitros, o sea, en el análisis preliminar de los artículos que se hace por los propios editores, pueden disminuir la frecuencia de estas situaciones (pues sería ingenuo suponer que van a desaparecer).

Dada su importancia estratégica para los autores, editores y revisores, buscamos formalizarlo a partir del 2015 en un procedimiento de rechazos en desk review.

Durante el análisis preliminar examinamos atentamente el formulario de resumen estructurado que se requiere de los autores durante el proceso de envío (conforme al modelo IMRAD – Introducción, Método, Resultados, Análisis y Discusión). El primer aspecto considerado es la adhesión de la propuesta del artículo al alcance editorial de nuestra revistas. El segundo punto considerado es si el texto completo tiene divisiones claras, indicado la existencia de una estructura lógica empleada comúnmente en los artículos científicos. El tercer aspecto tenido en cuenta en el análisis preliminar es la descripción objetiva de la metodología y la presentación didáctica de los datos empíricos, considerados como el indicio del celo de los autores en la finalización de los manuscritos. Si por lo menos dos editores deciden por el rechazo en carácter preliminar, enviamos a los autores un mensaje que indica que ha sido rechazado.

Como es evidente, los editores no son especialistas en el tema de todos los artículos enviados (por ese motivo es una evaluación “preliminar”). Como se señaló más arriba (Tabla 1), la mayor parte de los artículos recibidos en los últimos años han sido bloqueados durante el análisis en desk review. Dada la cantidad de artículos en esta situación, usamos un mensaje estándar para comunicar esta decisión a los autores. A partir de junio de 2016 en el mensaje se leerá lo siguiente:

Cada año la Revista de Sociologia e Política recibe mucho más artículos de los que puede publicar. Los originales que serán enviados para evaluación externa, es decir, a un mínimo de dos evaluadores anónimos, que deben estar de acuerdo con la línea editorial de la Revista y representar una clara contribución en su campo de estudio. El original también necesita tener un carácter más analítico que descriptivo con respecto a los datos empíricos (que deben ser inéditos o vueltos a trabajar de manera inédita), y el documento debe revelar una estructura concisa y coherente, de acuerdo con las normas usuales de comunicación científica. A pesar de los méritos de su propuesta, evaluamos que ella no cumple en el momento, con todos esos criterios.

Con este pasaje esperamos explicar las razones por las que los textos son excluidos en el análisis preliminar, sin evaluaciones sustantivas proporcionadas por revisores anónimos.

Buscamos mitigar esta pérdida haciendo hincapié en los logros alcanzados por todos nuestros colaboradores, en el supuesto que incluso los autores de los textos rechazados sin evaluaciones tienen más que ganar con una respuesta rápida (unos 20 días) que si permanecen meses a la espera de una respuesta negativa.

Lo ideal, para autores y editores, sería proporcionar una explicación pormenorizada en al menos un párrafo sobre por qué los textos reprobados en análisis preliminar no fueron enviados a los árbitros. Por más riguroso y sistemático que sea nuestro proceso de análisis preliminar, no tenemos los recursos financieros, estructura material y personal disponible para proporcionar este grado de detalles a todos los autores. Esperamos que pronto se podrá hacer eso.

Referencia

OS EDITORES. Editorial. Rev. Sociol. Polit. [online]. 2015, vol. 23, nº 54, pp. 3-8. ISSN 0104-4478. DOI: 10.1590/1678-987315235401. Available from: http://ref.scielo.org/75kdzh.

Sobre Lucas Massimo e Adriano Codato

Lucas Massimo es editor de la Revista de Sociologia e Política, es candidato a doctorado en el programa de Posgrado en Ciencias Políticas de la Universidad Federal de Paraná (UFPR), es tutor del curso de ciencias políticas del Centro Universitario Internacional UNITER (modalidad EAD).

Adriano Codato es profesor de Ciencias Políticas en la Universidad Federal de Paraná (UFPR) y editor de la Revista de Sociología Política (www.scielo.br/rsocp). Realizó prácticas de pos doctorado en el Centre européen de sociologie et de science politique de la Sorbonne (CESSP-Paris). Coordina el Observatorio de elites políticas y sociales del Brasil (http://observatory-elites.org/). También es investigador del CNPq.

Traducido del original en portugués por Ernesto Spinak.