Los impactos de la migración a la plataforma ScholarOne® sobre el flujo editorial en una revista del área de humanidades [Publicado originalmente en el editorial del vol. 23 n. 54 en la Revista de Sociologia e Política]

Por Lucas Massimo y Bruno Bolognesi

En junio de 2014 la Revista de Sociologia e Política comenzó a publicar indicadores de desempeño del proceso de evaluación de los manuscritos enviados para publicación. Eso fue posible porque desde 2013 realizamos un monitoreo sistemático de algunas informaciones elementales, tales como el tiempo empleado en el proceso de arbitraje, el perfil de los autores y de los evaluadores¹. Ahora nos encontramos en condiciones de hacer público esos datos y comenzar a hacer la comparación anualizada.

Esta iniciativa se integra en un conjunto de medidas que están siendo implementadas con el objetivo de racionalizar las rutinas de la revista. El asunto ya fue discutido en otros editoriales de la Revista de Sociologia e Política (n.45, n.49 y n.50), de modo que por ahora alcanza con decir que este protocolo permite a los autores tener acceso a indicadores objetivos sobre cómo están siendo llevadas a cabo las funciones editoriales – una información que puede ser determinante en la decisión sobre a qué revista enviar los resultados de la investigación.

Además, la elaboración de estos indicadores da una idea de los efectos de las medidas que fueron tomadas en los últimos años. A partir de 2014 todas las propuestas fueron evaluadas por la plataforma ScholarOne^®, lo que implicó cambios profundos en la forma en que los autores, editores y revisores interactúan durante el proceso de arbitraje – desde 27/11/2013 no se recibe ninguna propuesta de artículo por e-mail. A pesar de las dificultades de los procedimientos exigidos por el software durante el proceso de envío, los datos que se informan a continuación justifican la adopción de esta nueva plataforma, pues disminuye el tiempo de proceso de evaluación de los manuscritos, redujo el volumen de trabajo de los evaluadores y ayudó a normalizar a los editores el flujo de tareas, dando más consistencia y racionalidad al proceso como un todo.

Presentamos a continuación los primeros datos al respecto del tipo de decisión editorial tomada a partir del recibimiento de un original, así como la cantidad de días dedicados a cada una de ellas. A continuación comparamos el perfil de nuestros colaboradores en los últimos dos años. Y, finalmente, daremos nuestra perspectiva sobre cómo pueden ser interpretadas esas informaciones. Como ya fue establecido el año pasado, nos tomamos el cuidado de presentar datos agregados para preservar el anonimato de los autores y evaluadores. Además de los editores, los técnicos del Portal SciELO tienen acceso a las informaciones integrales, de manera que todos los procedimientos de la edición de la Revista de Sociología y Política, a partir de 2014, están disponibles para auditoría externa.

En 2014 recibimos 118 propuestas de manuscritos para publicación. La Tabla 1 presenta las decisiones tomadas por los Editores.

Como se ve, en 2014 introdujimos un nuevo tipo de decisión editorial. Se trata de “aprobación condicionada a la revisión”. Se utiliza en las situaciones donde los revisores recomiendan la publicación, pero señalan cambios que no afecta la estructura del artículo y, por lo tanto, prescinde de una segunda ronda de evaluación. En estos casos los autores deben preparar un informe detallado sobre cómo cada sugerencia fue agregada o rechazada, y por qué razones. La decisión de publicar sigue siendo tomada por los editores, pero ahora sobre la base del diálogo entre autores y revisores registrados en este informe. Esta herramienta disminuye la carga sobre los revisores (pues no precisan leer nuevamente un manuscrito que ya fue evaluado positivamente), y con eso, reducimos el tiempo de espera de los autores sin perjudicar la imparcialidad del proceso de arbitraje. Y, por último, el “informe a los editores” permite que controlemos si las alteraciones indicadas y las sugerencias recomendadas fueron de hecho realizadas.

El segundo aspecto que debe ser mencionado es el aumento de artículos rechazados en el análisis preliminar (de 40,8% a 61%). Desde que adoptamos ScholarOne^® muchos procedimientos administrativos de rutina de las revista fueron automatizados y pudimos por lo tanto, dedicar más tiempo al examen de manuscritos presentados. Con más tiempo para esta tarea, pudimos ser más prudentes en la decisión de encaminar o no los artículos para análisis de revisores y observar, de modo más riguroso, si el artículo es adecuado plenamente a nuestro perfil editorial. Esta es una decisión colegiada, y tiene en cuenta la claridad del autor en la exposición del empleo de un método de investigación, el cumplimiento de las normas formales de presentación del texto (si cuenta con un resumen bilingüe, palabras clave, título, etc.), además de la adecuación del artículo al ámbito de la revista.

El aumento de los rechazos en el análisis preliminar explica por qué la tasa de aprobación prácticamente se duplicó (subió de 9% a 17% cuando consideramos el conjunto de artículos aprobados). Se debe esperar que más evaluadores recomienden la publicación si los textos llegan a su análisis con artículos mucho más afinados al el tipo de producción científica que la Revista de Sociología y Política pretende publicar. Cuando observamos solamente los artículos que fueron enviados a los revisores (46 artículos en 2014 contra 72 en 2013, constatamos que la tasa de aprobación sube a 43,4%.

El último dato relevante en la Tabla 1, es la reducción de la cantidad de presentaciones entre 2013 y 2014 (caímos de 130 a 118, una caída de 9,2%). Esto puede estar asociado con la dificultad de realizar correctamente los envíos por el nuevo método, o la definición del nuevo ámbito de la Revista, pero también puede ser un efecto de la evaluación en el Qualis-CAPES que la revista obtuvo por los comités de Historia (B1), Derecho (B1), Economía (B2), Filosofía (C), Antropología (B1), pues sabemos que este es un parámetro importante en la decisión por los autores, respecto a cuál revista enviar el artículo.

La Tabla 2 compara el tiempo de toma de decisión por los editores en los últimos dos años. El aspecto principal que debe ser subrayado es la mejora en nuestros indicadores de dispersión (desvío estándar y el coeficiente de variación²).

Notamos que los plazos para la aprobación y para el rechazo en el análisis preliminar se alargan las medias, pero la desviación estándar también cae de manera consistente. Por lo tanto, podríamos afirmar que los plazos de 2014 son más homogéneos que los del año anterior, pues existen menos casos desviados en relación a la media. De este modo, si observamos los datos de 2013, estamos obligados a concluir que es irrelevante afirmar que nuestro tiempo de aprobación es de aproximadamente de 70 días, pues pocos autores recibieron respuestas en este plazo. La Tabla 2 revela que a partir de 2014 esto quedó más uniforme, una vez que con el uso de ScholarOne^® la media aumenta (117,8 días contra 71,2), pese a todo la variación comparada cayó de 195,8 a 26,1 puntos porcentuales (una reducción de 81,5%), evidenciando que los desvíos de tiempo en días se encuentran más próximos a la media este año que las observaciones de 2013.

Por lo tanto, tenemos más seguridad para afirmar que en 2014 los artículos aprobados fueron procesados aproximadamente en cuatro meses. La regularidad en los procedimientos editoriales también permite que estipulemos metas a partir de una posición más sólida. En 2014 nuestra meta para evaluación y aprobación o no de textos recibidos era de 90 días. A partir de ahora trabajaremos con la perspectiva de 120 días. Esto se está informando a los autores cuando presentan sus manuscritos.

Sigamos con el perfil de los colaboradores. El Gráfico 1 presenta el título académico de los autores, el Gráfico 2 exhibe las áreas en las que están vinculados institucionalmente, y el Gráfico 3 presenta el área donde obtuvieron su último título académico.

El cuadro general delineado por estos datos señala a una comunidad de colaboradores relativamente homogénea. La Revista de Sociologia e Política es buscada mayoritariamente por autores con título de doctor en Ciencias Políticas, institucionalmente vinculados a los programas de esa disciplina, que se encuentran en la región sureste.

La comparación con 2013 revela que en 2014 tuvimos un aumento en la participación de coautores en el orden del 22%, pues pasamos de 130 artículos con 187 autores (1,43 autores/artículo) a 118 artículos con 207 autores (1,75 autores /artículos). También fuimos impulsados por autores vinculados a programas de Ciencias Políticas y Políticas Públicas – en detrimento de los autores del área de Sociología y de otras áreas³. El cotejo de los datos revela también que los autores de América Latina redujeron sus envíos espontáneos a nuestra revista, pero se nos recordó por más autores oriundos de la región Nordeste.

Pasemos ahora al perfil de nuestros evaluadores. El Gráfico 4 muestra el origen, es decir, la vinculación institucional de los árbitros que colaboraron con nosotros en los años de 2013 a 2014.

En 2014 invitamos a 247 evaluadores (contra 477 en 2013) y recibimos 104 evaluaciones (en el año anterior fueron 231 evaluaciones), elaborados por 98 individuos⁴. Por lo tanto, la tasa de rechazo en la emisión de opiniones se mantuvo en el mismo nivel de 2013, con un 57%.

La comparación con los datos del año anterior al último indica una pequeña reducción de árbitros de la región sudeste, compensada con el aumento de los revisores de la región sur, norte y nordeste – pero son variaciones mínimas, sugiriendo que, del punto de vista de su origen, nuestra comunidad de evaluadores refleja la concentración de los programas de posgrado en el área. Lo que más llama la atención en estos datos es la reducción de las dimensiones de la población de revisores invitados (de 477 a 247, una caída de 48,2%) y la disminución en el total de opiniones emitidas (de 231 a 105, una reducción de 54,5%). Como la tasa de rechazo en evaluaciones permaneció constante entre los dos años, podemos vislumbrar una disminución de la carga que pesa sobre los árbitros de nuestra revista, ya que en 2013 la tasa de aprobación de manuscritos fue de 16,6% (excluidos los eliminados en el rechazo preliminar), mientras que en este año, como hemos dicho, ella casi triplica y alcanza el 43,4%.

Pasemos ahora a la discusión de estos datos. ¿Qué conclusiones podemos extraer de ellos?

1. La utilización de ScholarOne^® redujo la dispersión en los indicadores del tiempo del proceso de evaluación. Esto significa que, al adoptar esta plataforma, la Revista de Sociología y Política pasa a tener un proceso de arbitraje más uniforme, lo que implica una mejoría en la situación de autores y editores. Los primeros ganan cuando, en conjunto, reciben respuestas de las decisiones editoriales más o menos en el mismo plazo. Los editores tenemos un mejor control del proceso de arbitraje. Por lo tanto, podemos trabajar con metas más realistas y mantener a los autores informados sobre éstas.
2. La adopción de ScholarOne^® redujo la carga de trabajo de los evaluadores. Esto es sorprendente, pues temíamos que la emisión de opiniones podría llegar a ser más complicada en vista de que pocos integrantes de nuestra comunidad estaban familiarizados con este software. Sin embargo, hechas todas las cuentas, observamos que esto no fue así. Nuestros revisores se activaron menos porque el proceso selectivo fue perfeccionado antes de ser convocados. La elaboración de resúmenes estructurados⁵ y el catastro individual en el Sitio aumentó el trabajo de los autores, pero hizo que los manuscritos llegasen a la fase de arbitraje más bien finalizados. Esto también puede estar asociado con el aumento de la tasa de aprobación total, que pasó de 9,2% a 16,9% entre 2013 y 2014.
3. La racionalización de las rutinas editoriales, por último, aumentó el control de los editores sobre el proceso de producción de la Revista, así como en la calidad final de lo que se está publicando. El aumento de los artículos rechazados en el análisis preliminar significa que la carga de la reprobación de artículos mal estructurados fuera retirada de los árbitros y asumida por los editores de la revista. Esto es importante, pues la evaluación pasa a ser exclusivamente sobre el mérito y la excelencia del contenido del manuscrito y no sobre cuestiones formales o del alcance o adecuación al perfil de la revista. Artículos mal acabados toman tiempo a los revisores y los inducen a evaluaciones no concluyentes. Un proceso de arbitraje riguroso y eficiente puede evitar que esto suceda.

En abril de 2015 SciELO anunció que las revistas de la colección tienen que adoptar un sistema para la automatización del proceso de gestión de las comunicaciones. De acuerdo con Abel Packer “A finales del año todas las revistas de SciELO Brasil deberán operar con un sistema o servicio capaz de producir los informes básicos exigidos por SciELO que consisten en la cuantificación de los eventos (recibidos, rechazados, aprobados, afiliación de los autores, editores y revisores) (Packer 2015)”. La implementación de estos servicios aumento la presión sobre los comités editoriales, pues implican severas alteraciones en el modo informal que algunos editores puedan realizar su actividad. Sin embargo, los resultados exhibidos aquí sugieren que la transición es positiva para todos los involucrados en el proceso de publicación científica. Un sistema de arbitraje transparente y bien monitoreado incrementa la credibilidad de la publicación científica brasilera de un modo global. Este es un paso imprescindible para la profesionalización de los comités editoriales. La posición de la Revista de Sociología y Política es que la búsqueda de transparencia y credibilidad por parte de las revistas debe preceder a la discusión sobre los criterios con los cuales deben ser distribuidos los recursos públicos a las revistas científicas.

Notas

1. Nos gustaría indicar nuestro agradecimiento a la colega Karolina Mattos Roedder, responsable de la secretaría ejecutiva de la Revista, por el celo en la recolección y la verificación de estas informaciones.

2. El coeficiente de variación se obtiene como una razón entre el desvío estándar y la media, y se expresa porcentualmente. Sirve para comparar el grado de dispersión de una información entre dos grupos, ya que el desvío estándar se refiere siempre a la media que lo acompaña, haciendo comparable el dato con resultados paralelos. En nuestro caso, estamos comparando el tiempo de la toma de decisiones por los editores y evaluadores durante el proceso de arbitraje en los años 2013 y 2014.

3. En 2014 rotulamos los programas agregados en esta categoría como pertenecientes a “Antropología”. A partir de este año sustituiremos esa identificación por “Otras aéreas”.

4. La diferencia entre el número de opiniones y el número de árbitros se debe a que los árbitros que han emitido más de una opinión.

5. Nos referimos al modelo de resumen en el formato IMRAD (introduction, methods, results and discussion), que fue presentado en el editorial del n.45 de la Revista de Sociologia y Política, en marzo de 2013.

Referencias

Editorial. Rev. Sociol. Polit. [online]. 2014, vol. 22, nº 49, pp. 1-3. ISSN 0104-4478. Available from: http://ref.scielo.org/mkdk5q

Editorial. Rev. Sociol. Polit. [online]. 2014, vol. 22, n º 50, pp. 3-7. ISSN 0104-4478. Available from: http://ref.scielo.org/q9z6r6

MASSIMO, L. Editorial. Rev. Sociol. Polit. [online]. 2013, vol. 21, nº 45, pp. 5-5. ISSN 0104-4478. Available from: http://ref.scielo.org/5p846n

PACKER, A. Gestión online de manuscritos es un criterio de indexación obligatorio de SciELO. SciELO en Perspectiva. [viewed 23 April 2015]. Available from: http://blog.scielo.org/es/2015/04/01/gestion-online-de-manuscritos-es-un-criterio-de-indexacion-obligatorio-de-scielo/

Para leer el editorial, vaya a:

http://ref.scielo.org/dbjwyx

Sobre Lucas Massimo y Bruno Bolognesi

Lucas Massimo (lucasmassimo@gmail.com y editoriarsp@gmail.com) es editor de la Revista de Sociologia e Política, hace el doctorado en ciencias políticas en la Universidad Federal de Paraná y es investigador del Núcleo de Pesquisas em Sociologia Política Brasileira, en la misma universidad.

Bruno Bolognesi (brunobolognesi@gmail.com), editor asociado de la Revista de Sociologia e Política, es politólogo, investigador del Núcleo de Pesquisas em Sociologia Política Brasileira, de la Universidad Federal de Paraná, y del Núcleo de Estudos dos Partidos Políticos Latino-americanos da Universidade Federal de São Carlos.

Traducido del original en portugués por Ernesto Spinak.