Cómo reducir el tiempo de procesamiento de los artículos enviados: la experiencia de Revista Brasileira de Ciências Sociais

Por Bruno Wilhelm Speck, Departamento de Ciencia Política, Universidade de São Paulo, São Paulo, SP, y beca PQ, CNPq, Brasil

El retraso en el servicio de calidad

Imagen: Katerina Limpitsouni via unDraw.

Cuando enviamos un artículo a una revista, estamos ansiosos por recibir comentarios, preferiblemente positivos, pero al menos una respuesta. Porque lo peor de todos los mundos es tener un artículo enviado que nunca sale de la evaluación.

Cuando el autor se convierte en editor, la perspectiva cambia. De repente, hay muchas razones por las que los textos se retrasan. Buenas razones, en la mayoría de los casos. A veces, la presentación inicial está incompleta. A menudo, los autores tampoco envían textos en formato anónimo. Todo provoca retrasos. La búsqueda de árbitros dispuestos a evaluar el artículo puede llevar mucho tiempo, también porque los textos a menudo tratan temas bastante específicos. A los árbitros a menudo les resulta difícil entregar su evaluación, porque la opinión tiende a pasarse por alto en medio de muchas otras tareas. Y también porque los árbitros son las heroínas anónimas que garantizan la calidad de la evaluación. A menudo, las opiniones son demasiado breves o no convergen, lo que resulta en el uso de otro colega para una opinión adicional. Quedan otras semanas. Cuando el artículo va al autor, puede llevar tiempo presentar un texto reformulado. Hay muchas razones, todas justas. Termina el semestre, otro proyecto necesita atención, las revisiones exigen más trabajo del esperado. El ping-pong entre autor y revisor también puede prolongarse debido a desacuerdos acerca de cuestiones de fondo. Los editores deben encontrar una solución. Finalmente, los artículos que son aprobados ingresan al proceso de producción. Ahora son revisados por profesionales pagados o nuevamente voluntarios, regresan para aprobación de las sugerencias de los autores, pasan a diagramación, para regresar nuevamente a los autores para aprobación y finalmente se indexan y publican. Y siempre en este intercambio entre autores, revisores, revisores y producción, los textos pasan por las manos de los editores de la revista, haciendo otra valoración de la calidad.

Cuando la demora se convierte en procrastinación

Lo que quiero enfatizar es que, en la odisea desde el envío al rechazo o la publicación del artículo, hay muchos actores y muchas buenas razones para justificar por qué el proceso a veces se prolongó durante meses y años. Pero también hay factores a favor de la procrastinación que pueden eliminarse. Aquí me ocupo del lado de la revista, cómo los editores y la secretaría de la revista pueden contribuir a asegurar la rapidez del proceso de evaluación sin perder de vista el criterio más importante, que es publicar artículos de calidad.

Incómodos con los plazos de evaluación, dimos cuatro pasos para acelerar el proceso de evaluación en la Revista Brasileira de Ciências Sociais (RBCSoc), una de las revistas más importantes en el campo de las ciencias sociales en Brasil.

Las cuatro medidas son:

1. El comité editorial ampliado gestiona directamente el Open Journal Systems (OJS).
2. Incrementamos el número de opiniones externas solicitadas inicialmente.
3. Cambiamos la forma de seguir los artículos.
4. Nos comprometemos a cumplir con los plazos máximos de evaluación

El comité editorial opera el OJS

La incorporación de editoras de área fue fundamental para asegurar un seguimiento estrecho de un número relativamente grande de artículos. Recibimos aproximadamente de 20 a 25 nuevos envios de artículos cada mes. La incorporación de cuatro colegas como editoras de área permitió cambios importantes. El comité editorial, integrado por el editor jefe y las editoras de área, gestiona todo el procesamiento de los artículos en el sistema OJS directamente, sin intermediación de la secretaria de la revista. El impacto fue inmediato. Liberamos tiempo que ahora la secretaria dedica a otros asuntos, ligados a la producción de artículos aprobados. Utilizamos el sistema OJS para decisiones colegiadas. Cada texto en proceso tiene una editora de área como principal responsable que hace sugerencias para su reenvío al comité editorial. Y ahorramos tiempo al eliminar el paso de insertar referencias (incluidos los árbitros, contactar a los autores, verificar los documentos reenviados) en el sistema OJS por parte de la secretaria.

Acelerar la evaluación externa sin perder árbitros

Cambiamos el procedimiento de búsqueda de revisores externos. La revista trabaja con el sistema doble ciego en la evaluación de textos, utilizando al menos dos evaluadores externos por cada texto aprobado en la revisión documental. La política anterior era solicitar dos pareceres y, una vez vencido el plazo, eventualmente complementar la tabla con otras revisoras. Esto provocó grandes retrasos.

Aunque cada decisión de aprobar (o no aprobar) un artículo se sigue tomando en base al menos a dos pareceres, hemos cambiado la política de gestión de solicitar pareceres. Incrementamos el número inicial de pareceres a cuatro o cinco, lo que nos garantizó rapidez y también nos permitió solucionar problemas en caso de retrasos, la calidad del parecer u de pareceres divergentes.

Aún en la interfaz con las parecderistas, intentamos que el trabajo sea menos pesado para estas colaboradoras externas. Sin la clara identificación de cambios los textos reformulados por las autoras, una segunda y tercera lectura por parte de las pareceristas se convierten en ejercicios dolorosos. Para facilitar el trabajo, cambiamos el enfoque de la reevaluación a la carta de respuesta a las pareceristas. La carta se convirtió en la primera herramienta para reevaluar los cambios realizados, reduciendo así el trabajo y el tiempo de la reevaluación. Además, los textos reformulados deben contener marcas de revisión que faciliten la identificación de los cambios realizados.

Generar información actualizada sobre errores y aciertos en los plazos de tramitación

Introdujimos y mejoramos una herramienta para monitorear el procesamiento de artículos, externa al sistema de gestión OJS. La gestión del procesamiento de artículos suele ser considerada un tema secundario, y de hecho no merece más atención cuando solo se procesan una o dos docenas de textos al mismo tiempo. A medida que aumenta este volumen, resulta difícil ver las prioridades. Con un centenar o más de artículos ejecutándose simultáneamente y en diversas etapas de evaluación, es casi seguro que algunos se pasarán por alto. Los sistemas de presentación (OJS y ScholarOne) no brindan soluciones satisfactorias a este problema.

Hemos desarrollado una herramienta (en Excel) que permite precisamente eso: monitorear el procesamiento de artículos diariamente y a lo largo del tiempo. En ese archivo se registran inicialmente los datos básicos de los artículos. Luego, los datos se actualizan en cuatro etapas: después del desk review (revisión documental), después de la primera decisión basada en opiniones externas, después de la última decisión sobre la publicación del texto y después de la publicación. Las fechas ingresadas en el sistema se refieren al momento en que el autor recibe el retorno de la revista (y en el último caso la fecha de la efectiva publicación).

Esta herramienta le permite monitorear la etapa de procesamiento de cada texto en cualquier momento y hace un balance del desarrollo de los plazos de procesamiento de la revista a lo largo de los años. Esto ayuda mucho a identificar y monitorear los casos más problemáticos, además de brindar un diagnóstico detallado si la revista va en la dirección correcta en términos de plazos de procesamiento.

Compromiso con plazos deseables, aceptables y problemáticos

Sin tener claro lo que consideramos deseable, aceptable o sobrepasar los límites, sería difícil afrontar algún problema. Para definir mejor lo que consideramos problemático, hemos identificado cuatro objetivos para los plazos de publicación que no deben excederse. El primero es no dedicar más de 1 mes a la revisión documental, el segundo no exceder los tres meses hasta la primera respuesta basada en opiniones externas, el tercero es cumplir con un límite máximo de seis meses hasta la decisión final sobre cualquier artículo y el cuarto es para publicar artículos aprobados en un máximo de nueve meses. Todos los plazos cuentan a partir de la fecha de envío original del texto. Inicialmente, estos objetivos fueron un compromiso asumido internamente. A mediados de 2020 incluimos los objetivos en las políticas editoriales de la revista, haciendo público el compromiso.

Fotografía: situación actual de los artículos presentados

Ahora vamos a presentar algunos resultados de la gestión de los plazos de tramitación de los textos, utilizando gráficos extraídos de la herramienta mencionada anteriormente. La herramienta también permite ver la evolución de la revista a lo largo del tiempo. La Revista Brasileira de Ciências Sociais (RBCSoc) procesó 503 artículos en dos años (nuestra ventana de observación aquí). Prácticamente una presentación por día hábil.

El Gráfico 1 muestra el número de artículos por mes de envío. Hay un promedio de 20-25 artículos enviados cada mes. Las oscilaciones son grandes. El gráfico también muestra el estado actual de los artículos (fecha de extracción: 3 de septiembre de 2020). La mayoría de los textos se publican (en negro) o se rechazan (en gris) en algún momento del proceso. Los artículos en verde han sido aprobados, pero todavía están en producción. Los artículos en rojo y naranja representan textos que se encuentran en la primera o segunda ronda de evaluación por revisores externos, respectivamente. No hay artículos en desk review aquí, porque el 3 de septiembre, los textos enviados hasta junio de 2020 ya habían pasado por el desk review.

Gráfico 1. Situación actual de textos presentados, por mes de presentación

El gráfico muestra que todavía hay casos problemáticos. Si hubiéramos cumplido la meta en el pasado, no habría artículos en producción (verde) a partir de septiembre de 2019, ni habría ningún texto en la segunda evaluación de diciembre de 2019 ni ningún texto en la primera evaluación antes de abril de 2020. Pero introdujimos los cambios solo para resolver una brecha. ¿Logramos acercarnos a la situación deseada? La próxima sesión está dedicada a responder esta pregunta.

La película: la evolución del tiempo medio de evaluación

La herramienta también permite evaluar la evolución del tiempo de procesamiento a lo largo del tiempo, que se puede ver en los siguientes gráficos. En general, podemos ver que hubo una mejora significativa en relación al tiempo de procesamiento en todas las etapas. Debemos advertir que para algunos periodos el saldo aún no está consolidado, ya que aún existen artículos en proceso, como se puede apreciar en el Gráfico 1. Principalmente, los datos de las dos últimas etapas (aprobación final y publicación) deben sufrir cambios para los dos primeros trimestres de 2020. Los gráficos corresponden nuevamente al momento de extracción (3 de septiembre de 2020).

El Gráfico 2 muestra que el tiempo medio de revisión documental se ha reducido significativamente. Tal vez ni siquiera fuera el gran problema. Hoy logramos procesar los textos en aproximadamente 10-15 días.

Gráfico 2. Tiempo transcurrido hasta la respuesta al resultado de la revisión documental (objetivo de 30 días)

El Gráfico 3 nos permite identificar la caída en el tiempo transcurrido, hasta que podamos dar la primera respuesta en base a opiniones externas. Esta velocidad es el resultado de un aumento en el número de opiniones solicitadas al inicio del proceso.

Gráfico 3. Tiempo transcurrido hasta la primera respuesta en base a opiniones externas (objetivo 90 días)

El Gráfico 4 ilustra que la fase más difícil sigue siendo la segunda y, eventualmente, la tercera ronda de evaluación. La disposición de los revisores a dedicarse a una segunda o tercera lectura naturalmente disminuye. El énfasis en la carta de respuesta a los árbitros puede haber ayudado a reducir el tiempo de procesamiento. Aquí nos acercamos al objetivo de la evaluación, pero todavía hay margen para reducir los plazos hasta la evaluación final.

Gráfico 4. Tiempo transcurrido hasta la respuesta final en base a opiniones externas (objetivo 180 días)

El Gráfico 5 sobre el tiempo hasta la publicación muestra que la revista aún se está acercando a su objetivo. Solo las últimas publicaciones lograron acercarse a los 9 meses de tiempo que pretendemos como aceptables.

Gráfico 5. Tiempo transcurrido hasta la publicación (objetivo 270 días)

Debemos agregar que los problemas en nuestra cuenta son acumulativos. Los eventuales retrasos en las primeras etapas repercutirán en todo el proceso de tramitación del artículo, pero el objetivo es generar una mayor previsibilidad para los autores en cuanto a los plazos que deben tener en cuenta a la hora de enviar artículos a la revista. Después de todo, exigimos de las autoras exclusividad en la presentación.

Uno de los desafíos de la gestión de revistas científicas con un gran volumen de envíos es monitorear el procesamiento de los textos. Además de la gestión diaria, los editores necesitan un instrumento para evaluar su rendimiento en este frente a largo plazo. Basados en la plataforma OJS, los editores difícilmente pueden responder preguntas sobre el procesamiento promedio de artículos en sus diferentes fases. En consecuencia, sin la respuesta a estas preguntas, no se involucrarán en iniciativas con el objetivo de enfrentar posibles problemas con el tiempo de procesamiento de los textos.

La experiencia de RBCSoc para afrontar este desafío puede servir de guía para otras revistas.

Además de las políticas señaladas anteriormente, compartimos la herramienta Excel, que fue fundamental para conocer los problemas más recurrentes en cada etapa, y nos permitió monitorear y administrar la revista con mayor precisión. Solo a través de este seguimiento detallado fue posible afrontar los principales problemas de la revista con más objetividad y eficacia.

A continuación, puede ver una serie de videos complementarios que presentan un tutorial para la herramienta para monitorear el procesamiento de los textos, disponible solo en portugués.

Enlaces externos

ORCID – Bruno Wilhelm Speck <http://orcid.org/0000-0001-5085-6825>

Template de la herramienta para monitorear el procesamiento de los textos<https://drive.google.com/file/d/144indvHhE9OWuWx1PjB5W1-JxVCbI2Ih/view?usp=sharing>

Traducido del original en portugués por Ernesto Spinak.