Como reduzir o tempo de tramitação de artigos submetidos: a experiência da Revista Brasileira de Ciências Sociais

Por Bruno Wilhelm Speck, Departamento de Ciência Política, Universidade de São Paulo, São Paulo, SP, e bolsista PQ, CNPq, Brasil

O atraso a serviço da qualidade

Imagem: Katerina Limpitsouni via unDraw.

Quando submetemos um artigo a um periódico ficamos ansiosos para receber algum retorno, de preferência positivo, mas pelo menos uma resposta. Porque o pior dos mundos é estar com artigo submetido que não sai nunca da avaliação.

Quando o autor vira editor, a perspectiva muda. De repente há muitas razões pelas quais textos atrasam. Boas razões, na maioria dos casos. Às vezes a submissão inicial é incompleta. Frequentemente também os autores não submetem textos em formato anônimo. Tudo causa atrasos. A busca por pareceristas dispostos a avaliar o artigo pode ser demorada, também porque frequentemente os textos tratam de temas um tanto específicos. Pareceristas com frequência têm dificuldade de entregar a sua avaliação, porque o parecer tende a ser esquecido no meio de muitas outras tarefas. E também porque pareceristas são os heróis anônimos que garantem a qualidade da avaliação. Frequentemente os pareceres são muito curtos ou não convergem entre si, o que resulta em recorrer a outro colega para um parecer adicional. Aí vão outras semanas. Quando o artigo vai para o autor, ele pode demorar para apresentar um texto reformulado. Razões não faltam, todas justas. O semestre está acabando, um outro projeto precisa de atenção, as revisões demandam mais trabalho do que esperado. O pingue-pongue entre autor e parecerista pode se prolongar também em função de discordâncias de fundo. Editores precisam encaminhar uma solução. Finalmente, os artigos eventualmente aprovados entram na jornada de produção. Agora são revisados por profissionais remunerados ou novamente voluntários, voltam para aprovação das sugestões pelos autores, vão para diagramação, para novamente voltar aos autores para aprovação e finalmente são indexados e publicados. E sempre nesse intercâmbio entre autores, pareceristas, revisores e produção os textos passam pelas mãos dos editores do periódico, fazendo outra avaliação de qualidade.

Quando o atraso vira procrastinação

O que quero ressaltar é que na odisseia da submissão até a rejeição, ou publicação do artigo há muitos atores e muitos bons motivos para justificar porque a tramitação às vezes se arrasta por meses e anos. Mas também há fatores a favor da procrastinação que podem ser eliminados. Aqui trato do lado do periódico, da forma como editores e secretaria podem contribuir para garantir a celeridade do processo de avaliação sem perder de vista o critério mais importante, que é publicar artigos de qualidade.

Incomodados com os prazos de avaliação tomamos quatro medidas para acelerar o processo de avaliação na Revista Brasileira de Ciências Sociais (RBCSoc), um dos periódicos mais importantes no campo das ciências sociais no Brasil.

As quatro medidas são:

1. O comitê editorial foi ampliado e opera diretamente o Open Journal Systems (OJS).
2. Ampliamos o número de pareceres externos solicitados inicialmente.
3. Mudamos a forma de acompanhamento dos artigos.
4. Nos comprometemos com prazos máximos de avaliação.

O comitê editorial opera o OJS

A incorporação de editoras de área foi essencial para garantir um acompanhamento de perto de um número relativamente grande de artigos. Recebemos aproximadamente 20-25 submissões novas por mês. A incorporação de quatro colegas como editoras de área permitiu mudanças importantes. O comitê editorial, composto pelo editor chefe e editoras de área, administra toda tramitação dos artigos no sistema OJS diretamente, sem intermediação da secretaria do periódico. O impacto foi imediato. Liberamos tempo que a secretaria agora dedica a outros assuntos, vinculados à produção dos artigos aprovados. Usamos o sistema OJS para as decisões colegiadas. Cada texto em tramitação tem uma editora de área como principal responsável que faz sugestões de encaminhamento ao comitê editorial. E ganhamos tempo ao eliminar a etapa da inserção dos encaminhamentos (inclusão de pareceristas, contato com os autores, verificação de documentos encaminhados) no sistema OJS pela secretaria.

Acelerar a avaliação externa sem perder os pareceristas

Mudamos o procedimento de busca por pareceristas externos. O periódico trabalha com o sistema duplo-cego na avaliação dos textos, recorrendo a no mínimo dois pareceres externos para cada texto aprovado no desk review. A política anterior era solicitar inicialmente dois pareceres e, em caso de falta de resposta por parte dos pareceristas, eventualmente complementar o quadro com outras pareceristas. Isso causava grandes atrasos.

Embora toda decisão de aprovação (ou não) de um artigo continue sendo tomada com base em, no mínimo, dois pareceres, mudamos a gestão dos pareceres. Ampliamos o número inicial de pareceres para quatro ou cinco, o que nos garantiu celeridade e, também, nos possibilitou contornar problemas em caso de atrasos, de qualidade do parecer, ou opiniões divergentes.

Ainda na interface com os pareceristas, tentamos tornar o trabalho menos pesado para esses colaboradores externos. Sem a identificação clara das mudanças na reformulação de textos pelos autores, uma segunda e terceira leitura pelos pareceristas se tornam exercícios penosos. Para tornar o trabalho mais fácil mudamos o enfoque da reavaliação para a carta-resposta aos pareceristas. Ela se tornou a primeira ferramenta para reavaliar as modificações realizadas, diminuindo assim o trabalho e o tempo da reavaliação. Adicionalmente, os textos reformulados devem conter obrigatoriamente marcas de revisão, facilitando a identificação das alterações realizadas.

Gerar informação atualizada sobre erros e acertos nos prazos de tramitação

Introduzimos e aperfeiçoamos uma ferramenta de acompanhamento de tramitação dos artigos, externa ao sistema de gestão OJS. A gestão da tramitação dos artigos tende a ser considerada uma questão secundária, e de fato não merece maior atenção quando há apenas uma ou duas dúzias de textos tramitando ao mesmo tempo. Na medida em que esse volume aumenta, fica difícil enxergar as prioridades. Com cem ou mais artigos tramitando simultaneamente e em várias fases de avaliação é quase certo que alguns ficam esquecidos. Os sistemas de submissão (OJS e ScholarOne) não oferecem soluções satisfatórias para esse problema.

Desenvolvemos uma ferramenta (em Excel) que permite justamente isso: acompanhar diariamente e ao longo do tempo a tramitação dos artigos. Nesse arquivo os dados básicos dos artigos são registrados inicialmente. Depois os dados são atualizados em quatro etapas: após o desk review, após a primeira decisão baseada em pareceres externos, após a última decisão sobre a publicação do texto e após a publicação. As datas inseridas no sistema se referem ao momento no qual o autor recebe o retorno do periódico (e no último caso a data da efetiva publicação).

Essa ferramenta permite acompanhar a qualquer momento o estágio de tramitação de cada texto e faz um balanço sobre o desenvolvimento dos prazos de tramitação do periódico no decorrer dos anos. Isso ajuda bastante a identificar e acompanhar os casos mais problemáticos, além de proporcionar um diagnóstico detalhado se o periódico está indo na direção certa no quesito dos prazos de tramitação.

Comprometimento com prazos desejáveis, aceitáveis e problemáticos

Sem ter claro para nós mesmo o que consideramos desejável, aceitável ou passando dos limites, seria difícil enfrentar eventuais problemas. Para definir de forma melhor o que consideramos problemático identificamos quatro metas para os prazos de publicação que não deveriam ser ultrapassados. A primeira é não passar de um mês para o desk review, a segunda não ultrapassar três meses até a primeira resposta baseada em pareceres externos, a terceira é cumprir um teto máximo de 6 meses até a decisão final sobre qualquer artigo e a quarta é publicar os artigos aprovados em, no máximo, nove meses. Todos os prazos contam a partir da data de submissão original do texto. Inicialmente essas metas eram um compromisso assumido internamente. Em meados de 2020 incluímos as metas nas políticas editoriais do periódico, tornando o compromisso público.

A fotografia: a situação atual dos artigos submetidos

Agora vamos apresentar alguns resultados da gestão dos prazos de tramitação dos textos, recorrendo a gráficos extraídos da ferramenta mencionada acima. A ferramenta também permite ver a evolução do periódico no tempo. A Revista Brasileira de Ciências Sociais (RBCSoc) tramitou 503 artigos em dois anos (a nossa janela de observação aqui). Praticamente uma submissão por dia útil.

O Gráfico 1 mostra o número de artigos por mês de submissão. Há uma média de 20-25 artigos submetidos a cada mês. As oscilações são grandes. Pelo gráfico também verificamos em que fase os artigos estão atualmente (data de extração: 3 de setembro 2020). A maior parte dos textos está ou publicado (preto) ou foi rejeitado (cinza) em algum momento do processo. Os artigos em verde foram aprovados, mas ainda estão em fase de produção. Os artigos em vermelho e laranja representam textos que estão na primeira ou segunda rodada de avaliação por pareceristas externos, respectivamente. Não há artigos em desk review aqui, porque em 3 de setembro textos submetidos até junho 2020 já haviam passado pelo desk review.

Gráfico 1. Situação atual dos textos submetidos, por mês de submissão

O gráfico mostra que ainda há casos problemáticos. Se tivéssemos cumprido a meta no passado, não haveriam artigos em produção (verde) de setembro de 2019 para trás, também não teria nenhum texto em segunda avaliação de dezembro de 2019 para trás e nenhum texto em primeira avaliação antes de abril de 2020. Mas introduzimos as mudanças justamente para resolver uma lacuna. Conseguimos chegar mais perto da situação desejada? A próxima sessão se dedica a responder a essa questão.

O filme: a evolução do tempo médio de avaliação

A ferramenta também permite avaliar a evolução dos prazos de tramitação no tempo, o que pode ser observado nos gráficos seguintes. Em geral podemos constatar que houve melhoria significativa em relação ao tempo de tramitação em todas as etapas. Devemos alertar que para alguns períodos o balanço ainda não está consolidado, pois ainda há artigos em tramitação, como pode ser verificado no Gráfico 1. Principalmente os dados das últimas duas etapas (aprovação final e publicação) devem sofrer alterações para os primeiros dois trimestres de 2020. Os gráficos correspondem novamente ao momento de extração (3 de setembro 2020).

O Gráfico 2 mostra que o tempo médio do desk review caiu significativamente. Talvez nem tenha sido o grande problema. Hoje conseguimos tramitar os textos em aproximadamente 10-15 dias.

Gráfico 2. Tempo decorrido até resposta sobre resultado do desk review (meta de 30 dias)

O Gráfico 3 permite identificar a queda no tempo decorrido, até podermos dar a primeira resposta baseada em pareceres externos. Essa celeridade é resultado da ampliação do número de pareceres solicitados inicialmente.

Gráfico 3. Tempo decorrido até primeira resposta baseada em pareceres externos (meta de 90 dias)

O Gráfico 4 ilustra que a fase mais difícil continua sendo a segunda e, eventualmente, a terceira rodada de avaliação. A disposição de pareceristas se dedicarem a uma segunda ou terceira leitura diminui naturalmente. A ênfase na carta resposta aos pareceristas pode ter ajudado na redução do tempo de tramitação. Aqui chegamos perto da meta de avaliação, mas ainda há espaço para diminuir os prazos até a avaliação final.

Gráfico 4. Tempo decorrido até resposta final baseada em pareceres externos (meta de 180 dias)

O Gráfico 5 sobre o tempo até a publicação mostra que o periódico ainda está apenas se aproximando da própria meta. Somente as últimas publicações conseguiram chegar perto dos 9 meses de tempo que visamos como aceitável.

Gráfico 5. Tempo decorrido até publicação (meta de 270 dias)

Precisamos acrescentar que na nossa contagem os problemas são cumulativos. Eventuais atrasos nas primeiras etapas, terão efeito em todo o processo de tramitação do artigo. Mas a finalidade é criar mais previsibilidade para os autores quanto aos prazos que devem levar em conta quando submetem artigos no periódico. Afinal, exigimos dos autores exclusividade na submissão.

Um dos desafios da gestão de periódicos científicos com grande volume de submissões é o acompanhamento da tramitação dos textos. Além da gestão do dia a dia os editores precisam de um instrumento de avaliação da sua performance nessa frente a longo prazo. Com base na plataforma OJS editores dificilmente podem responder perguntas sobre a tramitação média de artigos nas suas diferentes fases. Por consequência, sem a resposta para essas perguntas não se envolverão em iniciativas com o objetivo de enfrentar eventuais problemas com o tempo de tramitação dos textos.

A experiência da RBCSoc para enfrentar esse desafio pode servir como orientação para outros periódicos.

Além das políticas indicadas acima compartilhamos a ferramenta Excel, que foi essencial para conhecermos os problemas mais recorrentes em cada etapa, e nos permitiu monitorar e gerir o periódico de forma mais precisa. Somente por meio desse acompanhamento detalhado foi possível enfrentar os principais problemas do periódico com mais objetivo e eficiência.

A seguir, pode-se assistir uma série de vídeos complementares apresentando um tutorial para a ferramenta de gestão de tramitação de manuscritos:

Links externos

ORCID – Bruno Wilhelm Speck <http://orcid.org/0000-0001-5085-6825>

Template da ferramenta de gestão de fluxo <https://drive.google.com/file/d/1lseqrPatq3CfKOqfm-rmvcAtcAbBkwgQ/view?usp=sharing>