Sobre a rejeição imediata de manuscritos sem pareceres externos

Por Lucas Massimo e Adriano Codato

Desde 2013 os editores da Revista de Sociologia e Política vêm coletando dados que permitiram computar indicadores básicos sobre o processo de avaliação dos manuscritos que são submetidos ao nosso periódico. Esses dados foram publicados nos editoriais de junho de 2014, 2015 e 2016. Nesse texto resumimos os resultados para emitir uma opinião sobre um expediente de rotina na administração de periódicos de alto impacto, as decisões tomadas em análise preliminar pelos editores, sem consulta a avaliadores anônimos, também conhecidas como “avaliação em desk review”.

Iniciaremos observando as frequências das decisões tomadas pelos editores a partir do recebimento dos originais nos últimos três anos, como se vê na Tabela 1.

Tabela 1 – Decisões tomadas pelos editores

Fonte: elaboração própria com base no arquivo da Revista de Sociologia e Política.

Nos últimos anos a maior parte dos manuscritos originais tem sido recusada em análise preliminar pelos editores: a linha I revela que essa decisão tem sido tomada em cerca de 60% dos originais submetidos à nossa avaliação. Em 2014 e 2015 a recusa com base em sugestão de pareceres cegos (linhas II e III) se estabilizou na faixa de 20% do total de manuscritos, mas diminuiu de 56% para 47% dos avaliados por pares. Os textos com publicação condicionada à revisão (linha IV) são cerca de 7% e pela média dos últimos dois anos 11,95% dos artigos submetidos foram aprovados (linha V).

A tabela 2 apresenta dados sobre a extensão do processo de avaliação.

Tabela 2 – Tempo dispensado na tomada de decisão (em dias)

Fonte: elaboração própria com base no arquivo da Revista de Sociologia e Política.

*O coeficiente de variação (CV) é obtido pela razão entre o desvio padrão e a média, cujo resultado deve ser representado percentualmente. Trata-se de um indicador simples do ponto de vista aritmético e adequado para se mensurar a dispersão ou a convergência no tempo de tomada de decisões para a comparação entre grupos.

A tabela 2 revela que o tempo médio para a aprovação de um manuscrito (linha I) em 2015 foi de 104,3 dias, um valor um pouco inferior ao observado no ano anterior, quando essa decisão foi tomada em 117,8 dias (em média). A recusa em caráter preliminar (linha II) segue sendo tomada em cerca de 20 dias, e o tempo para a tomada de decisão pela reprovação dos artigos (linha III) foi de 105,6 dias em 2015. O prazo para a emissão de pareceres é um indicador que depende de cada avaliador – o que explica a enorme variação na linha IV, como o desvio padrão bastante próximo da média – mas, ainda assim, a tabela indica que cada parecer está sendo emitido em cerca de 45 dias nos últimos dois anos.

É muito importante frisar porque empregamos o coeficiente de variação nas medidas do tempo. Como já foi observado no editorial do vol.23 n.54 (publicado em junho de 2015), a redução nos coeficientes de variação revela a redução da dispersão no tempo de tomada de decisões. A queda na dispersão indica que o processo de avaliação ficou mais uniforme, e isso é possível porque as decisões tomadas para todos os processos (independente de quem são os autores dos manuscritos) consomem um tempo parecido em nosso fluxo de tarefas. Confrontando os valores do CV em 2013 (quando não havia uma plataforma para o gerenciamento de submissões) com os dois anos posteriores, confirmamos os achados anunciados em junho de 2015 (OS EDITORES, 2015), a saber, o sistema ScholarOne^® tem sido um importante fator de padronização e racionalização das rotinas editoriais com benefícios para todos os agentes envolvidos na comunicação científica.

Por último dispomos na tabela 3 de indicadores básicos sobre nosso processo de arbitragem.

Tabela 3 – Indicadores sobre o processo de arbitragem (2014 e 2015)

Fonte: elaboração própria com base no arquivo da Revista de Sociologia e Política.

A tabela 3 confirma que está havendo uma profunda alteração nas condições de trabalho dos nossos pareceristas. Logo de saída esclarecemos que o mesmo parecerista pode emitir mais de um parecer (por isso os valores da linha II são ligeiramente mais elevados que os da linha V). Por protocolo, cada parecerista só é chamado a avaliar até um texto por semestre. O mesmo revisor só pode emitir mais que dois pareceres ao ano se os autores reapresentarem o mesmo artigo para uma segunda rodada de avaliação.

Como observamos na tabela 1, a taxa de artigos aprovados durante a arbitragem é ascendente, ou seja, com o passar dos anos a quantidade de artigos aprovados pelos pareceristas vem aumentando. A tabela 3 apresenta outra dimensão deste fenômeno, que é a diminuição da taxa de recusa por parte dos pareceristas para a avaliação dos manuscritos (ela cai de 60% para pouco mais de 30% do total de manuscritos). A quantidade de pareceres por texto avaliado também caiu, o que é esperado com o aumento dos recusados em desk review, pois, em rigor, não são necessárias cerca de 4 avaliações para fundamentar uma decisão editorial. Na verdade, talvez esse excesso de pareceres exprima a hesitação dos editores, pois como escrevemos no editorial de junho de 2015 (vol. 23 n.54), “artigos mal-acabados tomam tempo dos revisores e os induzem a avaliações inconclusivas” (OS EDITORES, 2015, p.07). As medidas tomadas antes do convite aos avaliadores, ou seja, na análise preliminar dos artigos que é realizada pelos próprios editores, podem diminuir a frequência destas situações (pois seria ingênuo supor que elas desaparecerão).

Tendo em vista seu caráter estratégico para autores, editores e pareceristas, procuramos formalizar a partir de 2015 um procedimento para as recusas em desk review.

Durante a análise preliminar examinamos atentamente o formulário de resumo estruturado que é requisitado dos autores durante o processo de submissão (conforme o modelo IMRAD – Introdução, Método, Resultados, Análise e Discussão). O primeiro aspecto considerado é a aderência da proposta do artigo ao escopo editorial do nosso periódico. O segundo ponto considerado é se o texto completo possui divisões claras, indicando a existência de uma estrutura lógica empregada comumente em artigos científicos. O terceiro aspecto levado em conta na análise preliminar é a descrição objetiva da metodologia e a apresentação didática de dados empíricos, considerados como indício do zelo dos autores na finalização dos manuscritos. Se pelo menos dois editores decidirem pela recusa em caráter preliminar, enviamos aos autores uma mensagem indicando que o mesmo foi recusado.

Como é evidente, editores não são especialistas no tema de todos os artigos submetidos (por esse motivo essa é uma avaliação “preliminar”). Como observamos acima (Tabela 1), a maior parte dos artigos recebidos nos últimos anos tem sido barrados durante a análise em desk review. Tendo em vista a quantidade de artigos nesta situação, utilizamos uma mensagem padrão para comunicar essa decisão aos autores. Desde junho de 2016 nessa mensagem lê-se o seguinte:

Anualmente, a Revista de Sociologia e Política recebe muito mais artigos que pode publicar. Os manuscritos que serão enviados para a análise externa, isto é, para no mínimo dois pareceristas anônimos, têm de estar de acordo com a linha editorial da Revista e representar uma contribuição inequívoca no seu campo de estudos. O manuscrito precisa também ter um caráter mais analítico que descritivo com respeito aos dados empíricos (que devem ser inéditos ou retrabalhados de maneira inédita), e o documento deve revelar uma estrutura concisa e coerente, conforme os padrões usuais da comunicação científica. Em que pese os méritos de sua proposta, avaliamos que ela não cumpre, no momento, com todos esses critérios.

Com esse excerto esperamos explicar por que razões os textos são barrados em análise preliminar, sem pareceres substantivos emitidos por avaliadores anônimos.

Procuramos mitigar esse prejuízo, colocando ênfase sobre os ganhos obtidos pelo conjunto dos nossos colaboradores, presumindo que até mesmo os autores dos textos recusados sem pareceres têm mais a ganhar com uma resposta rápida (em cerca de 20 dias) do que se permanecessem meses à espera de uma resposta negativa.

O ideal, para autores e editores, seria prover uma explicação pormenorizada em pelo menos um parágrafo sobre por que os textos reprovados em análise preliminar não foram enviados para pareceristas. Por mais sistemático e rigoroso que seja o nosso processo de análise preliminar, não possuímos ainda recursos financeiros, estrutura material e pessoal disponível para fornecer esse grau de detalhamento a todos os autores. Esperamos em breve poder fazer isso.

Referência

OS EDITORES. Editorial. Rev. Sociol. Polit. [online]. 2015, vol. 23, nº 54, pp. 3-8. ISSN 0104-4478. DOI: 10.1590/1678-987315235401. Available from: http://ref.scielo.org/75kdzh.

Sobre Lucas Massimo e Adriano Codato

Lucas Massimo é editor da Revista de Sociologia e Política, faz doutorado no programa de Pós-Graduação em Ciência Política da Universidade Federal do Paraná (UFPR), e tutor do curso de ciência política do Centro Universitário Internacional UNINTER (modalidade EAD).

Adriano Codato é professor de Ciência Política na Universidade Federal do Paraná (UFPR) e editor da Revista de Sociologia e Política (www.scielo.br/rsocp). Realizou estágio de pós-doutorado no Centre européen de sociologie et de science politique de la Sorbonne (CESSP-Paris). Coordena o Observatório de elites políticas e sociais do Brasil (http://observatory-elites.org/). É também pesquisador do CNPq.