Os impactos da migração para a plataforma ScholarOne® sobre o fluxo editorial em um periódico da área de humanas [Publicado originalmente no editorial do vol. 23 n. 54 na Revista de Sociologia e Política]

Por Lucas Massimo e Bruno Bolognesi

Em junho de 2014 a Revista de Sociologia e Política começou a publicar indicadores de desempenho do processo de avaliação dos manuscritos submetidos para publicação. Isso foi possível porque desde 2013 realizamos um monitoramento sistemático de algumas informações elementares, tais como o tempo despendido durante o processo de arbitragem, o perfil dos autores e dos pareceristas¹. Agora nos encontramos em condições de tornar esses dados públicos e começar a fazer a comparação anualizada.

Esta iniciativa se integra a um conjunto de medidas que estão sendo implementadas com o objetivo de racionalizar as rotinas do periódico. O assunto já foi discutido em outros editoriais da Revista de Sociologia e Política (n.45, n.49 e n.50), de modo que por ora basta dizer que esse protocolo faculta aos autores acesso a indicadores objetivos acerca do modo como as funções editoriais estão sendo exercidas – uma informação que pode ser decisiva na decisão sobre que periódico submeter seus resultados de pesquisa.

Além disso, a elaboração destes indicadores dá uma ideia sobre os efeitos das medidas que foram tomadas nos últimos anos. A partir de 2014 todas as submissões foram avaliadas pela plataforma ScholarOne^®, o que implicou em alterações profundas na forma como autores, editores e pareceristas interagem durante o processo de arbitragem – desde 27/11/2013 não recebemos mais nenhuma proposta de artigo por e-mail. Em que pese a dificuldade dos procedimentos exigidos pelo software durante o processo de submissão, os dados informados a seguir justificam a adoção desta nova plataforma, pois ela diminuiu o tempo do processo de avaliação dos manuscritos, reduziu a massa de trabalho dos avaliadores e ajudou a padronizar, para os editores, o fluxo de tarefas, dando mais consistência e racionalidade ao processo como um todo.

Apresentamos a seguir primeiramente os dados a respeito do tipo de decisão editorial tomada a partir do recebimento de um original, bem como a quantidade de dias dispensados em cada uma delas. A seguir comparamos o perfil dos nossos colaboradores nos últimos dois anos. E, por fim, daremos a nossa perspectiva sobre como essas informações podem ser interpretadas. Como já foi estabelecido no ano passado, tomamos o cuidado de apresentar dados agregados para preservar o anonimato de autores e pareceristas. Além dos editores, os técnicos do Portal SciELO têm acesso às informações integrais, de maneira que todos os procedimentos da editoria da Revista de Sociologia e Política, a partir de 2014, estão disponíveis para auditoria externa.

Em 2014 recebemos 118 propostas de manuscritos para a publicação. A Tabela 1 apresenta as decisões tomadas pelos Editores.

Como se vê, em 2014 introduzimos de um novo tipo de decisão editorial. Trata-se da “aprovação condicionada à revisão”. Ela é utilizada nas situações onde os revisores recomendam a publicação, mas apontam modificações que não afetam a estrutura do artigo, e que portanto prescindem de uma segunda rodada de avaliação. Nestes casos os autores devem preparar um relatório detalhado sobre como cada sugestão foi assimilada ou recusada, e por quais razões. A decisão pela publicação segue sendo tomada pelos editores, mas agora com base no diálogo entre autores e pareceristas registrado nesse relatório. Esse expediente diminui o ônus sobre os pareceristas (pois eles não precisam ler novamente um manuscrito que já foi avaliado positivamente), e, com isso, reduzimos o tempo de espera dos autores sem prejudicar a lisura do processo de arbitragem. E, enfim, o “relatório aos editores” permite que monitoremos se as alterações indicadas e as sugestões recomendadas foram de fato seguidas.

O segundo aspecto que deve ser mencionado é o aumento dos artigos recusados em análise preliminar (de 40,8% para 61%). Desde que adotamos o ScholarOne^® muitos procedimentos administrativos da rotina do periódico foram automatizados e pudemos, por isso, dedicar mais tempo ao exame dos manuscritos submetidos. Com mais tempo para essa tarefa, pudemos ser mais criteriosos na decisão de encaminhar ou não os artigos para a análise dos pareceristas e observar, de modo mais rigoroso, se o artigo está plenamente adequado ao nosso perfil editorial. Essa é uma decisão colegiada, e leva em conta a clareza do autor na exposição do emprego de um método de pesquisa, o cumprimento das normas formais de apresentação do texto (se conta com resumo bilíngue, palavras-chave, título, etc.), além da adequação do artigo ao escopo do periódico.

O aumento nas recusas em análise preliminar explica por que a taxa de aprovação praticamente dobrou (ela subiu de 9% para 17% quando consideramos o conjunto de artigos aprovados). Deve-se esperar que mais pareceristas recomendem a publicação se os textos que chegam à sua análise são artigos muito mais afinados com o tipo de produção científica que a Revista de Sociologia e Política pretende publicar. Quando observamos apenas os artigos que foram expedidos para revisores (46 artigos em 2014 contra 72 em 2013), constatamos que a taxa de aprovação sobe para 43,4%.

O último dado relevante na Tabela 1 se refere à redução na quantidade de submissões entre 2013 e 2014 (caímos de 130 manuscritos para 118, uma queda de 9,2%). Isso pode estar associado à dificuldade de se realizar corretamente uma submissão pelo novo método, ou à definição do novo escopo da Revista, mas também pode ser um efeito da avaliação no Qualis-CAPES que o periódico obteve pelos comitês de História (B1), Direito (B1), Economia (B2), Filosofia (C), Antropologia (B1), pois sabemos que esse é um parâmetro importante na definição, pelos autores, sobre qual revista submeter um artigo.

A Tabela 2 compara o tempo de tomada de decisão pelos editores nos últimos dois anos. O principal aspecto que deve ser sublinhado é a melhora em nossos indicadores de dispersão (desvio padrão e coeficiente de variação²).

Notamos que os prazos para a aprovação e para a recusa em análise preliminar se alargaram pelas médias, mas o desvio padrão também caiu de modo consistente. Portanto, podemos afirmar que os prazos de 2014 são mais homogêneos do que os do ano anterior, pois existem menos casos desviantes em relação à média. Assim, se observamos os dados de 2013, somos obrigados a concluir que é irrelevante afirmar que nosso tempo de aprovação é de cerca de 70 dias, pois poucos autores receberam respostas nesse prazo. A Tabela 2 revela que a partir de 2014 isso ficou mais uniforme, uma vez que com o uso do ScholarOne^® a média aumenta (117,8 dias contra 71,2), contudo a variação comparada caiu de 195,8 para 36,1 pontos percentuais (uma redução de 81,5%), evidenciado que os desvios de tempo em dias encontram-se mais próximos da média neste ano do que nas observações de 2013.

Portanto, temos mais segurança para afirmar que em 2014 os artigos aprovados tramitaram por cerca de quatro meses. A regularidade nos procedimentos editoriais também permite que estipulemos metas a partir de uma posição mais sólida. Em 2014 nossa meta para avaliação e aprovação ou não dos textos recebidos era de 90 dias. Doravante trabalharemos com a perspectiva de 120 dias. Isso já está sendo informado aos autores quando submetem seus manuscritos.

Passemos ao acompanhamento do perfil dos colaboradores. O Gráfico 1 apresenta a titulação acadêmica dos autores, o Gráfico 2 exibe as áreas às quais eles são vinculados institucionalmente, e o Gráfico 3 apresenta a área onde eles obtiveram seu último título acadêmico.

O quadro geral delineado por esses dados aponta para uma comunidade de colaboradores relativamente homogênea. A Revista de Sociologia e Política é procurada majoritariamente por autores com títulos de doutor em Ciência Política, vinculados institucionalmente a programas dessa mesma disciplina, situados na região sudeste.

A comparação com 2013 revela que em 2014 tivemos um aumento na participação de coautores na ordem de 22%, pois passamos de 130 artigos com 187 autores (1,43 autores/artigo) autores para 118 artigos com 207 autores (1,75 autores/artigo). Também fomos mais acionados por autores vinculados a programas de Ciência Política e Políticas Públicas – em detrimento aos autores da área de Sociologia e de outras áreas³. O cotejo dos dados também revela que os autores da América Latina reduziram suas submissões espontâneas para nosso periódico, mas fomos lembrados por mais autores oriundos da região Nordeste.

Passemos agora ao perfil dos nossos avaliadores. O Gráfico 4 expõe a origem, isto é, a vinculação institucional, dos pareceristas que colaboraram conosco nos anos de 2013 e 2014.

Em 2014 convidamos 247 pareceristas (contra 477 em 2013) e recebemos 105 pareceres (no ano anterior foram 231 avaliações), elaborados por 98 indivíduos⁴. Portanto, a taxa de recusa na emissão de pareceres se manteve no mesmo patamar de 2013, com 57%.

A comparação com os dados do ano retrasado indica uma pequena redução de pareceristas da região sudeste, compensada com o aumento dos revisores das regiões sul, norte e nordeste – mas são variações mínimas, sugerindo que, do ponto de vista da sua origem, nossa comunidade de avaliadores reflete a concentração dos programas de pós-graduação da área. O que mais chama a atenção nesses dados é a redução das dimensões da população de revisores convidados (de 477 para 247, ou uma queda de 48,2%) e a diminuição no total de pareceres emitidos (de 231 para 105, ou uma redução de 54,5%). Como a taxa de recusa na emissão de pareceres permaneceu constante entre os dois anos, podemos vislumbrar uma diminuição do ônus colocado sobre os pareceristas do nosso periódico, já que em 2013 a taxa de aprovação de manuscritos foi 16,6% (excluídos os eliminados em recusa preliminar), enquanto que neste ano, como dito acima, ela quase triplica e atinge 43,4%.

Passemos agora à discussão destes dados. Que conclusões podemos tirar deles?

1. A utilização do ScholarOne^® reduziu a dispersão nos indicadores do tempo do processo de avaliação. Isso significa que, ao adotar essa plataforma, a Revista de Sociologia e Política passa a ter um processo de arbitragem mais uniforme, o que implica em uma melhora na posição de autores e editores. Os primeiros ganham quando, no seu conjunto, recebem respostas das decisões editoriais mais ou menos no mesmo prazo. Nós editores temos um melhor controle do processo de arbitragem. Portanto, podemos trabalhar com metas mais realistas e manter os autores informados sobre elas.
2. A adoção do ScholarOne^® reduziu a carga de trabalho dos pareceristas. Isso é surpreendente, pois receávamos que a emissão dos pareceres poderia ficar mais complicada, tendo em vista que poucos integrantes da nossa comunidade estavam familiarizados com esse software. Contudo, feitas todas as contas observamos que isso não aconteceu. Os nossos revisores foram menos acionados porque o processo seletivo foi aperfeiçoado antes deles serem convocados. A elaboração de resumos estruturados⁵ e o cadastro individual no site aumentou o trabalho dos autores, mas fez com que os manuscritos chegassem à fase de arbitragem mais bem finalizados. Isso também pode estar associado ao aumento da taxa de aprovação total, que passou de 9,2 para 16,9% entre 2013 e 2014.
3. A racionalização das rotinas editoriais, por fim, aumentou o controle dos editores sobre o processo de produção da Revista, bem como sobre a qualidade final do que está sendo publicado. O aumento dos artigos recusados em análise preliminar significa que o ônus da reprovação de artigos mal estruturados foi retirado dos pareceristas e assumido pelos editores do periódico. Isso é importante, pois a avaliação passa a ser exclusivamente sobre o mérito e a excelência do conteúdo do manuscrito e não sobre questões formais ou de escopo e adequação ao perfil da revista. Artigos mal acabados tomam tempo dos revisores e os induzem a avaliações inconclusivas. Um processo de arbitragem rigoroso e eficiente pode evitar que isso aconteça.

Em abril de 2015 o SciELO anunciou que os periódicos da coleção têm de adotar um sistema para a automação do processo de gestão das submissões. De acordo com Abel Packer “Até o final do ano todos os periódicos do SciELO Brasil deverão operar com um sistema ou serviço capaz de produzir os relatórios básicos exigidos pelo SciELO, que consistem na quantificação dos eventos (recebidos, rejeitados, aprovados, afiliação dos autores, editores e pareceristas) (Packer, 2015)”. A implementação destes serviços aumenta a pressão sobre os comitês editoriais, pois implicam em severas alterações no modo informal como alguns editores podem exercer sua atividade. Contudo, os resultados exibidos aqui sugerem que a transição é positiva para todos os envolvidos no processo de publicação científica. Um sistema de arbitragem transparente e bem monitorado incrementa a credibilidade da publicação científica brasileira de um modo global. Esse é um passo imprescindível para a profissionalização dos comitês editoriais. A posição da Revista de Sociologia e Política é que a busca por transparência e credibilidade por parte dos periódicos deve preceder a discussão sobre com quais critérios recursos públicos devem ser distribuídos às revistas científicas.

Notas

1. Gostaríamos de registrar nosso agradecimento à colega Karolina Mattos Roedder, responsável pela secretaria executiva da Revista, pelo zelo na coleta e na verificação dessas informações.

2. O coeficiente de variação é obtido com uma razão entre o desvio padrão e a média, e é expresso percentualmente. Ele serve para comparar o grau de dispersão de uma informação entre dois grupos, já que o desvio padrão se refere sempre à média que o acompanha, tornando o dado pouco comparável com achados paralelos. No nosso caso, estamos comparando o tempo de tomada de decisão que é dispensado pelos editores e pareceristas durante o processo de arbitragem nos anos de 2013 e 2014.

3. Em 2014 rotulamos os programas agregados nessa categoria como pertencentes à “Antropologia”. A partir desse ano substituiremos essa identificação por “Outras áreas”.

4. A diferença entre número de pareceres e número de pareceristas deve-se aos revisores que emitiram mais de um parecer.

5. Referimo-nos ao modelo de resumo no formato IMRAD (introduction, methods, results, and discussion), que foi apresentado no editorial do n.45 da Revista de Sociologia e Política, em março de 2013.

Referências

Editorial. Rev. Sociol. Polit. [online]. 2014, vol. 22, nº 49, pp. 1-3. ISSN 0104-4478. Available from: http://ref.scielo.org/v42vxj

Editorial. Rev. Sociol. Polit. [online]. 2014, vol. 22, n º 50, pp. 3-7. ISSN 0104-4478. Available from: http://ref.scielo.org/9yhshg

MASSIMO, L. Editorial. Rev. Sociol. Polit. [online]. 2013, vol. 21, nº 45, pp. 5-5. ISSN 0104-4478. Available from: http://ref.scielo.org/7stxyv

PACKER, A. Gestão online de manuscritos é um critério de indexação obrigatório do SciELO. SciELO em Perspectiva. [viewed 23 April 2015]. Available from: https://blog.scielo.org/blog/2015/04/01/gestao-online-de-manuscritos-e-um-criterio-de-indexacao-obrigatorio-do-scielo

Para ler o editorial, acesse:

http://ref.scielo.org/vx252p

Sobre Lucas Massimo e Bruno Bolognesi

Lucas Massimo (lucasmassimo@gmail.com e editoriarsp@gmail.com) é editor da Revista de Sociologia e Política, faz doutorado em ciência política na Universidade Federal do Paraná e é pesquisador do Núcleo de Pesquisas em Sociologia Política Brasileira, na mesma universidade.

Bruno Bolognesi (brunobolognesi@gmail.com), editor associado da Revista de Sociologia e Política, é cientista político, pesquisador do Núcleo de Pesquisas em Sociologia Política Brasileira da Universidade Federal do Paraná e do Núcleo de Estudos dos Partidos Políticos Latino-americanos da Universidade Federal de São Carlos.