O termo open peer review (OPR) – avaliação por pares aberta – abrange uma série de práticas ou modelos de avaliação por pares que têm por objetivo aumentar a transparência, eficiência e a responsabilidade do processo de revisão. A abertura da avaliação por pares, na verdade, pode significar uma ampla variedade de interações entre pareceristas, editores e autores, resultando em muitas combinações, como mostra um post recente neste blog1, feito a partir do trabalho de Ross-Hellauer.
Sob o horizonte da ciência aberta, inúmeros periódicos vêm experimentando diferentes modelos de avaliação por pares aberta. Seus objetivos, entre outros, envolvem obter pareceres de melhor qualidade e críticas mais construtivas, incentivar a participação da comunidade científica na avaliação, reconhecer o trabalho dos pareceristas, e dar a devida visibilidade aos pareceres, que também fazem parte do registro científico de um estudo e que, no modelo anterior, eram simplesmente descartados após a aprovação do manuscrito.
Muitos editores relutam em adotar práticas abertas de avaliação por inúmeros motivos. Desconhecer a reação à prática por parte de autores e pareceristas da comunidade científica de sua área pode ser uma delas. É possível que relatos de experiências bem-sucedidas de outros periódicos sobre a adoção de modelos de avaliação por pares aberta possam encorajá-los a adotá-la.
Um artigo publicado recentemente na Nature Communications2 teve como objetivo reportar um estudo piloto realizado com cinco periódicos do publisher Elsevier em diferentes áreas do conhecimento sobre os efeitos de se publicar os pareceres de avaliação por pares de 9.220 artigos submetidos entre 2010 e 2017. Os autores salientam que a disponibilização dos pareceres da avaliação por pares é um dos aspectos mais importantes – e menos problemático – da avaliação por pares aberta, pois não envolve recursos financeiros ou tecnologias complexas.
O estudo avaliou vários parâmetros, como a disponibilidade dos pareceristas em avaliar os artigos, a extensão das recomendações, o tempo de resposta, o estilo e tom dos pareceres e a decisão final (aceito, pequena revisão, grande revisão ou rejeitado). Os pareceristas, assim como os autores dos artigos submetidos durante o estudo, eram informados sobre a natureza do estudo no convite para atuar como avaliadores e, neste momento, podiam decliná-lo. Caso aceitassem, eles ainda tinham a opção de publicar seu nome e afiliação institucional no parecer.
Os pareceres dos artigos aceitos para publicação eram publicados em acesso aberto como material suplementar com um número de DOI independente, sendo citável e ligado ao artigo no site do publisher, independentemente do modelo de assinatura do periódico (acesso aberto ou pago).
Resultados
Dos mais de 62 mil pareceristas convidados pelos cinco periódicos envolvidos no estudo piloto, apenas cerca de 22 mil (35,8%) concordaram em atuar como pareceristas, tendo sido informados sobre a publicação dos pareceres. Avaliando o perfil dos pareceristas, foi possível constatar que pesquisadores sêniores foram os que mais recusaram fazer avaliações, enquanto pesquisadores jovens, com ou sem doutorado, eram os mais dispostos. Nesta análise não se observou diferenças de gênero.
Para testar a hipótese de que a recusa dos pesquisadores sêniores fosse devido à publicação dos pareceres, os autores do estudo compararam os resultados com os de cinco periódicos Elsevier similares, que constituíam o grupo-controle e que conduziam avaliação por pares convencional. Os resultados foram similares, ou seja, no grupo-controle os pesquisadores mais jovens também eram os mais propensos a aceitar realizar as avaliações.
A análise das recomendações dos pareceristas pouco variou durante o estudo, que obteve proporcionalmente mais rejeições e solicitação de revisões substanciais. Pareceristas mais jovens e sem posição acadêmica emitiram recomendações mais positivas e menos rejeições. No entanto, na pequena parcela de pareceristas que optou por ter o nome divulgado junto dos pareceres (8,1%), as recomendações eram mais positivas, maior percentual de pequenas alterações para publicar, houve menos rejeições e mais artigos aceitos.
Os autores atribuem esta correlação ao fato de que os pareceristas que escreveram avaliações positivas optaram posteriormente por revelar suas identidades para sinalizar positivamente sua reputação junto à comunidade acadêmica. Também neste aspecto, os resultados foram verificados contra o grupo-controle para confirmar que o resultado não havia sido influenciado pela publicação dos pareceres. De qualquer forma, este resultado em particular ressalta um dos aspectos positivos imediatos da avaliação aberta aliado às identidades abertas dos pareceristas.
O tempo para realizar a revisão antes e durante o estudo piloto não foi praticamente alterado, mantendo-se dentro da média de aproximadamente 30 dias. Entretanto, pareceristas com título de doutor mostraram uma tendência a aumentar ligeiramente o tempo de revisão. Mais uma vez, estes resultados foram confrontados com o grupo-controle de periódicos Elsevier que não faziam parte do estudo piloto e foram devidamente confirmados.
Um dos aspectos mais antecipados da pesquisa era saber se o conteúdo dos pareceres seria substancialmente alterado com a perspectiva de publicação. Para avaliar esta hipótese, os autores conduziram análises de polaridade – isto é, se o tom dos pareceres era particularmente positivo ou negativo – e uma análise de subjetividade – se o estilo era predominantemente objetivo ou subjetivo. Os resultados mostram que essencialmente não houve alteração no conteúdo dos pareceres durante o estudo piloto, exceto por comentários um pouco mais severos e objetivos na revisão por pares aberta, e que, mais uma vez, pareceristas jovens e não acadêmicos lideraram esta tendência.
Conclusões
O estudo avaliou 62.790 observações individuais ligadas a 9.220 artigos submetidos e 18.525 relatos de pareceristas entre 2010 e 2017 em cinco periódicos de diferentes disciplinas do grupo Elsevier. Incluindo o grupo-controle de cinco outros periódicos que não participaram do estudo piloto, os autores analisaram no total 138.117 observações e 21.647 manuscritos.
As principais conclusões deste estudo sugerem que a publicação dos pareceres não influencia ou compromete o trabalho de revisão por pares. Os autores não puderam detectar nenhum efeito significativo na disponibilidade para realizar a avaliação, no conteúdo e teor das recomendações ou no tempo requerido para avaliar.
Cabe destacar, no entanto, que enquanto a publicação de pareceres encontrou ampla aceitação por parte dos pareceristas do estudo piloto, o mesmo não ocorreu com a divulgação da identidade, opção aceita por apenas 8,1% deles, sugerindo que este aspecto do anonimato ainda é importante para a revisão por pares aberta. Este comportamento, sugerem os autores, poderia constituir uma proteção para possível retaliação ou consequências imprevistas na esfera acadêmica, especialmente em áreas muito competitivas.
A despeito da amostra de tamanho considerável e o fato de o estudo ter incluído periódicos de diferentes áreas do conhecimento (sem, no entanto, identificá-los), os autores salientam que os resultados, todavia, não podem ser generalizados. Outros estudos apontam que pesquisadores das áreas de ciências humanas e sociais se mostram mais resistentes em adotar inovações do âmbito da ciência aberta. Por outro lado, as políticas de avaliação por pares adotadas pelos periódicos poderão, eventualmente, atrair diferentes comunidades de autores propensos a adotar novas formas de abertura e transparência na comunicação científica, conformando comunidades com diferentes tendências dentro de uma mesma área do conhecimento.
A segunda maior mudança de paradigma na comunicação científica depois da publicação em acesso aberto está apenas começando e, assim como a primeira, causa incerteza e apreensão, para depois nos conquistar e surpreender.
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Avaliação por pares aberta: a publicação dos pareceres influencia o comportamento dos pareceristas? [online]. SciELO em Perspectiva, 2019 [viewed ]. Available from: https://blog.scielo.org/blog/2019/03/27/avaliacao-por-pares-aberta-a-publicacao-dos-pareceres-influencia-o-comportamento-dos-pareceristas/
Últimos comentários