O processo de revisão por pares constitui a etapa chave do processo editorial que confere qualidade e credibilidade aos artigos científicos. No Brasil e em muitos países, entretanto, este sistema enfrenta três maiores dificuldades: a dificuldade de encontrar bons pareceristas, o tempo de avaliação e a qualidade dos pareceres.
O tema tem sido objeto de discussão neste blog em várias ocasiões e muitos autores propõem alternativas ao modelo clássico de revisão duplo cego (no qual a identidade dos autores e dos pareceristas é conhecida apenas pelo editor do periódico), com o intuito de melhorar a qualidade dos pareceres e ao mesmo tempo conferir publicamente crédito aos revisores. Um destes modelos tem como premissa a publicação conjunta do artigo seguido do comentário dos revisores. Este modelo visa coibir que artigos falsos ou forjados escapem ao controle dos processos de revisão e sejam publicados.
Com o aumento do número de artigos e de periódicos mundialmente, devido à migração da publicação impressa para digital, o sistema acadêmico de revisão vem mostrando sinais de colapso. Pareceristas que fornecem revisões consistentes, de qualidade e dentro do prazo solicitado, vêm sendo sobrecarregados com mais artigos para revisar do que podem dar conta. Na visão de Martijn Arns, diretor e pesquisador do Research InstituteBrainclinics, em Nijmegen, Holanda, a consequência mais perigosa deste processo de saturação é que artigos são enviados para pareceristas que não são especialistas na área, resultando em revisões inadequadas ou superficiais, segundo artigo publicado em dezembro de 2014 na Nature1.
Nesse artigo, o autor manifesta preocupação com a sustentabilidade e qualidade do sistema de peer review, atestado por sua própria experiência e a de seus colegas ao receber pareceres inadequados, mostrando falta de compreensão do teor do artigo pelo parecerista. O crescimento do número de periódicos online nas últimas décadas vem contribuindo para a sobrecarga dos pareceristas mencionada. Além disso, a política editorial de parte dos periódicos de acesso aberto consiste na publicação de artigos cuja metodologia seja válida e que tenham “atestado sua exatidão e validade, não importando a avaliação de seu significado”. Esta recomendação pode soar aos pareceristas como um sinal para aprovar artigos apenas com base na análise das seções de métodos e estatística, sem considerar as razões do estudo e seu contexto mais amplo.
A motivação imposta pela cultura ‘publish or perish’ da ciência nos dias de hoje certamente contribui para o aumento do número de artigos. O periódico de acesso aberto PLoS ONE, por exemplo, publicou mais de 105 mil artigos desde 2006, e o publisher Frontiers, mais de 20 mil desde 2007. Se cada artigo for avaliado por dois pareceristas, isso representa mais de 250 mil pareceristas apenas para estes publishers.
Como a taxa de aumento de artigos (estimada em 113% entre 2000 e 2013 na base Scopus) é muito superior ao aumento do número de pesquisadores (2,8% na União Europeia e 1,5% nos Estados Unidos), conclui-se que a demanda de pareceristas tende a aumentar. Uma das consequências desta demanda aumentada é a atribuição de artigos a pareceristas que não são especialistas na área, os quais tem capacidade de avaliar os métodos e resultados, porém não conseguem julgar a relevância e contribuição do trabalho na área. Além disso, também cabe aos peer reviewers verificar se as citações à literatura são adequadas e de fato corroboram o raciocínio do autor. A citação de artigos obsoletos ou inadequados é prejudicial ao avanço da ciência, pois ideias errôneas são perpetuadas.
Arns propõe um modelo ao qual denominou híbrido para assegurar a qualidade do processo de revisão por pares. Segundo este modelo, um terço dos artigos que compreende aqueles com resultados negativos, estudos metodológicos ou confirmação de experimentos prévios, poderiam ser publicados sem passar por peer review e submetidos à revisão pós-publicação. Isso deixaria os pareceristas com mais tempo para avaliar os artigos mais relevantes, nos quais a revisão pré-publicação previne os leitores incautos da exposição a ‘curas milagrosas’ ou afirmações absurdas. Assim, poder-se-ia prevenir que a expansão das publicações online resulte na saturação dos pareceristas, com consequente compromisso da qualidade das revisões.
Como já mencionado, existem modelos que propõe o reconhecimento público de avaliadores como forma de dar crédito a esta importante etapa do processo de publicação científica e também para melhorar a qualidade dos pareceres.
A startup Publons2 foi criada para registrar em um portal na Internet a contribuição dos peer reviewers e encorajar pesquisadores a postar online suas experiências como pareceristas. Em nota na Nature em outubro de 20143, Richard Van Noorden relata a experiência da empresa criada na Nova Zelândia em 2013 por Andrew R.H. Preston e Daniel Johnston. A Nature também ouviu dois usuários do serviço, os pesquisadores Yogendra Kumar Mishra, que estuda nanomaterias na Universidade de Kiel, Alemanha, e Malcolm Jobling, um biólogo marinho na Universidade de Tromsø, na Noruega. Mishra e Jobling se destacam pelo seu alto ranking de revisões publicadas em Publon recentemente.
O nome Publon significa a unidade fundamental de pesquisa científica que justifica ser publicado, assim como o quantum é a unidade fundamental de qualquer entidade física envolvida em uma interação.
Segundo Preston, a revisão por pares é um trabalho especializado e valioso, que é descartado logo após a publicação do artigo, desperdiçando, assim, ideias, sugestões e comentários. A finalidade da Publons é reunir e armazenar este conteúdo, promovendo discussões. Além disso, trata-se de reconhecer e tornar a revisão por pares uma medida de produção científica, assim como as publicações e citações.
O uso do portal é bastante simples: pesquisadores criam seu login na página da Publons e registram seus trabalhos de revisão de artigos, antes e/ou depois da publicação. Os textos da revisão pré-publicação não são revelados até que o periódico autorize sua publicação no formato cego, duplo-cedo ou aberto. Na opinião de Preston, ser selecionado por um editor para revisar um trabalho é a tradução do reconhecimento deste pesquisador como um especialista na área, e este simples fato merece ser registrado e destacado. Muitos revisores registram esta experiência no CV e podem usá-la para, por exemplo, solicitar fazer parte de comitês editoriais de periódicos.
Para se ter uma ideia do volume de revisões realizados pelos top reviewers, Jobling revisou mais de 125 manuscritos apenas neste ano e registrou 39 revisões na Publons nos últimos três meses. Sua média é de mais de 100 manuscritos ao ano. Mishra revisa em média 5 artigos por mês, e registrou 22 na Publons nos últimos três meses. O tempo médio empregado para avaliar um artigo é variável, entre três e doze horas, segundo Jobling, que declina três vezes mais manuscritos do que aceita revisar. Mishra declara que, ao contrário de muitos colegas, revisa também artigos de periódicos de baixo Fator de Impacto. Ele diz que o tempo empregado em revisar artigos varia muito, dependendo do nível do artigo e do periódico ao qual foi submetido.
A Publons garante que muitas revisões contabilizadas no portal não são abertas. Assim, o crédito ao parecerista é feito, porém o texto da revisão não é mostrado. O portal também trabalha com revisões abertas, como as dos periódicos Peer J e GigaScience, e de sites como F1000 que automaticamente importam as revisões de seus artigos na Publons. Na opinião de Jobling, as revisões devem ser abertas apenas com o consentimento do periódico, dos autores e revisores. Jobling mantém suas revisões anônimas, enquanto Mishra prefere não publicá-las, apenas registrá-las na Publons.
Na opinião de Jobling, entretanto, o completo reconhecimento do trabalho de peer reviewers ainda deverá tardar. Preston, entretanto, acredita que o registro de revisões pós-publicação está se desenvolvendo de forma promissora, e mais revisores devem aderir à iniciativa, criando um perfil de revisores inter-publisher, em prol do reconhecimento público deste importante trabalho.
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Artigo analisa a saturação dos revisores por pares [online]. SciELO em Perspectiva, 2015 [viewed ]. Available from: https://blog.scielo.org/blog/2015/01/22/artigo-analisa-a-saturacao-dos-revisores-por-pares/
Infelizmente, as soluções que vem sendo apresentadas para esse problema não consideram a verdadeira raiz do problema:
Todos estão saturados pela pressão cada vez maior por publicação. Esse sistema de avaliação por citação e publicação é que não se sustentará a longo prazo.
Todos continuarão sobrecarregados, pois a lógica da quantidade continua. A pressão por publicação continua. Os prazos são cada vez menores.
O processo de revisão por pares constitui a etapa chave do processo editorial que confere qualidade e credibilidade aos artigos científicos. No Brasil e em muitos países, entretanto, este sistema enfrenta três maiores dificuldades: a dificuldade de encontrar bons pareceristas, o tempo de avaliação e a qualidade dos pareceres.
Sobre Lilian Nassi-Calò
Pingback: La saturación de los revisores por pares | Journal of Pharmacy & Pharmacognosy Research: The Blog
Pingback: Artículo analiza la saturación de los revisores por pares | SciELO en Perspectiva | Francisca Cuéllar Gragera
Infelizmente, as soluções que vem sendo apresentadas para esse problema não consideram a verdadeira raiz do problema:
Todos estão saturados pela pressão cada vez maior por publicação. Esse sistema de avaliação por citação e publicação é que não se sustentará a longo prazo.
Todos continuarão sobrecarregados, pois a lógica da quantidade continua. A pressão por publicação continua. Os prazos são cada vez menores.