Potenciais vantagens e desvantagens na publicação de pareceres

Por Lilian Nassi-Calò

Imagem adaptada da original por rawpixel.com / Freepik.

Reconhecida pela maioria dos pesquisadores mundialmente como um dos pilares da comunicação científica, a avaliação por pares é tida como guardiã da credibilidade e confiabilidade da pesquisa científica e muitos consideram que prescindir desta importante etapa de validação comprometeria todo o empreendimento da ciência.

A avaliação por pares foi instituída por volta de 1750 pela Royal Society do Reino Unido, que estabeleceu um comitê para deliberar o que seria publicado em seu periódico Philosophical Transactions, para ser interrompida em 1831, quando os membros desta sociedade reagiram negativamente aos pareceres – anônimos – de uma comissão de acadêmicos por considerá-los excessivamente críticos e injustos.

A avaliação por pares como a conhecemos atualmente foi adotada regularmente apenas por volta de 1940 pelos periódicos Science, Nature e Journal of the American Medical Association. Desde o início, o processo era conduzido de forma “cega” e os pareceristas que avaliavam os artigos permaneciam protegidos pelo anonimato. Posteriormente, os autores e sua afiliação institucional também não eram revelados aos pareceristas, como forma de promover avaliações mais justas e livres de vieses de qualquer natureza. Este formato de avaliação por pares foi larga e ubiquamente utilizado por décadas e os periódicos que não a realizavam não gozavam de boa reputação no meio científico.

Por volta de 1990, entretanto, a comunidade acadêmica passou a discutir o processo de avaliação por pares em reuniões e congressos, que já enfrentava certas dificuldades. A denominada “crise” da avaliação por pares levou à proposta de modelos alternativos que envolvem aberturas do processo de avaliação. O termo “avaliação por pares aberta” (open peer review, OPR) inclui muitas interpretações, entre elas, publicar os pareceres e/ou revelar a identidade dos pareceristas, aceitar comentários não apenas dos pareceristas convidados, interação aberta entre pareceristas e autores, entre outras modalidades.

A partir de 2006, periódicos e publishers passaram a publicar os pareceres, com ou sem a assinatura dos pareceristas. Entre eles, estão Biology Direct do grupo BioMed Central, The EMBO Journal, eLife, F1000 Research, PeerJ e Nature Communications.

É importante mencionar que estudos foram conduzidos para saber se a publicação dos pareceres poderia influenciar o comportamento dos pareceristas e conteúdo das revisões. Um destes estudos, realizado por Bravo, et al. e reportado neste blog¹ avaliou 9.220 artigos submetidos a cinco periódicos Elsevier entre 2010 e 2017. Outro estudo, da autoria de van Rooyen, Delamothe e Evans² analisou 558 manuscritos e 1.039 pareceres postados no BMJ. Ambos estudos concluíram que publicar pareceres assinados não altera a qualidade ou o teor das avaliações, sugerindo que os pareceristas não são influenciados pela publicação dos pareceres.

A publicação de pareceres de avaliação por pares, entretanto, ainda não é uma prática corrente, apesar de seu uso estar aumentando. A razão disso pode residir no fato de os editores não estarem seguros sobre como sua comunidade de autores e leitores reagirá. Recentes publicações, como a de Deborah Sweet³ e Jessica Polka, et al.⁴ destacam algumas das vantagens e desvantagens da publicação de pareceres.

Prós e contras da publicação de pareceres

Argumentos a favor

1. No modelo tradicional de avaliação, o trabalho minucioso dos pareceristas e as considerações e sugestões de aperfeiçoamento do artigo são descartadas após a aprovação (ou não) do manuscrito. Ademais, os pareceres contêm argumentos e ideias que podem revelar como evolui o pensamento em uma determinada área do conhecimento. Neste modelo, apenas os autores e o editor têm acesso a esta informação, que, na verdade, faz parte do registro científico do artigo e, como tal, deveria ser disponibilizada aos leitores.
2. Os pareceres abertos tendem a ser menos ríspidos e negativos do que os anônimos, e contêm mais críticas construtivas e sugestões de aprimoramento dos artigos.
3. A avaliação por pares é um processo construtivo que, por via de regra, resulta em melhores artigos e, reconhecer a atuação dos atores envolvidos – editores e pareceristas –, é muito importante, pois pode contar créditos acadêmicos. Há exemplos de iniciativas (como o Publons, o ReviewerCredits e o is) que, ao permitir o registro da atividade de parecerista de um pesquisador, evidencia sua posição e influência acadêmica em determinada área. Ademais, contribui para melhorar a qualidade dos pareceres em recomendações mais construtivas, além de acelerar a avaliação dos manuscritos, reduzindo, consequente, o tempo de publicação.
4. A decisão final do editor sobre a publicação ou não do manuscrito depende de vários fatores, incluindo os pareceres, e sua disponibilização torna o processo decisório dos editores mais transparente.
5. Os pareceres constituem material de aprendizado para pesquisadores jovens que não têm muito claro como realizar avaliação por pares. Os pareceres abertos, particularmente, são inspiradores sobre como realizar avaliações de forma construtiva.
6. Os pareceres abertos e, em particular, aqueles que informam a identidade dos pareceristas, permitem realizar estudos e obter estatísticas sobre a avaliação por pares, algo que nunca havia sido possível no modelo tradicional. O informe Global State of Peer Review⁵ publicado em setembro de 2018 pelo Publons e pela Clarivate Analytics revelou dados sobre a institucionalidade dos pareceristas, a eficiência e a qualidade do processo e as perspectivas para o futuro da avaliação por pares. Os resultados do informe foram sumarizados em dois posts publicados neste blog^{6, 7}.

Argumentos contra

1. Pesquisadores de diferentes áreas reagem diferentemente à perspectiva de pareceres abertos. Por exemplo, nas ciências biológicas, a opção por publicar pareceres foi de 70%, enquanto que na física foi inferior a 50%.
2. O complexo processo de avaliação de manuscritos, envolvendo pareceristas, editores e autores produz uma série de documentos que vai muito além de apenas os pareceres. Disponibilizar a decisão do editor, as respostas dos autores e a versão original do manuscrito não é um processo trivial e, sem todo o histórico, os leitores podem ter acesso apenas à parte da avaliação, levando a considerar o quão proveitoso seria.
3. Os pesquisadores que têm reservas quanto à publicação dos pareceres – assinados ou não – argumentam que temem represálias de autores cujos manuscritos foram criticados, pois, em muitos casos, os autores conseguem presumir quem é o autor dos pareceres, pelo conteúdo ou estilo. Porém, como mencionado acima, pesquisas sobre a possível influência da publicação dos pareceres no comportamento dos pareceristas e conteúdo das revisões parecem sugerir que os pareceristas não se sentem intimidados, apesar deste resultado não poder ser generalizado.
4. Uma preocupação maior seria que os pareceres publicados possam ser usados de forma injusta para avaliar autores em solicitações de auxílio a pesquisa, empregos, projeções na carreira ou premiações. Polka, et al.⁴ salientam que não há dados suficientes sobre como a etnia, gênero, país de afiliação e instituição afetam a avaliação de manuscritos, e o temor seria de que pesquisadores de instituições de menor prestígio ou países em desenvolvimento poderiam receber pareceres tendenciosos.Avaliadores do desempenho do pesquisador poderiam considerar com maior ênfase os pareceres negativos deste grupo de pesquisadores. O informe Publons-Clarivate⁵ concluiu, por exemplo, que pesquisadores de países emergentes são menos solicitados como pareceristas, porém seus colegas de países desenvolvidos rejeitam revisões mais frequentemente e demoram mais para revisar. No entanto, o estudo⁵ também observa que as revisões realizadas por pareceristas de regiões emergentes em franca expansão de sua produção científica, como a China, estão crescendo muito rapidamente e em breve deverão alcançar os números das regiões desenvolvidas.
5. Outro risco a considerar é utilizar os pareceres como “munição” por parte de opositores de determinados tipos de pesquisa (por exemplo, organismos geneticamente modificados, mudanças climáticas ou vacinas). Certos comentários nos pareceres poderiam ser distorcidos e descaracterizados para reduzir a credibilidade da pesquisa, de uma área do conhecimento ou da ciência como um todo. Esta probabilidade seria maior em periódicos que publicam pesquisa com maior risco de discussão política. Uma forma de enfrentar esta questão seria publicar uma declaração explicando o processo de avaliação por pares e seu papel na discussão da ciência e que a publicação dos pareceres tem por objetivo estabelecer um diálogo com o público, a mídia e os políticos, de forma a compartilhar a compreensão e avaliação da ciência.
6. A decisão final do editor pode ser posta em xeque quando os pareceres são publicados, e fazer com que editores iniciantes tenham dificuldade em contradizer a opinião dos pareceristas e rejeitar um manuscrito bem avaliado ou o oposto. Neste sentido, publicar a decisão do editor contextualizando suas razões pode ajudar.
7. Aspectos de ordem operacional, como a publicação dos pareceres em seguida ao artigo, ou em documentos à parte com DOI próprio, não são desprezíveis e os periódicos devem se preparar para implementá-los.

O futuro da avaliação por pares aberta

Os prós e contras enumerados acima são relevantes e devem ser considerados pelos editores de periódicos que decidirem enveredar pelo caminho da avaliação por pares aberta. Polka, et al.⁴ e Sweet³, ao lado de muitos outros autores que escrevem sobre o futuro da comunicação científica são unânimes em afirmar que os benefícios suplantam os riscos e as dificuldades. Em outubro de 2017, dados da Comissão Europeia estimavam em apenas 3,5% os periódicos registrados na plataforma Publons disponibilizavam os conteúdos dos pareceres da avaliação por pares. Em seu informe de setembro de 2018, o Publons publica⁵ que “a avaliação por pares aberta, que é cada vez mais vista em toda a indústria [editorial] como um aspecto importante da ciência aberta, permitiu uma diversidade de pesquisas, ajudando a comunidade científica a pesar e examinar coletivamente as várias etapas do processo de avaliação por pares. Esta mudança levou a uma série de estudos e iniciativas fundamentais na última década.”

Neste informe⁵, são apresentados dados que mostram que pesquisadores jovens estariam mais propensos a emitir pareceres para periódicos que conduzem avaliação aberta do que pesquisadores mais sêniores. Dos entrevistados com menos de 26 anos, 40% estão propensos a escrever pareceres para periódicos que revelam a identidade do parecerista e do autor e publicam os pareceres, em comparação a apenas 22,3% dos entrevistados com idade entre 56 e 65 anos.

Estes dados mostram que há uma tendência inequívoca da comunidade científica em adotar práticas abertas de avaliação por pares. Num mundo ideal, de acordo com Polka, et al.⁴, os pareceres seriam fáceis de encontrar e estariam organizados intuitivamente junto aos materiais relacionados e os publishers deveriam facilitar o processo para atribuir o devido reconhecimento aos pareceristas por suas valiosas contribuições. Ademais, a inovações tecnológicas poderiam reduzir o trabalho administrativo, e forneceriam links e contexto aos leitores.

Com a finalidade de contribuir para aumentar a adoção de pareceres abertos, a iniciativa ASAPbio elaborou uma Carta Aberta⁶ em apoio à publicação de pareceres de avaliação por pares, que foi assinada por editores e publishers representando mais de 300 periódicos até abril de 2019.

Como diz a máxima, “não há melhor antisséptico do que a luz do sol”. Expor todas as etapas do processo de avaliação por pares à luz do sol só tende a aumentar a transparência, responsabilidade, e confiabilidade da comunicação científica.

Notas

1. NASSI-CALÒ, L. Avaliação por pares aberta: a publicação dos pareceres influencia o comportamento dos pareceristas? [online]. SciELO em Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2019/03/27/avaliacao-por-pares-aberta-a-publicacao-dos-pareceres-influencia-o-comportamento-dos-pareceristas/

2. VAN ROOYEN, S., DELAMOTHE, T. and EVANS, S.J.W. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [viewed 30 April 2019]. DOI: 10.1136/bmj.c5729. Available from: https://www.bmj.com/content/341/bmj.c5729

3. SWEET, D. The pros and cons of publishing peer reviews [online]. Crosstalk CellPress blog, 2018 [viewed 30 April 2019]. Available from: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

4. POLKA, J.K., et al. Publish peer reviews. Nature [online]. 2018, vol. 560, no. 7720, pp. 545-547 [viewed 30 April 2019]. DOI: 10.1038/d41586-018-06032-w. Available from: https://www.nature.com/articles/d41586-018-06032-w

5. Global State of peer review [online]. Publons. 2018 [viewed 30 April 2019]. Available from: https://publons.com/community/gspr

6. Open letter on the publication of peer review reports [online]. ASAPbio. 2018. [viewed 30 April 2019] Available from: https://asapbio.org/letter

Referências

Global State of peer review [online]. Publons. 2018 [viewed 30 April 2019]. Available from: https://publons.com/community/gspr

NASSI-CALÒ, L. Aumenta a adoção de avaliação por pares aberta [online]. SciELO em Perspectiva, 2017 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2017/01/10/aumenta-a-adocao-de-avaliacao-por-pares-aberta/

NASSI-CALÒ, L. Avaliação por pares aberta: a publicação dos pareceres influencia o comportamento dos pareceristas? [online]. SciELO em Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2019/03/27/avaliacao-por-pares-aberta-a-publicacao-dos-pareceres-influencia-o-comportamento-dos-pareceristas/

NASSI-CALÒ, L. Avaliação por pares: modalidades, prós e contras [online]. SciELO em Perspectiva, 2015 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/

Open letter on the publication of peer review reports [online]. ASAPbio. 2018. [viewed 30 April 2019] Available from: https://asapbio.org/letter

POLKA, J.K., et al. Publish peer reviews. Nature [online]. 2018, vol. 560, no. 7720, pp. 545-547 [viewed 30 April 2019]. DOI: 10.1038/d41586-018-06032-w. Available from: https://www.nature.com/articles/d41586-018-06032-w

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte II [online]. SciELO em Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2019/02/07/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-ii/

SWEET, D. The pros and cons of publishing peer reviews [online]. Crosstalk CellPress blog, 2018 [viewed 30 April 2019]. Available from: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

VAN ROOYEN, S., DELAMOTHE, T. and EVANS, S.J.W. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [viewed 30 April 2019]. DOI: 10.1136/bmj.c5729. Available from: https://www.bmj.com/content/341/bmj.c5729

VELTEROP, J. A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação? [online]. SciELO em Perspectiva, 2016 [viewed 30 April 2019]. Available from: https://blog.scielo.org/blog/2016/10/20/a-crise-de-reprodutibilidade-pode-estar-sendo-agravada-pela-avaliacao-por-pares-pre-publicacao/

Links externos

Hypothes.is <https://hypothes.is/>

Publons <http://publons.com/>

ReviewerCredits <https://www.reviewercredits.com/>

Lilian Nassi-Calò

See Full Bio