Reformular a avaliação por pares para torná-la sustentável

Por Lilian Nassi-Calò

Imagem: Mark Fletcher-Brown.

Muito já se escreveu e discutiu sobre a avaliação por pares, um tema recorrente neste blog e na literatura científica. O detalhado estudo Peer review in a changing world: An international study measuring the attitudes of researchers¹ de Mulligan, et al. sobre o que pensam pesquisadores a respeito dos vários aspectos da avaliação por pares, resultado de uma pesquisa da organização filantrópica Sense About Science² realizada em 2009 com mais de 4 mil pesquisadores, relatou que 91% consideravam que a avaliação por pares leva à significativa melhoria de seus artigos, sobretudo a discussão do trabalho.

Ademais, muitos autores inclusive submetiam artigos a periódicos renomados, mesmo que não fossem aprovados, apenas para se beneficiar dos pareceres de qualidade. Naquele ano, apenas 20% dos pesquisadores consideravam a avaliação aberta uma alternativa viável, com 76% preferindo o sistema duplo-cego.

No entanto, desde então, este panorama mudou, por inúmeras razões. O artigo Peer Review needs a radical rethink³ publicado recentemente discute a necessidade de profunda reformulação da avaliação por pares, pois o atual modelo demonstra não ser mais sustentável.

O informe Global State of Peer Review,⁴ de 2018, já sinalizava que pesquisadores de regiões emergentes e jovens pesquisadores estão sub-representados na avaliação por pares e foi constatada uma “fadiga de pareceristas”, quando 10% dos pareceristas eram responsáveis por 50% das avaliações.

Um aspecto sobre o qual os editores em geral tendem a concordar é que a parte mais difícil de seu trabalho é encontrar pareceristas que produzam avaliações de qualidade dentro dos prazos estipulados. Ademais, o informe constata o que os editores já sabiam, que o pronunciado aumento de artigos de periódicos nas últimas décadas não foi acompanhado por proporcional aumento do número de pesquisadores – potenciais pareceristas – no mesmo período.

O estudo A billion-dollar donation: estimating the cost of researchers’ time spent on peer review⁵ de Aczel, et al. estimou o número de horas empregado para realizar avaliação por pares em todo o mundo de uma amostra de 87.000 periódicos, obtendo o valor de 15.000 anos em 2020. É um número astronômico, e os autores traduzem, ainda, as horas de trabalho em custo monetário com base no salário médio destes profissionais em seus países, EUA (US$ 1,5 bilhões); China (US$ 600 milhões), e Reino Unido (US$ 400 milhões), para, em seguida, propor alternativas para aumentar os benefícios da avaliação por pares e melhorar a relação custo-benefício.

Entre as sugestões estão (1) incluir pesquisadores jovens e profissionais técnicos que possam avaliar aspectos das publicações segundo checklists; (2) reduzir a redundância das avaliações ao avaliar o mesmo manuscrito mais de uma vez; e (3) abrir os pareceres para publicação junto com o manuscrito para que os leitores possam se beneficiar dos comentários; e (4) conceder créditos acadêmicos aos pareceristas em sistemas como Publons, ou análogos.

Enquanto a taxa média de respostas afirmativas para avaliar artigos tende a diminuir, particularmente após o acúmulo de trabalho durante a pandemia de covid-19 (passou de 37,5% em 2020 para 32,3% em 2022 em escala global, segundo o ScholarOne), publishers e editores de periódicos buscam formas de aumentar a adesão.

Muitos pesquisadores consideram que o tempo dedicado a avaliação por pares não é suficientemente recompensado e significa menor dedicação ao próprio trabalho de pesquisa e produção de artigos. Outros consideram uma hipocrisia periódicos que cobram elevadas taxas de publicação – seja page charges (taxas por página) ou APCs (article processing charges, taxas por processamento de artigo) – pretenderem que pareceristas contribuam graciosamente na avaliação por pares. Porém, estes não constituem a unanimidade, muitos ainda acham que remunerar pareceristas seria antiético, pois poderia incorrer em conflito de interesses, além de pouco sustentável, haja visto os custos do processo estimados por Aczel e colaboradores.⁵

Com a finalidade de ampliar o número de pareceristas incluindo jovens pesquisadores e pós-doutores, publishers e sociedades científicas oferecem treinamento e certificação nas atribuições da avaliação por pares. Durante muito tempo, não havia cursos ou treinamento para formar pareceristas, e jovens pesquisadores aprendiam com seus pares mais experiente, ou simplesmente, por meio de tentativa e erro. No entanto, se pareceristas forem capacitados sobre as responsabilidades e expectativas desta atividade, realizam-na corretamente, empregando o tempo certo, e editores e autores recebem o feedback desejado.

A idade e grau de especialização dos pesquisadores não são os únicos aspectos a considerar quando se fala em ampliar o leque de pareceristas para tornar a atividade mais sustentável. Diversidade, equidade e inclusão devem fazer parte dos critérios que empregam os editores de periódicos ao selecionar pareceristas, ao lado do tema do artigo em questão. Estes critérios estão, de forma crescente em muitos países, sendo incluídos ao nomear comitês editoriais de periódicos, selecionar conferencistas em eventos e inúmeras outras atividades acadêmicas. Neste sentido, cabe destacar a Conferência SciELO 25 Anos, na qual o Programa SciELO irá celebrar em setembro próximo 25 anos de operação regular. O foco da conferência é o Programa SciELO e a comunicação da pesquisa de acordo com os princípios da ciência aberta com IDEIA – Impacto, Diversidade, Equidade, Inclusão e Acessibilidade.

A despeito da resistência de muitos acadêmicos em se dedicar à atividade de avaliação por pares por considerar que nada acrescenta ao seu crescimento intelectual, outros discordam e o fazem sem mesmo ser requisitados. É o caso de autores que revisam preprints. Segundo Rebeccah Lijek, biologista molecular na Faculdade Mount Holyoke, em South Hadley, MA, Estados Unidos, que se dedica a postar suas observações em preprints do servidor bioRxiv, a atividade desperta sua atenção pelo fato de que não terá impacto na publicação ou não de um artigo.

Rebeccah acredita que sua contribuição, restrita aos aspectos científicos dos preprints que comenta, é para ela um aprendizado e pode apoiar os autores. Um post recém-publicado neste blog⁶ advoga a ideia de que esta atividade – avaliação por pares de preprints – seja utilizada no treinamento de programas de pós-graduação e pós-doutorado.

Uma das melhores formas de recompensar pareceristas, apontada ao longo do artigo de Amber Dance,³ é a publicação de seus nomes no parecer que se publica juntamente ao artigo. A avaliação por pares aberta, que vem sendo progressivamente adotada por periódicos em vários países, além de produzir pareceres de melhor qualidade, oferece ao parecerista reconhecimento imediato por seu trabalho. Um dado relevante que vai ao encontro de aumentar o leque de pareceristas reside no fato de que pareceristas jovens têm maior probabilidade de realizar avaliações para periódicos que operam com sistema aberto de avaliação por pares.

Existem outros modelos inovadores para gerir a avaliação por pares. Olavo Amaral, que estuda a reprodutibilidade da pesquisa na Universidade Federal do Rio de Janeiro, é da opinião de que nem todos os artigos submetidos devem ser avaliados pelos pares. Em sua visão, com o apoio de software, é possível delegar a técnicos a verificação de dados estatísticos, detecção de plágio e outras funções, para não sobrecarregar os pareceristas.

O periódico eLife, que com frequência adota soluções inovadoras na sua gestão editorial, acaba de anunciar que todos os artigos avaliados pelos pares serão publicados em sua plataforma como “preprints revisados”, junto com uma avaliação emitida pelo periódico e avaliações públicas. Os autores, então, têm a opção de responder aos comentários, dar continuidade à publicação em eLife ou enviar o estudo e as avaliações para outro periódico.

Outras iniciativas incluem Peer Community In (PCI) e Review Commons. A primeira é uma iniciativa sem fins lucrativos que realiza avaliação por pares, após a qual os autores podem optar por publicar o artigo, livre de custos, em um dos periódicos do grupo, ou submetê-lo, junto com as revisões, para outro periódico. A segunda, fornece avaliações aos autores, que podem ser incluídas juntamente com os manuscritos ao submeter para um periódico afiliado. Segundo os editores dos periódicos consultados, o processo é eficiente e confiável, e o material fornecido é suficiente para que tomem uma decisão informada sobre os manuscritos.

Na medida em que processos inovadores e tecnologias emergentes contribuem para tornar a avaliação por pares mais eficiente e eficaz, acredito que seja possível expandir o conceito do reconhecimento pelo trabalho voluntário da avaliação por pares. Por seu relevante papel no processo editorial, publishers, instituições e agências de fomento devem valorizar esta atividade, tornando-a cada vez mais aberta e transparente.

Notas

1. MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer review in a changing world: An international study measuring the attitudes of researchers. J Am Soc Inf Sci [online]. 2012, vol. 64, no. 1, pp. 32-161 [viewed 29 March 2023]. https://doi.org/10.1002/asi.22798. Available from: https://onlinelibrary.wiley.com/doi/10.1002/asi.22798

2. Peer Review Survey 2009 [online]. Sense About Science. 2009 [viewed 29 March 2023]. Available from: https://senseaboutscience.org/activities/peer-review-survey-2009/

3. DANCE, A. Peer Review needs a radical rethink. Nature [online]. 2023, no. 614, pp. 581-583 [viewed 29 March 2023]. https://doi.org/10.1038/d41586-023-00403-8. Available from: https://www.nature.com/articles/d41586-023-00403-8

4. Global State of peer review [online]. Publons. 2018 [viewed 29 March 2023]. Available from: https://publons.com/community/gspr

5. ACZEL, B., SZASZI, B. and HOLCOMBE, A.O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Res Integr Peer Rev [online]. 2021, no. 6, pp. 14-21 [viewed 29 March 2023]. https://doi.org/10.1186/s41073-021-00118-2. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2

6. Nassi-Calò. Como a avaliação por pares de preprints pode fazer parte de programas de doutorado e pós-doutorado [online]. SciELO em Perspectiva, 2023 [viewed 29 March 2023]. Available from: https://blog.scielo.org/blog/2023/03/22/como-a-avaliacao-por-pares-de-preprints-pode-fazer-parte-de-programas-de-doutorado-e-pos-doutorado

Referências

ACZEL, B., SZASZI, B. and HOLCOMBE, A.O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Res Integr Peer Rev [online]. 2021, no. 6, pp. 14-21 [viewed 29 March 2023]. https://doi.org/10.1186/s41073-021-00118-2. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2

DANCE, A. Peer Review needs a radical rethink. Nature [online]. 2023, no. 614, pp. 581-583 [viewed 29 March 2023]. https://doi.org/10.1038/d41586-023-00403-8. Available from: https://www.nature.com/articles/d41586-023-00403-8

Global State of peer review [online]. Publons. 2018 [viewed 29 March 2023]. Available from: https://publons.com/community/gspr

MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer review in a changing world: An international study measuring the attitudes of researchers. J Am Soc Inf Sci [online]. 2012, vol. 64, no. 1, pp. 32-161 [viewed 29 March 2023]. https://doi.org/10.1002/asi.22798. Available from: https://onlinelibrary.wiley.com/doi/10.1002/asi.22798

NASSI-CALÒ, L. Como a avaliação por pares de preprints pode fazer parte de programas de doutorado e pós-doutorado [online]. SciELO em Perspectiva, 2023 [viewed 29 March 2023]. Available from: https://blog.scielo.org/blog/2023/03/22/como-a-avaliacao-por-pares-de-preprints-pode-fazer-parte-de-programas-de-doutorado-e-pos-doutorado

PACKER, A.L., et al. SciELO 25 Anos: Ciência Aberta com IDEIA – Impacto, Diversidade, Equidade, Inclusão e Acessibilidade [online]. SciELO em Perspectiva, 2022 [viewed 29 March 2023]. Available from: https://blog.scielo.org/blog/2022/09/29/scielo-25-anos-ciencia-aberta-com-ideia/

Peer Review Survey 2009 [online]. Sense About Science. 2009 [viewed 29 March 2023]. Available from: https://senseaboutscience.org/activities/peer-review-survey-2009/

Links externos

bioRxiv: https://www.biorxiv.org/

eLife Sciences: https://elifesciences.org/

Peer Community In: https://peercommunityin.org/

Publons: https://publons.com/wos-op/

Review Commons: https://www.reviewcommons.org/

SciELO 25 Anos: https://25.scielo.org/