Um conceito em cinética química reza que o passo mais lento no mecanismo é denominado etapa determinante ou etapa limitante da velocidade de reação. A velocidade da reação global é determinada pelas velocidades de cada etapa, inclusive a etapa determinante da velocidade de reação. Em outras palavras, a reação como um todo não pode ocorrer em velocidade maior do que sua etapa mais lenta.
Este princípio pode igualmente ser aplicado à publicação científica. Sua etapa mais lenta – a avaliação por pares – determina a velocidade de todo o processo. A avaliação por pares não apenas é a etapa mais lenta, como a mais importante.
A despeito das imperfeições, limitações e vieses que inúmeros autores atribuem ao processo, ainda provê uma forma eficaz de assegurar, por meio da avaliação realizada por pesquisadores independentes (pares científicos dos próprios autores), que a abordagem, análise e interpretação dos resultados apresentados é adequada, precisa e confiável. Há quem discorde de sua ubíqua utilização, argumentando que falsa ciência como vacinas causando autismo, tratamentos ineficazes contra a covid-19 e muitos outros non-sense de alguma forma escaparam do escrutínio e foram publicados em renomados periódicos arbitrados, não uma ou duas, mas centenas de vezes.
Necessária para a maioria, imprescindível para muitos, a avaliação por pares pré-publicação é parte essencial do processo editorial da grande maioria dos periódicos científicos em todo o mundo. Ademais, é a “etapa determinante da velocidade da reação”, em analogia com a cinética química.
O editorial Time to rethink academic publishing: the peer reviewer crisis1 publicado recentemente no periódico mBio da American Society for Microbiology (ASM), da autoria de Tropini, et al., discute as possíveis causas que podem levar a falhas no sistema de arbitragem e principalmente a dificuldade dos editores em conseguir pareceristas aptos a avaliar os artigos submetidos, que se traduz no tardamento da publicação. A estes processos se refere como a crise da avaliação por pares.
O editorial de Tropini, et al., se refere a artigos científicos e periódicos da área de microbiologia, porém pode ter sua abrangência estendida a outras áreas das ciências biológicas e da vida. Os autores apontam três potenciais causas para as falhas do sistema de arbitragem. A primeira se refere à inexistência de treinamento específico sobre como realizar avaliação por pares, apesar de ser uma atividade regular e relevante da carreira acadêmica.
A segunda, mencionada seguidamente na literatura científica, é a falta de incentivo e recompensa aos pareceristas pelo trabalho voluntário que consome tempo e requer elevado grau de especialização. Finalmente, e como consequência dos anteriores, é a fadiga dos pareceristas, pois há uma tendência dos editores em privilegiar os mesmos pareceristas sêniores que forneceram boas avaliações anteriormente.
Estudos mostram que a nível global 10% dos pareceristas realizam cerca de 50% das avaliações. Ademais, o aumento do número de publicações na última década não tem sido acompanhado pelo aumento proporcional de novos pesquisadores para avaliar estes artigos.
Para analisar de que forma a dificuldade em encontrar pareceristas adequados e dispostos a avaliar manuscritos na área de microbiologia afeta o tempo decorrido entre a submissão e o envio da primeira decisão aos autores, Tropini, et al., avaliaram 49.052 artigos publicados entre 2016 e 2022 em periódicos da ASM. Paralelamente, os autores colheram dados sobre os pareceristas contatados no mesmo período para avaliar os manuscritos. Para este grupo de periódicos, entre 2016 e 2019, o tempo médio empregado na avaliação foi de 26-27 dias. Em 2020, este período aumentou para 31 dias e desde então se manteve neste patamar. Quanto ao número de pareceristas contatados, a média entre os nove periódicos passou de 4.8 em 2016 para 6.8 em 2022 (aumento de 40%). Este aumento ocorreu de forma gradual e não subitamente, motivado pela pandemia, ou outro fator.
Os autores propuseram uma hipótese na qual o estágio da carreira do editor-chefe poderia influenciar a resposta dos pareceristas em aceitar ou declinar a proposta de avaliação de um manuscrito. A suposição reside no fato de que a senioridade e/ou reputação do editor teria influência sobre a resposta do parecerista com base unicamente no seu prestígio ou, alternativamente, em função de seu melhor conhecimento da área, que lhe permitiria escolher quem seria mais responsivo ao seu convite. De fato, em 2022, editores em início de carreira tiveram de enviar 30% mais requisições a pareceristas do que editores sêniores. Em 2016, no entanto, esta diferença era de apenas 10%.
Os resultados obtidos com os periódicos de microbiologia apontam que os tempos crescentes para realizar a avaliação por pares associados ao maior número de pareceristas contatados ao longo do tempo apontam em direção à fadiga dos pareceristas. No entanto, os autores do estudo afirmam que seria necessário extrair dados de um maior número de periódicos de outras áreas, para determinar se a tendência é universal.
Os autores propõem, a seguir, soluções para mitigar a crise. A avaliação por pares deveria prover algum tipo de recompensa aos pareceristas, seja de ordem intelectual (manter-se informado sobre um tema), social (networking), cultural (reconhecimento como especialista em uma área), ou monetária. As propostas de solução incluem:
Aumentar o pool de pareceristas por meio da inclusão de pesquisadores em início de carreira. Esta ação envolve treinamento formal destes em avaliação por pares por meio de sociedades científicas e/ou publishers.
Recompensar pareceristas em nível institucional. Instituições acadêmicas poderiam incentivar a atuação como parecerista e reconhecer esta atividade proporcionalmente à publicação científica. Serviços como Publons, ReviewerCredit e ORCID registram a atividade de parecerista e a associam ao CV acadêmico.
Instituir recompensas para pareceristas iniciadas pelo periódico. Com a finalidade de treinar futuros pareceristas, os periódicos poderiam convidar autores a se tornar pareceristas antes mesmo de ter publicado seus próprios artigos no periódico. Muitas vezes, os periódicos estabelecem tempos curtos e rígidos para que os pareceristas enviem suas avaliações, suas plataformas web não são amigáveis e não há incentivos aos pareceristas. Aceitar contraofertas relativas a prazo por parte dos pareceristas e oferecer descontos ou gratuidade em taxas de publicação de acesso aberto (article processing charges, APC) podem atrair pareceristas, especialmente aqueles em início de carreira ou provenientes de países de baixa e média renda.
Aumentar o uso de ferramentas de IA não apenas para checar plágio ou revisar a escrita e gramática, mas também para verificar os testes estatísticos, checar se as referências adequadas foram citadas e outras funções, para que o parecerista possa se concentrar em analisar se a ciência é adequada e se o artigo apresenta realmente algum avanço ao conhecimento.
A publicação acadêmica vem evoluindo em passos largos e incorporando novos paradigmas como preprints e ciência aberta. A avaliação por pares deve ser aprimorada para acompanhar esta evolução.
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Como reformular a publicação científica para enfrentar a crise da avaliação por pares [online]. SciELO em Perspectiva, 2023 [viewed ]. Available from: https://blog.scielo.org/blog/2023/12/13/como-reformular-a-publicacao-cientifica-para-enfrentar-a-crise-da-avaliacao-por-pares/
Últimos comentários