O Publons1, a principal plataforma de revisão acadêmica, publicou no início de setembro de 2018, o informe Global State of Peer Review2, com os resultados da maior pesquisa sobre revisão por pares realizada até o momento. O Publons registra até a data desta nota mais de 550.000 pareceristas que arbitraram mais de três milhões de artigos. O referido documento contém as respostas de mais de 11.000 pesquisadores dos EUA, Alemanha, Itália, Espanha, França, Holanda, Suécia, Canadá, Reino Unido e Japão, e países emergentes como China, Brasil, Turquia, Índia, Irã, Coreia do Sul, Malásia e Polônia recompilando dados do Publons, do ScholarOne e do Web of Science.
O informe levanta quatro questões importantes relacionadas aos principais desafios enfrentados pela atual comunidade de pesquisa científica e acadêmica:
Quem está realizando a avaliação por pares?
O quão eficiente é o processo?
O que sabemos sobre a qualidade da avaliação por pares?
O que nos reserva o futuro sobre a avaliação por pares e os pareceristas?
A análise destes resultados gerou várias notas em sites especializados; um resumo das quais reportamos abaixo, retirado da Clarivate Analytics3 e da Nature News4.
Resultados
Pesquisadores de regiões emergentes estão sub-representados no processo de revisão por pares.
O informe detectou uma “fadiga crescente de pareceristas”, de modo que os editores devem convidar mais árbitros para que cada revisão seja realizada. O número aumentou de 1,9 convites em 2013 para 2,4 em 2017. Pesquisadores dos EUA, Reino Unido e Japão revisaram mais (1,95 revisões/manuscritos) do que pareceristas de regiões emergentes (0,66 revisões/manuscritos), isso é três vezes mais.
Pareceristas de países desenvolvidos tendem a aceitar menos convites e demoram mais para revisar do que aqueles de países emergentes.
Os editores tendem a convidar pareceristas de suas próprias regiões geográficas. Como a maioria dos editores vem de regiões desenvolvidas, isso implica em um viés na seleção de árbitros destas regiões.
Os pareceristas escrevem avaliações mais longas, em termos de número de palavras, para periódicos de maior prestígio; o número de palavras aumenta à medida que aumenta o Fator de Impacto (FI) do periódico.
Os pareceristas também retornam suas avaliações mais rapidamente para periódicos de maior prestígio, uma vez que o número médio de dias para concluir uma revisão é reduzido à medida que o FI aumenta.
Os editores enviam mais convites para avaliação agora do que há cinco anos. No entanto, uma vez que os árbitros são encontrados, os tempos de resposta das revisões são geralmente decrescentes para algumas disciplinas, como informática, geociências e engenharia. Assim, certas partes da comunicação científica estão se acelerando, mas outras partes estão obstruindo o sistema e é cada vez mais difícil encontrar pareceristas adequados.
Pareceristas de regiões emergentes, como o Irã, escrevem pareceres com menos da metade do tamanho de pareceristas em regiões desenvolvidas (250 palavras em comparação com 528 palavras). Embora uma revisão mais longa não implique numa revisão de melhor qualidade, esta diferença na contagem de palavras poderia explicar parte da diferença no número de convites para avaliar entre as regiões.
Apesar destas diferenças, os volumes de revisão de regiões emergentes, particularmente da China, estão crescendo muito mais rapidamente do que as regiões desenvolvidas, sugerindo que a paridade será alcançada em algum momento no futuro.
Resumo em números
68,5 milhões de horas dedicadas à avaliação global por ano.
16,4 dias é a mediana do tempo de avaliação.
5 horas é a mediana do tempo dedicado a escrever cada avaliação.
477 palavras é o tamanho médio dos informes de avaliação.
10% dos pareceristas são responsáveis por 50% das avaliações.
41% dos entrevistados considera que a revisão por pares é parte de seu trabalho.
75% dos editores de periódicos dizem que a parte mais difícil de seu trabalho é encontrar pareceristas dispostos.
71% dos pesquisadores rejeitam solicitação de avaliação pois o artigo está fora de sua área de especialização.
42% dos pesquisadores rejeitam solicitação de avaliação pois estão muito ocupados.
39% dos pareceristas nunca recebeu nenhum tipo de capacitação sobre avaliação por pares.
Por outro lado, o Publons é a primeira plataforma (outras virão) a tornar público e explícito quem são os pareceristas e onde eles estão, quais tarefas realizam e para quais periódicos. Eles, então, inserem estas métricas integrando-as às suas outras atividades científicas para poder serem avaliados no âmbito de suas atividades acadêmicas, algo que até agora não estava disponível.
E chegando à última questão considerada na pesquisa: o que nos reserva o futuro da avaliação por pares? Uma grande questão e uma questão aberta a nós (minha conjetura):
O grande tema: quais são as tendências da função de avaliação por pares, suas modalidades e a crescente adoção de mecanismos para agilizar a publicação, tais como preprints e como eles afetarão e potencialmente renovarão o papel das revistas científicas?
Este tema foi ampla e profundamente discutido no painel GT5 – Inovações na Publicação Científica e o Futuro dos Periódicos e da Avaliação por Pares, da Reunião da Rede SciELO da Semana SciELO 20 Anos. As discussões devem ser publicadas neste blog, e suas conclusões estão publicadas no site da Reunião da Rede SciELO5. Estas recomendações orientarão as políticas do SciELO na avaliação de manuscritos e na adoção de preprints nos próximos 3 a 5 anos.
Minha conjetura: Com a abertura progressiva do fluxo de publicação, incluindo a avaliação de manuscritos, surgirá uma nova vertente na bibliometria para avaliar a atividade dos peer reviewers?
Este tema da nova bibliometria será abordado na segunda parte desta nota.
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed ]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/
Pingback: A look at the peer review of research aid proposals – Humanly Perspectives