Nos últimos anos, o tema da arbitragem de artigos científicos (peer review) ganhou relevância, devido a várias razões. Algumas delas – apenas algumas – podem ser o crescimento do número de publicações científicas, as críticas aos diferentes sistemas de arbitragem (cego, duplo cego, aberto, etc.), seus vieses e limitações, a falta de reconhecimento aos pareceristas por este trabalho substantivo, geralmente honorário e anônimo, a necessidade de treinamento em procedimentos de avaliação e um muito longo et cetera. Os pareceristas cumprem um papel tão importante que o SciELO em Perspectiva publicou mais de 150 posts relacionados à avaliação por pares nos últimos quatro anos1.
Na Parte I deste post (Quem são os peer reviewers e onde estão?2) a primeira pesquisa global das atividades dos pareceristas3 foi analisada, com respostas de mais de 11.000 pesquisadores registrados no Publons, dos principais países que publicam pesquisa científica, tanto países desenvolvidos quanto emergentes.
Deste informe se destacam alguns conceitos, como:
10% dos pareceristas são responsáveis por 50% das avaliações por pares a nível global, o que parece revelar um comportamento de Lotka4.
A avaliação por pares aberta(Open Peer Review, OPR) começará a revelar os nomes dos árbitros, modificará os processos editoriais e dará o devido reconhecimento aos acadêmicos que realizam esta atividade.
O trabalho de avaliação não é devidamente reconhecido nos currículos dos pesquisadores, mas agora surge em Publons um serviço onde as atividades dos pareceristas são apresentadas com cifras integradas às demais atividades acadêmicas do pesquisador. Finalmente, estamos a caminho do reconhecimento desta atividade honorária!
A partir do momento em que as atividades de avaliação por pares começarão a ser conhecidas publicamente e avaliadas com métricas, então esse produto ou serviço começará a ser exigido pelo mercado. Todo produto que tem demanda e valor é “monetizado” e, como consequência, teremos novos fornecedores – Elsevier/Scopus, Google Scholar, ResearchGate, outros?
Nossa conjectura
Nossa suposição é que em breve a bibliometria abrirá uma nova perspectiva de pesquisa muito frutífera, que na falta de um nome melhor poderia ser denominada “peer reviewer bibliometrics”5 (bibliometria de avaliador).
A plataforma Publons oferece a possibilidade de consultar quem está fazendo avaliações6 por país, periódico, instituição, tema, etc., consultar a produtividade por nome de pessoa, e obter quem são os melhores pareceristas em cada área de pesquisa. A mesa está servida para as novas métricas.
Quais seguramente seriam alguns tipos de análise na bibliometria dos pareceristas?
A seguir – paralelamente à bibliometria tradicional – eu proponho a seguinte lista que certamente pode ser enriquecida pelos leitores.
Tabulações
Por pessoa
Por país ou região
Por idioma
Por área de pesquisa
Análise de redes (network analysis)
Associação periódico/pessoa
Exemplo: se existe correlação de pareceristas com certos títulos de periódicos
Reviewer-coupling (emparelhamento de avaliadores)
Exemplo: caso os dois ou três pareceristas de um artigo aparecem associados com frequência na arbitragem de artigos
Reviewer Network Analysis (análise de redes de avaliadores)
Exemplo: Terá relação com as redes de autores citados/citantes? Ou seja, as redes de autores serão semelhantes às dos pareceristas? Serão as mesmas pessoas de ambos os lados do balcão? Ou seja, haverá endogenia de periódico/tema/pareceristas?
Como medir o valorar desta atividade no CV dos pareceristas
Se ponderará o Fator de Impacto (FI) dos periódicos onde realizaram avaliações?
Avaliação da qualidade das avaliações, poderiam contar pontos?
Análises diacrônicas, quantas por ano, antiguidade das avaliações, etc.
Pareceristas anônimos
Haveria problemas se não querem revelar o nome?
Teremos pareceristas fantasmas (ghost reviewing), ou seja, avaliações que são publicadas sob outro nome para evitar problemas de endogenia e conflito de interesses?
Uma vez que as métricas de avaliação forem incorporadas ao currículo dos acadêmicos, haverá uma competição para realizar estas tarefas. Especialmente por parte de acadêmicos que têm poucas publicações ou poucas citações7.
Notas
1. Para ter uma visão sobre a cobertura deste tema, pode fazer uma consulta na página do blog SciELO em Perspectiva (inglês) com a expressão “peer review”.
4. A Lei de Lotka ou Lei de crescimento exponencial, se trata de una lei bibliométrica sobre a distribuição dos autores segundo sua produtividade. Sua lei afirma que há uma distribuição desigual de produtividade nos autores e que, independentemente da disciplina, a maioria dos autores publicam o menor número de trabalhos, enquanto que alguns poucos autores publicam a maior parte da bibliografia relevante sobre um tema de pesquisa, e formam o grupo mais prolífico. O número de autores An que publica n trabalhos sobre uma matéria é inversamente proporcional ao quadrado de n. Ley de Lotka <https://es.wikipedia.org/wiki/Ley_de_Lotka>
5. Nota do autor: Foi para mim uma grande surpresa que, apesar de repetidas consultas na Internet, não encontrei quase nenhum trabalho que analisasse métricas sobre as tarefas de pareceristas, seguramente porque há anos estas tarefas eram “cegas”.
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte II [online]. SciELO em Perspectiva, 2019 [viewed ]. Available from: https://blog.scielo.org/blog/2019/02/07/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-ii/
Últimos comentários