Desbloqueie formas de compartilhar dados na avaliação por pares

Por Ernesto Spinak

A avaliação por pares é uma das características que define a pesquisa científica. Uma pesquisa em 2018¹ com mais de 11.000 pesquisadores, mostrou que 98% deles considera que a avaliação por pares é importante ou extremamente importante para assegurar a qualidade e integridade da comunicação científica.

Apesar da importância central que possui este procedimento de controle na comunicação científica, os estudos sobre a arbitragem propriamente dita são escassos e fragmentados. Há uma falta de pesquisa sistemática que revele como os periódicos científicos administram o processo (como selecionam, instruem e recompensam os pareceristas que convidam, como resolvem os conflitos de interesse ou se os informes dos pareceristas estão ou não disponíveis a terceiros), ou como se define a qualidade e utilidade dos pareceres individuais, etc. É por este motivo que cerca de 30 renomados pesquisadores de vários países europeus iniciaram um projeto piloto (PEERE collaboration) com o objetivo de fazer um estudo sistemático dos processos de avaliação por pares.

Estudos anteriores (na área de neurociências) puderam identificar a existência de redes de publicação conjunta de pareceristas, autores e editores. Descobriram que os pareceristas tinham a tendência de favorecer os autores conectados a eles através de redes de coautoria e redes profissionais. Além disso, outros estudos mostraram problemas éticos entre editores e pareceristas para aumentar as citações, etc. Devido a estas situações (que não são maioria, afortunadamente) é que a avaliação por pares aberta pareceria favorecer processos de avaliação mais objetivos e construtivos. No entanto, um estudo sistemático da avaliação por pares poderia abordar questões cruciais, por exemplo quando e como têm mais valor as decisões de descartar manuscritos ruins, melhorar aqueles medíocres ou agregar advertências ou contextos essenciais.

Em 2014, um grupo de acadêmicos de ciência e tecnologia, profissionais da publicação e financiadores formaram uma colaboração no marco de um projeto da União Europeia denominado PEERE, financiado pela Cooperação Europeia em Ciência e Tecnologia. O objetivo era fazer uma pesquisa mais ampla da avaliação por pares que incluía periódicos de muitas disciplinas. Portanto, em 2017 lançaram o protocolo PEERE para compartilhar os dados sobre estes processos de gestão editorial que levasse em conta aspectos como ética, gestão responsável, proteção de dados e privacidade.

PEERE collaboration tem um protocolo para compartilhar dados do processo de arbitragem, no qual para cada manuscrito enviado se registra informação (protegida por privacidade) sobre os dados bibliográficos do manuscrito, a identificação do periódico, o processo utilizado para a avaliação por pares, as características do parecerista, o resultado do ciclo de avaliação e o nível de abertura de todo o processo. Atualmente, o projeto cobre mais de 150 periódicos científicos que compartilham informação do processo editorial.

PEERE deve ser visto como um bem público da comunidade de pesquisadores. Compartilhar dados sobre a avaliação por pares poderia se converter em um marcador de legitimidade que respalde padrões para a gestão de dados e periódicos, para capacitar, certificar e acreditar pareceristas e editores. Ainda há muito por fazer, o apoio à pesquisa sobre a avaliação por pares promete criar melhores processos para autores, pareceristas e editores. Mais importante ainda, aumentará a confiabilidade, o rigor e a relevância da literatura científica. Todos poderíamos nos beneficiar.

Nota

1. Global State of peer review [online]. Publons. 2018 [viewed 18 March 2020]. Available from: https://publons.com/community/gspr

Referências

Global State of peer review [online]. Publons. 2018 [viewed 18 March 2020]. Available from: https://publons.com/community/gspr

PEERE policy on data sharing on peer review [online]. PEERE. 2017 [viewed 18 March 2020]. Available from: http://www.peere.org/wp-content/uploads/2017/03/PEEREDataSharingProtocol.pdf

SQUAZZONI, F., et al. Unlock ways to share data on peer review: Journals, funders and scholars must work together to create an infrastructure to study peer review. Nature [online]. 2020, vol. 578, no. 7796, pp. 512-514 [viewed 18 March 2020]. DOI: 10.1038/d41586-020-00500-y. Available from: https://www.nature.com/articles/d41586-020-00500-y

TEPLITSKIY, M., et al. The sociology of scientific validity: How professional networks shape judgement in peer review. Res. Policy [online]. 2018, vol. 47, pp. 1825-1841 [viewed 18 March 2020]. DOI: 10.1016/j.respol.2018.06.014. Available from: https://www.sciencedirect.com/science/article/abs/pii/S0048733318301598

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

Traduzido do original em espanhol por Lilian Nassi-Calò.