Avaliação por pares não é apenas controle de qualidade, é parte integrante da infraestrutura social da pesquisa [Publicado originalmente no LSE Impact Blog em junho/2019]

Por Flaminio Squazzoni 

A avaliação por pares tem uma péssima fama nas mídias sociais e na imprensa. Digite “avaliação por pares é…” na pesquisa do Google e entre os primeiros resultados encontrados está “a avaliação por pares está falida”. Parece que a avaliação por pares é agora um dos meios mais populares através do qual a frustração acadêmica encontra uma maneira de se expressar. A hipercompetição e a cultura dominante de “publique ou pereça” (publish or perish) na academia não ajudam.

Acredito que isso também revela um profundo mal-entendido sobre o que realmente é esta instituição. Por exemplo, a visão geral é de que a avaliação por pares é um mecanismo de triagem de qualidade para os periódicos acadêmicos e é frequentemente estudada como tal. Em resumo, se os manuscritos tivessem uma qualidade objetiva intrínseca, pareceristas e editores precisariam ser suficientemente inteligentes, desinteressados e imparciais para reconhecê-la. Os manuscritos de alta qualidade apareceriam em periódicos de prestígio, os de qualidade média encontrariam o caminho nos menos prestigiosos, enquanto a ciência sinistra simplesmente não passaria pelo filtro ou alimentaria periódicos predatórios on-line. Muitas pesquisas medem a qualidade do processo em termos de desacordo com o parecerista: quanto maior a discordância, maior a evidência do viés subjetivo destes. Três especialistas não podem ter opiniões diferentes sobre um manuscrito porque a qualidade é uma propriedade intrínseca do manuscrito, ele fala por si. A opinião de especialistas deve ser consistente. Isso é o que todos esperam de uma avaliação por pares robusta e sólida. Há alguma verdade nesta visão, pelo menos é coerente com a natureza organizacional hierárquica estratificada de prestígio e valor acadêmico.

No entanto, a avaliação por pares também é algo mais, se não algo completamente diferente, em primeira instância. Além de ser um dispositivo de controle de qualidade, a avaliação por pares é um esforço distribuído para reconhecer e aumentar o valor dos manuscritos e, portanto, é inerentemente “construtivo”. É simultaneamente um contexto no qual especialistas desenvolvem, adaptam e impõem padrões de julgamento, uma forma de conexão e cooperação (direta e indireta), um discurso disciplinado e mediado entre especialistas (geralmente não relacionados) em um ambiente “seguro” (embora muitas vezes desorganizado e ambíguo). E, portanto, é inerentemente “social”. Se isso for verdade, a avaliação por pares não pode ser vista como um “jogo de adivinhação” sobre a qualidade objetiva dos manuscritos. Ao contrário de uma ação, como pessoas que adivinham o peso de um boi, que tanto fascinou o cientista britânico Francis Galton no início dos anos 1900, não há peso ou valor pré-estabelecido e inequívoco que possa ser atribuído a um trabalho de pesquisa.

Em um recente projeto colaborativo de larga escala “PEERE”, tentamos explorar estas visões alternativas sobre a avaliação por pares e estimular um debate sobre as múltiplas funções e os constituintes da avaliação por pares como uma instituição social complexa.

Por exemplo, em um artigo publicado em Scientometrics¹, rastreamos todos os manuscritos rejeitados por um periódico e localizamos sua publicação subsequente em outros veículos. Descobrimos que manuscritos rejeitados que foram publicados posteriormente em outros periódicos se beneficiaram em termos de citações subsequentes por serem expostos a mais de uma rodada de revisões antes da rejeição, depois de ter recebido um relatório mais detalhado do parecerista e, mais importante, tendo sido submetido a uma maior discordância dos pareceristas do periódico que o rejeitou. Alguns deles foram publicados em periódicos com um fator de impacto maior que o periódico que inicialmente rejeitou o manuscrito. Isso sugere que a avaliação por pares pode ser considerada um “multiplicador de valor” e que a discordância do parecerista e mais rodadas de revisão não são sintomas de julgamento inconsistente do parecerista, mas podem, ao invés, ajudar os autores a melhorar seus manuscritos.

Em um artigo mais recente publicado no Journal of Informetrics², usamos o termo “mão invisível” da avaliação por pares para descrever como o processo é uma conexão entre acadêmicos experientes em primeiro lugar. Mapeamos as conexões entre todos os pesquisadores que submeteram e/ou revisaram manuscritos para um periódico multidisciplinar, seguindo rigorosamente avaliação por pares duplo-cego. A ideia era medir as respectivas posições na estrutura de rede da comunidade antes e depois de serem correspondidas pela avaliação por pares cega. Descobrimos que os pareceristas tendiam a recomendar mais positivamente submissões de autores que estavam dentro de três posições em sua rede de colaboração antes de o editor do periódico concordar com eles. Descobrimos que quando estes pareceristas mais próximos exigiam, ou seja, solicitavam revisões substanciais, os manuscritos, quando publicados, eram mais citados. Mais interessante, descobrimos que as posições da rede de coautoria mudaram após a avaliação por pares, com as distâncias de colaboração entre os cientistas diminuindo mais rapidamente do que se poderia esperar se as mudanças fossem aleatórias. Encontramos casos de pareceristas colaborando diretamente com autores cujos artigos eles revisaram anteriormente, com os quais não estavam relacionados anteriormente. Também encontramos casos em que estes padrões de colaboração ex-post não foram determinados pela publicação do manuscrito. A colaboração futura era mais provável, mesmo quando os manuscritos foram finalmente rejeitados e, portanto, os pareceristas não sabiam o nome dos autores. Isso sugere que a avaliação por pares não apenas reflete, mas também cria e acelera a colaboração científica. Se isso for verdade, o verdadeiro “viés” não é a subjetividade do julgamento de especialistas, mas a falta de diversidade e representatividade na seleção de pareceristas.

Em resumo, estes são apenas exemplos de uma tentativa de analisar a avaliação por pares de uma maneira mais coerente com a dimensão histórica, social e política desta instituição. Como nos lembram historiadores como Alex Czizar, a avaliação por pares reflete o status público da ciência e sempre teve múltiplas funções e dimensões. Estudá-la apenas como um contexto de triagem de qualidade não justifica a complexidade desta instituição-chave em torno da qual se constrói a autonomia, legitimidade e credibilidade da ciência.

Notas

1. CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1

2. DONDIO, P. The “invisible hand” of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016/j.joi.2019.03.018. Available from: https://www.sciencedirect.com/science/article/pii/S1751157718304206

Referências

CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1

CSISZAR, A. Peer review: Troubled from the start [online]. Nature. 2016 [viewed 15 January 2020]. Available from: https://www.nature.com/news/peer-review-troubled-from-the-start-1.19763

DONDIO, P. The “invisible hand” of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016/j.joi.2019.03.018. Available from: https://www.sciencedirect.com/science/article/pii/S1751157718304206

Links externos

Behave Lab <http://www.behavelab.org/>

Flaminio Squazzoni – Twitter <https://twitter.com/squazzoni>

PEERE <https://www.peere.org/>

The Journal of Artificial Societies and Social Simulation <http://jasss.soc.surrey.ac.uk/JASSS.html>

Sobre Flaminio Squazzoni

Flaminio Squazzoni é professor de sociologia na Universidade de Milão, Itália, onde lidera o Behave, um novo centro de pesquisa e treinamento em sociologia comportamental. Ele é editor do JASSS e trabalha em avaliação por pares, normas sociais e pesquisa comportamental. Os leitores interessados podem entrar em contato com ele por e-mail: <flaminio.squazzoni@unimi.it> e/ou dialogar com ele em @squazzoni.

Artigo original em inglês

https://blogs.lse.ac.uk/impactofsocialsciences/2019/06/12/peer-review-is-not-just-quality-control-it-is-part-of-the-social-infrastructure-of-research/

Traduzido do original em inglês por Lilian Nassi-Calò.