Avaliação por pares não é apenas controle de qualidade, é parte integrante da infraestrutura social da pesquisa [Publicado originalmente no LSE Impact Blog em junho/2019]
A avaliação por pares tem
uma péssima fama nas mídias sociais e na imprensa. Digite “avaliação por pares
é…” na pesquisa do Google e entre os
primeiros resultados encontrados está “a avaliação por pares está falida”.
Parece que a avaliação por pares é agora um dos meios mais populares através do
qual a frustração acadêmica encontra uma maneira de se expressar. A
hipercompetição e a cultura dominante de “publique ou pereça” (publish or
perish) na academia não
ajudam.
Acredito que isso também
revela um profundo mal-entendido sobre o que realmente é esta instituição. Por
exemplo, a visão geral é de que a avaliação por pares é um mecanismo de triagem
de qualidade para os periódicos acadêmicos e é frequentemente estudada como
tal. Em resumo, se os manuscritos tivessem uma qualidade objetiva intrínseca, pareceristas
e editores precisariam ser suficientemente inteligentes, desinteressados e
imparciais para reconhecê-la. Os manuscritos de alta qualidade apareceriam em
periódicos de prestígio, os de qualidade média encontrariam o caminho nos menos
prestigiosos, enquanto a ciência sinistra simplesmente não passaria pelo filtro ou alimentaria
periódicos predatórios on-line.
Muitas pesquisas medem a qualidade do processo em termos de desacordo com o parecerista:
quanto maior a discordância, maior a evidência do viés subjetivo destes. Três
especialistas não podem ter opiniões diferentes sobre um manuscrito porque a
qualidade é uma propriedade intrínseca do manuscrito, ele fala por si. A
opinião de especialistas deve ser consistente. Isso é o que todos esperam de
uma avaliação por pares robusta e sólida. Há alguma verdade nesta visão, pelo
menos é coerente com a natureza organizacional hierárquica estratificada de
prestígio e valor acadêmico.
No entanto, a avaliação por
pares também é algo mais, se não algo completamente diferente, em primeira
instância. Além de ser um dispositivo de controle de qualidade, a avaliação por
pares é um esforço distribuído para reconhecer e aumentar o valor dos
manuscritos e, portanto, é inerentemente “construtivo”. É simultaneamente um
contexto no qual especialistas desenvolvem, adaptam e impõem padrões de julgamento,
uma forma de conexão e cooperação (direta e indireta), um discurso disciplinado
e mediado entre especialistas (geralmente não relacionados) em um ambiente
“seguro” (embora muitas vezes desorganizado e ambíguo). E, portanto, é
inerentemente “social”. Se isso for verdade, a avaliação por pares não pode ser
vista como um “jogo de adivinhação” sobre a qualidade objetiva dos manuscritos.
Ao contrário de uma ação, como pessoas que adivinham o peso de um boi, que
tanto fascinou o cientista britânico Francis Galton no início dos anos 1900,
não há peso ou valor pré-estabelecido e inequívoco que possa ser atribuído a um
trabalho de pesquisa.
Em um recente projeto
colaborativo de larga escala “PEERE”, tentamos explorar estas visões alternativas sobre a
avaliação por pares e estimular um debate sobre as múltiplas funções e os constituintes
da avaliação por pares como uma instituição social complexa.
Por exemplo, em um artigo
publicado em Scientometrics1, rastreamos todos os manuscritos rejeitados por um periódico e localizamos
sua publicação subsequente em outros veículos. Descobrimos que manuscritos
rejeitados que foram publicados posteriormente em outros periódicos se
beneficiaram em termos de citações subsequentes por serem expostos a mais de
uma rodada de revisões antes da rejeição, depois de ter recebido um relatório mais
detalhado do parecerista e, mais importante, tendo sido submetido a uma maior
discordância dos pareceristas do periódico que o rejeitou. Alguns deles foram
publicados em periódicos com um fator de impacto maior que o periódico que
inicialmente rejeitou o manuscrito. Isso sugere que a avaliação por pares pode
ser considerada um “multiplicador de valor” e que a discordância do parecerista
e mais rodadas de revisão não são sintomas de julgamento inconsistente do parecerista,
mas podem, ao invés, ajudar os autores a melhorar seus manuscritos.
Em um artigo mais recente publicado no Journal of Informetrics2, usamos o termo “mão invisível” da avaliação por pares para descrever como o processo é uma conexão entre acadêmicos experientes em primeiro lugar. Mapeamos as conexões entre todos os pesquisadores que submeteram e/ou revisaram manuscritos para um periódico multidisciplinar, seguindo rigorosamente avaliação por pares duplo-cego. A ideia era medir as respectivas posições na estrutura de rede da comunidade antes e depois de serem correspondidas pela avaliação por pares cega. Descobrimos que os pareceristas tendiam a recomendar mais positivamente submissões de autores que estavam dentro de três posições em sua rede de colaboração antes de o editor do periódico concordar com eles. Descobrimos que quando estes pareceristas mais próximos exigiam, ou seja, solicitavam revisões substanciais, os manuscritos, quando publicados, eram mais citados. Mais interessante, descobrimos que as posições da rede de coautoria mudaram após a avaliação por pares, com as distâncias de colaboração entre os cientistas diminuindo mais rapidamente do que se poderia esperar se as mudanças fossem aleatórias. Encontramos casos de pareceristas colaborando diretamente com autores cujos artigos eles revisaram anteriormente, com os quais não estavam relacionados anteriormente. Também encontramos casos em que estes padrões de colaboração ex-post não foram determinados pela publicação do manuscrito. A colaboração futura era mais provável, mesmo quando os manuscritos foram finalmente rejeitados e, portanto, os pareceristas não sabiam o nome dos autores. Isso sugere que a avaliação por pares não apenas reflete, mas também cria e acelera a colaboração científica. Se isso for verdade, o verdadeiro “viés” não é a subjetividade do julgamento de especialistas, mas a falta de diversidade e representatividade na seleção de pareceristas.
Em resumo, estes são apenas
exemplos de uma tentativa de analisar a avaliação por pares de uma maneira mais
coerente com a dimensão histórica, social e política desta instituição. Como
nos lembram historiadores como Alex Czizar, a avaliação por pares reflete o status público da ciência
e sempre teve múltiplas funções e dimensões. Estudá-la apenas como um contexto
de triagem de qualidade não justifica a complexidade desta instituição-chave em
torno da qual se constrói a autonomia, legitimidade e credibilidade da ciência.
Notas
1. CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1
CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1
Flaminio Squazzoni é professor de sociologia na Universidade de Milão, Itália, onde lidera o Behave, um novo centro de pesquisa e treinamento em sociologia comportamental. Ele é editor do JASSS e trabalha em avaliação por pares, normas sociais e pesquisa comportamental. Os leitores interessados podem entrar em contato com ele por e-mail: <flaminio.squazzoni@unimi.it> e/ou dialogar com ele em @squazzoni.
SQUAZZONI, F. Avaliação por pares não é apenas controle de qualidade, é parte integrante da infraestrutura social da pesquisa [Publicado originalmente no LSE Impact Blog em junho/2019] [online]. SciELO em Perspectiva, 2020 [viewed ]. Available from: https://blog.scielo.org/blog/2020/01/15/avaliacao-por-pares-nao-e-apenas-controle-de-qualidade/
Últimos comentários