A literatura científica tem uma historia que remonta ao menos 350 anos. Desde o princípio, antes de ser publicada, era supervisionada de uma forma ou de outra por colegas dos autores pertencentes ao mesmo âmbito acadêmico. Entretanto, os procedimentos de avaliação por pares usados atualmente pelos periódicos acadêmicas não são tão antigos como se pensa, são muito mais recentes. O periódico Nature o introduziu de maneira formal em 1967. Antes disso, alguns trabalhos eram revisados e outros eram diretamente aprovados pelo editor do periódico. Michael Nielsen em seu blog1 sugere que “com a especialização crescente da ciência… os editores gradualmente se deram conta de que era cada vez mais difícil tomar decisões informadas sobre o que valia a pena publicar”.
Não obstante, já desde os anos 80 surgiram diversas críticas sobre as limitações e vieses que poderiam ser introduzidos pelos procedimentos de revisão por pares que se usavam, tais como o simples cego, duplo cego e outros. Alguns dos críticos mais conhecidos foram Chubin e Hackett, respectivamente, do Gabinete de Avaliação de Tecnologias do Congresso dos Estados Unidos e do Instituto Politécnico de Rensselaer em Nova York. Assim o expressaram tanto tempo faz, em 1990, em seu livro Peerless Science2:
“A revisão por pares é o principio do qual tradicionalmente depende o sistema de governança interno da ciência. Durante os últimos dez anos tem havido uma grande quantidade de evidência que sugere que esta suposição já não é válida (se é que alguma vez o foi), e que muitas das tensões na relação ciência-governo nos Estados Unidos são rastreáveis seja à suposição em si ou às formas em que é implementada”.
Vários métodos de avaliação foram experimentados nos últimos três séculos, em particular a partir da década de 60, sem que pudesse ser encontrado ainda um procedimento que atendesse a todas as partes. Mas ainda assim, a quantidade de publicações científicas cresce como uma inundação, o que introduz pressões adicionais aos métodos atuais de avaliação.
A cada ano são enviados 1,7 milhões de artigos para ser avaliados e revisados antes de sua publicação. Uma pesquisa3 realizada em 2015 sobre o tempo que os pesquisadores dedicam à revisão de manuscritos avaliou que é da ordem de 13 a 20 milhões de horas-pessoa. Isso, evidentemente, é uma aproximação, porque em algumas áreas se utiliza apenas um parecerista e os comentários do editor, ao passo que em outros periódicos são solicitados três pareceristas. Este cálculo tampouco leva em conta que é frequente que um artigo seja enviado a vários periódicos de forma sequencial até que consiga ser publicado, e também muitos outros não chegam a ser publicados jamais, os quais também demandaram tempo de revisão. Tudo isso mostra claramente que a revisão por pares de trabalhos acadêmicos é uma carga muito grande que é imposta ao tempo disponível dos pesquisadores.
As perguntas e o debate
Com base nas razões que estamos comentando é que a BioMed Central e a empresa de tecnologia Digital Science realizaram em novembro de 2016 um workshop onde foi proposto a um grupo de editores e pesquisadores o objetivo de imaginar futuros cenários de avaliação por pares científica. Os resultados foram publicados em maio de 2017 sob o título: Como será a avaliação por pares em 2030?4
As perguntas centrais sobre as quais girou o debate foram:
A tecnologia poderia tornar a revisão por pares mais rápida e simples?
Com a aplicação da inteligência artificial seria possível prescindir da revisão por pares (peerless science)?
A maior transparência poderia tornar o processo de avaliação mais ético?
Deveria haver treinamento para realizar avaliação?
Como dar crédito ao trabalho dos pareceristas?
Uma das questões inovadoras consideradas foi em que forma a Inteligência Artificial poderia ser incorporada ao processo editorial de revisão. Entre os diferentes usos poderia ser a análise de bancos de dados para encontrar pareceristas adequados, detecção de plágio, análise estrutural dos documentos para encontrar artigos com falhas, análise de dados estatísticos para encontrar erros ou dados suspeitos de serem fraudulentos. Estes apoios serão cada vez mais necessários em vista de que não há suficiente capacidade humana para fazer frente ao aumento da publicação científica e sua correspondente revisão.
Os servidores de preprints
Como era de esperar neste debate, foram temas obrigatórios os servidores de preprints e as diferentes formas de revisões abertas. Para cada um dos temas se consideraram os benefícios e seus próprios problemas.
Os servidores de preprints estão hoje em dia no centro do debate. Se a maioria dos artigos de pesquisa fossem publicados como preprints, então o acesso às descobertas estaria disponível tão logo o artigo fosse concluído, ao invés de como ocorre atualmente, em que só se consegue acesso quando o artigo é aceito e publicado em um periódico.
Uma das objeções atuais aos servidores de preprints é que caso se permita que as centenas de milhares de artigos que se produzem em todas as áreas da pesquisa fossem publicados antes de ser revisados e aprovados, então também teríamos uma avalanche de erros e retrações que faria o mundo inteiro da pesquisa vir abaixo. Esta objeção surge devido à preocupação certa de que as retratações também vêm aumentado ininterruptamente nos últimos tempos. Que as retratações vêm aumentando, isso é certo, porém… surpresa! … o crescimento principal de retratações está associado aos periódicos de primeiro nível e aos megajournals.
Se os servidores de preprints pudessem alcançar o papel dominante que têm na física, a publicação de artigos em periódicos seria atrativa somente se estes puderem agregar valor ao processo de comunicação científica. Quer dizer, apenas valerá a pena publicar em periódicos de qualidade porque, através da revisão por pares tradicional, poderá ser garantida a reprodutibilidade, a confiabilidade e o controle de qualidade prévio à publicação.
Observando este cenário, poderia ser que estejamos transitando a um mundo em que muitas pesquisas seriam publicadas tal qual são escritas pelos pesquisadores e logo passam por um processo de revisão por pares para sua eventual publicação (ou não). Em compensação, outras pesquisas mais seletas passariam por um processo rigoroso de revisão, incluindo todos os controles mencionados.
As revisões abertas
E, finalmente, a ideia central que motivou a reunião de especialistas patrocinadas pela BioMed Central e Digital Science foi a análise das diferentes opções que se apresentam para abrir as revisões ao público (open peer-review). Porque o open peer-review também tem seus próprios problemas, entre os quais se destacam:
Como dar incentivos para que os cientistas se ofereçam a fazer revisões, porque a tarefa não é remunerada e toma tempo e trabalho.
Os jovens pesquisadores não são ainda conhecidos pelos editores dos periódicos e, portanto, suas revisões, mesmo que sejam públicas, não necessariamente serão apreciadas.
Os jovens pesquisadores poderiam se sentir constrangidos em revisar trabalhos de cientistas mais experientes e publicar seus nomes em revisões públicas.
Para incentivar os cientistas a se oferecerem para fazer revisões, em particular aqueles que ainda nunca o fizeram, sugeriu-se que deveriam ser desenvolvidos programas de treinamento para pareceristas, especialmente se estes cursos fossem promovidos por organizações bem acreditadas.
Abrir as portas à revisão por pares a todos os pesquisadores não é somente una meta dos periódicos. Os pareceristas dizem que lhes é gratificante fazer parte da comunidade acadêmica, além de mantê-los informados sobre as novas pesquisas e o que se está trabalhando. Também expressaram que gostariam de poder ajudar a melhorar as comunicações que revisam. Ademais, eles sentem que o trabalho de parecerista poderia melhorar sua reputação e seu posicionamento em suas comunidades acadêmicas.
Uma pesquisa5 da Wiley com mais de 3.000 pareceristas sugere que os pesquisadores preferem um reconhecimento formal do trabalho de fazer revisões a receber pagamento. De qualquer forma, consideram que o reconhecimento desta tarefa não é adequado e deveria ter maior peso nos processos de avaliação nas instituições onde trabalham.
Entre os cientistas, a revisão por pares é vista como um componente crucial para dar confiança à literatura acadêmica. Apesar dos avanços tecnológicos em, por exemplo, os controles automatizados de estatísticas, poucos pareceristas veem no futuro um modelo de publicação sem avaliação por pares antes da publicação. De modo que, se a avaliação por pares se mantiver de forma sustentável em um mundo de aumento constante de comunicação científica, devemos nos assegurar que a base disponível de pareceristas seja tão ampla, global e diversificada como o é a fonte de cientistas que estão publicando trabalhos.
2. CHUBIN, D. E. and HACKETT, E. J. Peerless Science: Peer Review and U. S. Science Policy [online]. New York: State University of New York Press. 1990. 267 p. SUNY series in Science, Technology, and Society [viewed 24 May 2017]. Available from: http://capr-peerreview.mines.edu/Peerless%20Science.pdf
CHUBIN, D. E. and HACKETT, E. J. Peerless Science: Peer Review and U. S. Science Policy [online]. New York: State University of New York Press. 1990. 267 p. SUNY series in Science, Technology, and Society [viewed 24 May 2017]. Available from: http://capr-peerreview.mines.edu/Peerless%20Science.pdf
WARNE, V. Rewarding reviewers – sense or sensibility? A Wiley study explained. Learned Publishing [online]. 2016, vol. 29, no. 1, pp. 41-50 [viewed 24 May 2017]. DOI: 10.1002/leap.1002. Available from: http://onlinelibrary.wiley.com/doi/10.1002/leap.1002/full
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
Ernesto Spinak
Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información" pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
SPINAK, E. Como será a avaliação por pares em 2030? [online]. SciELO em Perspectiva, 2017 [viewed ]. Available from: https://blog.scielo.org/blog/2017/07/26/como-sera-a-avaliacao-por-pares-em-2030/
Sobre Ernesto Spinak
Pingback: Boletim de Notícias, 27/jul: Devastação no Cerrado é 5 vezes mais rápida que na Amazônia | Direto da Ciência
Pingback: Como será a avaliação por pares em 2030? | Serviço de Documentação e Divulgação
Leia o comentário em espanhol, por Javier Santovenia Diaz:
http://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030/#comment-41137