A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação?

Por Jan Velterop

“Men only care for science so far as they get a living by it, and that they worship even error when it affords them a subsistence.”¹ — Goethe²

Antes de abordar a questão no título, vamos primeiro lançar um olhar na avaliação por pares. Ela se tornou um dos pilares sobre os quais repousa a ciência, e com razão. Resultados e teorias da pesquisa científica devem ser examinados e criticamente avaliados antes que possam ser considerados aptos a ser adicionados ao que é o consenso científico num determinado momento. Publicações devem sempre ser abordadas com certo nível de ceticismo profissional e nunca serem aceitas pelo que elas aparentam ser. E, fundamentalmente, que sejam verdadeiras, independentemente do artigo ter sido submetido à avaliação por pares antes da publicação. Afinal, avaliação por pares pré-publicação significa apenas que alguns pares, geralmente dois, revisaram o artigo e, na melhor das hipóteses, se os autores tiverem sorte, que estes pares sejam verdadeiros e conscienciosos especialistas que realmente conseguem ajudar a melhorar o artigo, e não algum pesquisador aleatório que finalmente respondeu ao convite do publisher para revisar. Se você acha que isso soa demasiado cínico, basta se lembrar do fato de que um artigo qualquer é eventualmente publicado em um periódico supostamente arbitrado. Apenas 1,4% dos 11.962 periódicos avaliados por pares monitorados pela Thomson Reuters (bem menos do que a metade dos aproximadamente 28.000 ou mais existentes) tem um Fator de Impacto de 10,0 ou mais, e apenas 62% têm um Fator de Impacto de 1,0 ou mais. Estou dizendo isso apenas para ilustrar o fato que ser um periódico avaliado por pares não tem nada a ver com ter uma boa reputação ou a qualidade percebida que lhe é habitualmente associada.

A avaliação por pares que qualquer destes artigos em qualquer um destes periódicos foi submetido pode ter sido razoável, ou até mesmo boa. O problema é que ninguém sabe ao certo para quais artigos este é o caso (com a possível exceção dos poucos que passaram por um processo de revisão por pares totalmente aberto, e para o qual os relatórios dos pareceristas e as respostas dos autores são públicas). Isso significa que um exame minucioso de qualquer artigo publicado com uma atitude crítica e profissionalmente cética é sempre requerido.

Isso pode não acontecer suficientemente. Resultados e conclusões apresentados em artigos arbitrados e publicados podem não ser questionados com frequência suficiente. O status de artigo submetido à avaliação por pares pode, muito frequentemente, ser considerado como uma garantia de veracidade. É claro, esta é uma conjectura que eu apenas poderia endossar com alguns indícios anedóticos que recebi pessoal e informalmente, mas a questão permanece: será que a falta de reprodutibilidade, bastante difundida se considerarmos o levantamento feito pela Nature³ como indicador, melhoraria se os leitores tivessem que ler os artigos de forma mais crítica, devido à ausência de avaliação por pares formal, e os autores soubessem disso?

Se esta for realmente a situação, a publicação de preprints pode oferecer uma solução, pois os preprints não são formalmente avaliados pelos pares antes da publicação, o que deveria incentivar o leitor comprometido a ser cuidadoso e crítico antes de aceitar os resultados. Qualquer revisão pós-publicação, visível e proveniente de fontes reveladas (ou seja, fontes não anônimas, que é a norma para a avaliação por pares pré-publicação e parte do problema), poderia ajudar o leitor neste sentido.

Para os autores, haveria um incentivo para que ao menos se assegurem de que a descrição dos métodos publicados em preprints são tais que sua reprodução seria bem sucedida, para não adquirir a reputação de publicar resultados irreprodutíveis.

Notas

1. “As pessoas apenas se importam com a ciência na medida em que dependem dela para seu sustento, e idolatram até mesmo um erro, quando este lhes proporciona a subsistência” (Tradução livre)

2. GOETHE, J.W., et al. Conversations of Goethe with Eckermann and Soret. London: Smith, 1850, p. 271. [viewed 17 October 2016] Digitally available from: http://archive.org/stream/conversationsofg01goetuoft#page/n5/mode/2up

3. BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature. 2016, vol. 533, nº 7604, pp. 452-454. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Referências

BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature. 2016, vol. 533, nº 7604, pp. 452-454. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

BOON, S. 21st Century Science Overload. Canadian Science Publishing. [viewed 17 October 2016]. Available from: http://www.cdnsciencepub.com/blog/21st-century-science-overload.aspx

GOETHE, J.W., et al. Conversations of Goethe with Eckermann and Soret. London: Smith, 1850, p. 271. [viewed 17 October 2016] Digitally available from: http://archive.org/stream/conversationsofg01goetuoft#page/n5/mode/2up

Journal impact factor 2016 Thompson Reuters. ResearchGate. Available from: http://www.researchgate.net/publication/304153883_Journal_impact_factor_2016_Thompson_Reuters

Sobre Jan Velterop

Jan Velterop (1949), geofísico marinho, tornou-se editor científico em meados dos anos 1970. Ele iniciou sua carreira como editor na Elsevier em Amsterdã. Em 1990 tornou-se diretor de um jornal holandês, mas retornou à publicação científica internacional em 1993 na Academic Press em Londres, onde desenvolveu o primeiro acordo nacional que permitiu acesso eletrônico a todos os periódicos AP por todas as instituições de ensino superior do Reino Unido (o que mais tarde foi denominado BigDeal). Ele foi Diretor na Nature, mas logo se dedicou para ajudar a fazer decolar o BioMed Central. Ele participou da Iniciativa de Budapeste para o Acesso Aberto. Em 2005 foi para a Springer, baseado no Reino Unido como Diretor de Acesso Aberto. Em 2008 ele deixa a Springer para apoiar o desenvolvimento de abordagens semânticas para acelerar descobertas científicas. Velterop é um ativo defensor do acesso aberto em conformidade com a Iniciativa de Acesso Aberto de Budapeste (BOAI) e do uso de microatribuições, a referência das denominadas “nanopublicações”. Ele publicou vários artigos sobre ambos os temas.

Traduzido do original em inglês por Lilian Nassi-Calò.