Preprints são um problema? Cinco formas de melhorar a qualidade e credibilidade dos preprints [Publicado originalmente no LSE Impact Blog em setembro/2020]

Por Joeri Tijdink, Mario Malicki, Gowri Gopalakrishna e Lex Bouter

Imagem: AbsolutVision.

A pesquisa se tornou o condutor dominante das decisões de política de saúde durante a pandemia de COVID-19. Ela nos guiou para dentro e para fora dos bloqueios. Isso nos ajudou a entender o novo patógeno e desenvolver métodos para contornar seu impacto por meio de tratamento, mudança de comportamento e talvez, em breve, com uma vacina. A pesquisa pode e claramente salvou vidas. No entanto, a pesquisa sobre esta pandemia também desinformou os formuladores de políticas e uma parte desta desinformação veio dos preprints.

O que são preprints?

Preprints são relatos de pesquisa que ainda não passaram por avaliação por pares nem aceitos para publicação em um periódico científico. Estes relatos de pesquisa, compartilhados por meio de servidores de preprints, permitem que os pesquisadores compartilhem rapidamente seus resultados. Permitindo que as comunicações acadêmicas sejam compartilhadas de forma rápida e livre, além de servir também para reivindicar prioridade. A publicação de relatos de pesquisa em servidores de preprint também significa que feedback útil pode ser obtido mais rapidamente e pode promover colaborações entre pesquisadores.

Embora os primeiros servidores de preprint tenham várias décadas, durante os últimos cinco anos mais de 30 novos servidores de preprint surgiram, como resultado de terem sido fortemente promovidos no movimento da ciência aberta. Isso se acelerou ainda mais durante a pandemia de COVID-19. Apenas nos últimos meses, o servidor de preprints em biomedicina, MedRXiv, teve um aumento de 400% nos número de preprints publicados, em comparação com o mesmo período de 2019. Embora isso signifique que a pesquisa está sendo produzida e compartilhada em uma velocidade cada vez maior, pode também ser prejudicial se essa pesquisa não for conduzida nos mais altos padrões de qualidade

Preprints são uma fonte confiável?

Durante a pandemia em curso, vimos os preprints ganharem rapidamente a atenção da mídia e chegar ao topo das tabelas de altmetrias. Alguns dos preprints mais notáveis incluem um estudo vinculando HIV e COVID-19. Os autores, no entanto, rapidamente retrataram o estudo dois dias depois de receber uma forte reação contrária da comunidade científica. Outro estudo sobre a soro-prevalência no condado de Santa Clara, nos EUA, foi revisado por seus autores menos de duas semanas depois de ter sido publicado, como resultado de críticas substanciais a seus métodos e o uso indevido de implicações políticas potenciais para alimentar certas agendas políticas.

Alguns pesquisadores sentem que a crítica rápida e aberta dos pares que estes preprints receberam na ausência de uma revisão formal por pares pode ser considerada um mecanismo de autocorreção dos preprints. No entanto, atualmente não sabemos quão extensivamente os preprints são examinados e se o “mecanismo de autocorreção” que vimos com os preprints de COVID-19 é uma exceção. Também não se sabe com que frequência os autores de preprints abordam os feedbacks que recebem. O maior e mais antigo servidor de preprints, o arXiv não tem uma seção de comentários moderada, enquanto o bioRxiv e medRxiv moderam suas seções de comentários para evitar comentários ofensivos e não pertinentes. Até agora, a maioria dos comentários e análises de preprints parecem acontecer no Twitter, especialmente para preprints sobre COVID-19. Até agora, apenas cerca de 10% de todos os preprints recebem comentários. Portanto, esse recurso ainda é subutilizado.

Seriam, então, os preprints em geral uma fonte confiável de informação se não forem submetidos a alguma forma de avaliação por pares? Acreditamos que sim. A pequena quantidade de estudos voltados para o tema parece indicar que cerca de 70% dos preprints acabam sendo publicados em periódicos científicos, havendo apenas diferenças mínimas entre o preprint e sua versão publicada. No entanto, a pesquisa, independentemente de ser uma publicação em periódico ou se compartilhada por servidores de preprint, tem e deve sempre aderir aos mais altos padrões de rigor metodológico e integridade de pesquisa, a fim de minimizar o risco de desinformar colegas pesquisadores, formuladores de políticas públicas e o público em geral. A implicação é que, na ausência de avaliação formal por pares, tanto os servidores quanto os autores de preprints devem aderir à práticas de pesquisa responsáveis ao publicar em preprints.

Cinco maneiras de promover práticas responsáveis de preprints

Para ajudar a garantir que os preprints sejam uma fonte confiável de informação, propomos várias maneiras pelas quais os servidores de preprints e os autores de preprints podem proteger a credibilidade de seus preprints, uma vez que alguns servidores já incorporam algumas de nossas recomendações. Estas recomendações foram coletadas com base na experiência de pesquisa dos autores de preprints e modalidades de ciência aberta.

A seguir destacamos cinco recomendações principais que consideramos as mais práticas e concretas para melhorar a qualidade dos preprints. Uma lista completa de recomendações está disponível no Open Science Framework (OSF).

Para os servidores de preprints

1. Fornecer orientaççioes claras aos autores sobre como conduzir, relatar, compartilhar e atualizar seus preprints (e conjuntos de dados).
2. Vincular por meio de links preprints a versões de relatos de pesquisa (por exemplo, fornecendo referências ou links) e indicar claramente quando um preprint representa uma versão enviada ou publicada de um relato de pesquisa.

Para autores de preprints

3. Aplique as mesmas práticas de pesquisa responsável à publicação de preprints como aplicariam à publicação em periódico. Se o impacto potencial dos resultados exigir uma publicação rápida, indique claramente que os resultados são preliminares, quando o relato final do estudo e os métodos detalhados estarão disponíveis.
4. Incorpore o espírito das normas mertonianas de comunalidade e ceticismo desorganizado, sendo um avaliador ativo de preprints em sua área de especialização. Esforce-se para fornecer a quantidade mínima de avaliações de preprints quanto você espera receber de outras pessoas.
5. Ao comunicar-se com a mídia sobre seus preprints ou criticar os preprints de outros autores, faça-o com responsabilidade. Seja explícito sobre os pontos fortes e as limitações de seus preprints.

 Conclusão

Na atual pandemia, não há dúvida de que enfrentamos vários desafios que podem comprometer o rigor metodológico e a integridade da pesquisa que está sendo divulgada. O número crescente de preprints e seu uso na formulação de políticas de saúde pública tornam as melhorias em sua qualidade urgentes e importantes. Esta é uma responsabilidade conjunta de todas as partes interessadas do sistema científico. Neste informe, descrevemos algumas etapas implementáveis que acreditamos podem ser eficazes na melhoria da qualidade e credibilidade de preprints.

Referências

BAJAK, A. and HOWE, J. A Study Said Covid Wasn’t That Deadly. The Right Seized It [online]. The New York Time. 2020 [viewed 15 October 2020]. Available from: https://www.nytimes.com/2020/05/14/opinion/coronavirus-research-misinformation.html

BENDAVID, E., et al. COVID-19 Antibody Seroprevalence in Santa Clara County, California. medRxiv [online]. 2020 [viewed 15 October 2020]. DOI: 10.1101/2020.04.14.20062463. Available from: https://www.medrxiv.org/content/10.1101/2020.04.14.20062463v2

BRAINARD, J. In bid to boost transparency, bioRxiv begins posting peer reviews next to preprints [online]. Science. 2019 [viewed 15 October 2020]. Available from: https://www.sciencemag.org/news/2019/10/bid-boost-transparency-biorxiv-begins-posting-peer-reviews-next-preprints

CALLAWAY, E. Will the pandemic permanently alter scientific publishing?. Nature [online]. 2020, vol. 582, no. 7811, no. 167–168 [viewed 15 October 2020]. DOI: 10.1038/d41586-020-01520-4. Available from: https://pubmed.ncbi.nlm.nih.gov/32504015/

CHIARELLI, A., et al.Accelerating scholarly communication: The transformative role of preprints [online]. Zenodo. 2019 [viewed 15 October 2020]. DOI: 10.5281/zenodo.3357727. Available from: https://zenodo.org/record/3357727

FRASER, N. and KRAMER, B. covid19_preprints [online]. Figshare. 2020 [viewed 15 October 2020]. DOI: 10.6084/m9.figshare.12033672.v34. Available from: https://figshare.com/articles/software/covid19_preprints/12033672

KWON, D. How swamped preprint servers are blocking bad coronavirus research. Nature [online]. 2020, vol. 581, no. 7807, pp. 130-131 [viewed 15 October 2020]. DOI: 10.1038/d41586-020-01394-6. Available from: https://www.nature.com/articles/d41586-020-01394-6

PRADHAN, P., et al. Uncanny similarity of unique inserts in the 2019-nCoV spike protein to HIV-1 gp120 and Gag. bioRxiv [online]. 2020 [viewed 15 October 2020]. DOI: 10.1101/2020.01.30.927871. Available from: https://www.biorxiv.org/content/10.1101/2020.01.30.927871v1

Scientific research on the coronavirus is being released in a torrent [online]. The Economist. 2020 [viewed 15 October 2020]. Available from: https://www.economist.com/science-and-technology/2020/05/07/scientific-research-on-the-coronavirus-is-being-released-in-a-torrent

TIJDINK, J.K., et al. Preprints in overdrive: Supplementary Table 1 [online]. OSF. 2020 [viewed 15 October 2020]. Available from: https://osf.io/w4ydg/

Sobre Joeri Tijdink

Joeri Tijdink é psiquiatra e professor assistente do Amsterdam University Medical Center e da VU Amsterdam, na Holanda. Depois de obter seu PhD com sua tese intitulada Publish & Perish, ele está envolvido em vários projetos de pesquisa que estudam integridade em pesquisa. Sua pesquisa está enfocada na integridade da pesquisa, cultura da pesquisa e saúde mental na academia e também em maneiras de promover práticas de pesquisa responsáveis para pesquisadores e dentro de instituições de pesquisa. Ele é o autor do guia de autoajuda Scholar on the sofa; How to survive in academia.

Sobre Mario Malicki

Mario Malicki é Coeditor-chefe do periódico Research Integrity and Peer Review, e tem formação em medicina. Seu doutorado foi em Integridade de Publicações Científicas e em pesquisas anteriores ele se concentrou em questões de autoria, viés de publicação, instruções aos autores de periódicos e avaliação por pares. Ele está atualmente no Meta-Research Innovation Center em Stanford (METRICS), onde se concentra em meta-pesquisa de preprints.

Sobre Gowri Gopalakrishna

Gowri Gopalakrishna é epidemiologista com formação e doutorado em epidemiologia. Algumas de suas contribuições notáveis incluem seu papel no controle e contenção do surto de SARS em Cingapura em 2003. Em sua função atual, ela trabalha em estreita colaboração com uma equipe central para projetar, implementar e, eventualmente, analisar os resultados de uma das maiores pesquisas do mundo sobre práticas de pesquisa responsáveis na Holanda: Pesquisa Nacional Holandesa sobre Integridade de Pesquisa.

Sobre Lex Bouter

Lex Bouter é titular de Metodologia e Integridade no Departamento de Epidemiologia e Ciência de Dados dos Centros Médicos da Universidade de Amsterdã e no Departamento de Filosofia da Faculdade de Ciências Humanas da Vrije Universiteit. Ele é o presidente fundador da World Conferences on Research Integrity Foundation.

Artigo original em inglês

https://blogs.lse.ac.uk/impactofsocialsciences/2020/09/23/are-preprints-a-problem-5-ways-to-improve-the-quality-and-credibility-of-preprints/

Traduzido do original em inglês por Lilian Nassi-Calò.