Postar preprints antes da avaliação por pares está associado à maior visibilidade e citação dos artigos publicados

Por Lilian Nassi-Calò

Preprints são manuscritos depositados em servidores web que comunicam resultados de pesquisa em acesso aberto antes da avaliação por pares de um periódico. O servidor de preprints mais destacado historicamente é o arXiv, que surgiu na década de 1990 e é operado atualmente na Universidade Cornell para manuscritos de física, matemáticas e ciências afins. Em 2013, o Cold Spring Harbor Laboratory inaugurou o servidor de preprints bioRxiv para manuscritos em biologia e ciências da vida e outros servidores de preprints em várias disciplinas vêm sendo criados e sua adoção vem crescendo mundialmente.

Nas ciências biológicas e biomédicas, agências de fomento renomadas como os US National Institute of Health e Wellcome incentivam citar preprints e reportá-los como resultado de projetos de pesquisa, mas a adoção dos preprints pelos pesquisadores ainda é limitada. Neste cenário, estudo realizado por Darwin Fu e Jacob Hughey, do Vanderbilt Medical Center em Tennessee, Estados Unidos identificou que apenas 5.405 artigos de um total de 74.239 indexados na base de dados PubMed (US National Library of Medicine) nos anos 2015 a 2018 tem um preprint correspondente depositado no bioRxiv antes da publicação no periódico. Porém, o estudo revela que os artigos que contavam com preprint têm, em média, um índice Altmetric 49% maior e 39% mais citações que os artigos sem preprints. Os autores examinaram outras variáveis relacionadas ao artigo, aos autores e ao periódico para concluir que os efeitos eram devidos apenas ao fato de possuir ou não preprint depositados antes da publicação do manuscrito em um periódico.

O estudo realizado faz referência a um trabalho na mesma linha de Serghiou e Ioannidis de 2018, que observou que 776 artigos que tinham um preprint previamente depositado no bioRxiv de uma amostra de 3.647 artigos revisados pelos pares da base PubMed apresentavam maior índice Altmetric e mais citações.

Fu e Hughey delimitaram o conjunto de dados no PubMed composto por 74.239 artigos arbitrados providos de DOI e com no mínimo um autor (editoriais e artigos com autoria institucional, por exemplo, foram excluídos), dos quais 5.405 tinham um preprint depositado no bioRxiv antes da publicação no periódico entre 1° de janeiro de 2015 e 31 de dezembro de 2018. Como critério de seleção para os periódicos, estes deveriam ter no mínimo 50 artigos arbitrados no conjunto de dados selecionado; periódicos multidisciplinares foram excluídos do estudo. Os autores obtiveram dados do Altmetric Attention Score¹ fornecidos pelo Altmetric; realizaram consulta a número de citações através da API do Crossref e obtiveram dados sobre os preprints no bioRxiv.

No conjunto de dados estudado, os autores observaram que os artigos que tinham um preprint associado tinham um índice Altmetric 1,49 vezes maior e 1,36 vezes mais citações. No entanto, eles observaram uma fraca correlação entre o índice Altmetric e o número de citações em um mesmo periódico, sugerindo que as métricas se referem a diferentes aspectos do impacto de um artigo, como já discutido neste blog².

Uma hipótese a ser considerada era que maiores índices do Altmetric e número de citações observado nos artigos com preprints associados fosse devido a outros fatores como o prestígio da instituição do autor principal, o número de autores da publicação, fator de impacto e modelo de acesso do periódico ou o tempo transcorrido entre a postagem do preprints e a publicação do artigo correspondente. Para testá-la, os autores realizaram meta-análises de efeito aleatório de coeficientes de modelo a partir de regressão log-linear para cada uma das variáveis, e concluíram que estes fatores não influenciaram os resultados.

Inúmeros fatores influenciam quando e como disseminar os resultados de pesquisa. Os pioneiros na utilização dos preprints desde os anos 1990, usuários do arXiv, por exemplo, o fazem para compartilhar com a comunidade científica seus achados e obter feedback, uma vez que 70% dos artigos depositados entre 2010 e 2015 foram publicados nos principais periódicos de física, matemática, ciências da computação e de áreas correlatas. O especialista em comunicação científica e defensor do acesso aberto Jan Velterop afirma que “comunicação e avaliação por pares devem ser universalmente separados”,³ e recomenda a imediata comunicação das pesquisas através de preprints para benefício da comunidade científica – e da sociedade – e posterior publicação em periódicos passando pela avaliação por pares.

A ideia de que preprints teriam qualidade inferior por não ser submetidos à avaliação por pares não se sustenta pelo simples fato de que, em primeiro lugar, um pesquisador não colocaria em risco sua reputação postando um preprint de baixa qualidade, que estaria sujeito ao escrutínio de não apenas dois ou três pareceristas, mas teoricamente, de toda a comunidade científica. Em segundo lugar, projetos em gestação como o Plano U – o requerimento por parte das agências de fomento que os beneficiários publiquem os resultados das pesquisas em servidores de preprints independentemente das outras formas de publicação subsequente – não seriam sequer considerados.

O estudo de Fu e Hughey não considera as razões acima, se atendo tão somente ao aumento do índice Altmetric e do número de citações para os artigos que têm preprints associados. O conjunto de dados selecionado, no entanto, tem algumas limitações. Os resultados se aplicam apenas para periódicos que têm ao menos 50 artigos com preprints associados em bioRxiv – excluídos os periódicos multidisciplinares. Ademais, não foram consideradas associações com preprints depositados em outros servidores como Biologia Quantitativa no arXiv ou no PeerJ Preprints. Também é preciso pontuar que os resultados representam uma fotografia do índice Altmetric e número de citações no momento da coleta de dados, pois ambos variam com o tempo, e o artigo não considera esta alteração. Os autores consideram que na medida em que a prática de postar preprints se tornar mais frequente, deve aumentar a fração de artigos com preprints associados. Alertam, no entanto, que devido à natureza observacional do estudo, não é possível inferir que depositar um preprint cause um maior índice Altmetric ou mais citações do artigo publicado. Um cenário possível para tal correlação seria, por exemplo, que autores que depositam seus artigos como preprints são mais ativos em redes sociais, o que poderia levar à maiores índices Altmetric e a maior exposição levar indiretamente à mais citações.

O aspecto positivo do estudo, a despeito das limitações, é estimular o debate sobre os preprints em todas as áreas do conhecimento, e envolver autores, editores, instituições de pesquisa, agências de fomento, governos e sociedade, salientando os benefícios de disponibilizar imediatamente em acesso aberto os resultados de pesquisa, independentemente da publicação em periódicos e do devido processo de avaliação por pares.

Neste sentido, o programa SciELO e o Public Knowledge Project (PKP) estabeleceram um acordo para desenvolver um servidor de preprints multidisciplinar e multilíngue baseado no Open Journal Systems (OJS), que deverá estar operando em meados de 2020, sendo integrado aos mais de 1.200 periódicos da rede SciELO.

Notas

1. Altmetric Attention Score é a denominação dada ao Altmetric Score – o índice de impacto de uma publicação baseada no monitoramento online de redes sociais – a partir de junho 2016, segundo nota publicada no Altmetric blog. WILLIAMS, C. The Altmetric score is now the Altmetric Attention Score. [online] Altmetric blog, 2016[viewed 29 January 2020] Available from https://www.altmetric.com/blog/the-altmetric-score-is-now-the-altmetric-attention-score/

2. ARAUJO, R. Presença e impacto dos periódicos na web social: Rumo ao fator de impacto de mídias sociais [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/07/26/presenca-e-impacto-dos-periodicos-na-web-social-rumo-ao-fator-de-impacto-de-midias-sociais/

3. VELTEROP, J. Comunicação e avaliação por pares devem ser universalmente separados [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/05/25/comunicacao-e-avaliacao-por-pares-devem-ser-universalmente-separados/

Referências

ALVAREZ, G.R. and CAREGNATO, S.E. Preprints na comunicação científica da Física de Altas Energias: análise das submissões no repositório arXiv (2010-2015). Perspectivas em Ciência da Informação [online]. 2017, vol. 22, no 2, pp. 104-117, ISSN: 1981-5344 [viewed on 29 January 2020]. DOI: 10.1590/1981-5344/2830. Available from: http://ref.scielo.org/whczt8

ARAUJO, R. Presença e impacto dos periódicos na web social: Rumo ao fator de impacto de mídias sociais [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/07/26/presenca-e-impacto-dos-periodicos-na-web-social-rumo-ao-fator-de-impacto-de-midias-sociais/

FU, D.Y. and HUGHEY, J.J. Meta-Research: Releasing a preprint is associated with more attention and citations for the peer-reviewed article. eLife [online]. 2019, vol. 8, e52646 [viewed 29 January 2020]. DOI: 10.7554/eLife.52646. Available from: https://elifesciences.org/articles/52646

PUBLIC KNOWLEDGE PROJECT and SCIENTIFIC ELECTRONIC LIBRARY ONLINE. PKP e SciELO anunciam desenvolvimento de um sistema de código aberto de Servidor de Preprints [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/09/21/pkp-e-scielo-anunciam-desenvolvimento-de-um-sistema-de-codigo-aberto-de-servidor-de-preprints/

Reporting Preprints and Other Interim Research Products [online]. National Institutes of Health (NIH). 2017 [viewed 29 January 2020]. Available from: http://grants.nih.gov/grants/guide/notice-files/NOT-OD-17-050.html

SERGHIOU, S. and IOANNIDIS, J.P.A. Altmetric scores, citations, and publication of studies posted as preprints. JAMA [online]. 2018, vol. 319, no. 4, pp. 402–404 [viewed 29 January 2020]. DOI: 10.1001/jama.2017.21168. Available from: https://jamanetwork.com/journals/jama/fullarticle/2670247

SEVER, R., EISEN, M. and INGLIS, J. Plan U: Universal access to scientific and medical research via funder preprint mandates. PLOS Biology [online]. 2019, vol. 17, no 6, e3000273 [viewed 29 January 2020]. DOI: 10.1371/journal.pbio.3000273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000273

SPINAK, E. Acelerando a comunicação científica via preprints [online]. SciELO em Perspectiva, 2019 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2019/10/04/acelerando-a-comunicacao-cientifica-via-preprints/

SPINAK, E. O que é este tema dos preprints? [online]. SciELO em Perspectiva, 2016 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2016/11/22/o-que-e-este-tema-dos-preprints/

VELTEROP, J. Comunicação e avaliação por pares devem ser universalmente separados [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/05/25/comunicacao-e-avaliacao-por-pares-devem-ser-universalmente-separados/

VELTEROP, J. Preprints – o caminho a seguir para o compartilhamento rápido e aberto do conhecimento [online]. SciELO em Perspectiva, 2017 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2017/02/01/preprints-o-caminho-a-seguir-para-o-compartilhamento-rapido-e-aberto-do-conhecimento/

We now accept preprints in grant applications. [online] Wellcome. 2017 [viewed 29 January 2020]. Available from: https://wellcome.ac.uk/news/we-now-accept-preprints-grant-applications

WILLIAMS, C. The Altmetric score is now the Altmetric Attention Score. [online] Altmetric blog. [viewed 29 January 2020] Available from https://www.altmetric.com/blog/the-altmetric-score-is-now-the-altmetric-attention-score/

Links externos

arXiv <https://arxiv.org/>

bioRxiv <https://www.biorxiv.org/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.