Publicar preprints antes de la revisión por pares se asocia con una mayor visibilidad y citación de artículos publicados

Por Lilian Nassi-Calò

Los preprints son manuscritos depositados en servidores web que comunican los resultados de la investigación en acceso abierto antes de la revisión por pares de una revista. El servidor de preprints más destacado históricamente es el arXiv, que surgió en la década de 1990 y actualmente funciona en la Universidad Cornell para manuscritos en física, matemáticas y ciencias relacionadas. En 2013, Cold Spring Harbor Laboratory inauguró el servidor de preprints bioRxiv para manuscritos en biología y ciencias de la vida y se han creado otros servidores de preprints en diversas disciplinas y su adopción está creciendo en todo el mundo.

En las ciencias biológicas y biomédicas, agencias de financiación de renombre como el Instituto Nacional de Salud de EE.UU. y Wellcome incentivan a citar preprints e informarlos como resultado de proyectos de investigación, pero la adopción de preprints por parte de los investigadores aún es limitado. En este escenario, un estudio realizado por Darwin Fu y Jacob Hughey, del Vanderbilt Medical Center en Tennessee, Estados Unidos, identificó que solo 5.405 artículos de un total de 74.239 indexados en la base de datos PubMed (US National Library of Medicine) en los años 2015 a 2018 tienen un preprint correspondiente depositado en bioRxiv antes de su publicación en la revista. Sin embargo, el estudio revela que los artículos que tenían un preprint tienen, en promedio, un índice Altmetric un 49% más alto y un 39% más de citas que los artículos sin preprint. Los autores examinaron otras variables relacionadas con el artículo, los autores y la revista para concluir que los efectos se debieron solo a si tenían o no un preprint depositado antes de la publicación del manuscrito en una revista.

El estudio realizado hace referencia a un trabajo en la misma línea de Serghiou e Ioannidis de 2018, que observó que 776 artículos que tenían un preprint previamente depositado en bioRxiv de una muestra de 3.647 artículos revisados por colegas de la base de datos PubMed tenían un índice Altmetric más alto y más citas.

Fu y Hughey delimitaron el conjunto de datos PubMed compuesto por 74.239 artículos arbitrados provistos con DOI y con al menos un autor (se excluyeron editoriales y artículos con autoría institucional, por ejemplo), de los cuales 5.405 tenían un preprint depositado en bioRxiv antes de la publicación en la revista entre el 1 de enero de 2015 y el 31 de diciembre de 2018. Como criterio de selección para revistas, debían tener al menos 50 artículos referenciados en el conjunto de datos seleccionado; las revistas multidisciplinarias fueron excluidas del estudio. Los autores obtuvieron datos de Altmetric Attention Score¹ proporcionada por Altmetric; consultaron el número de citas a través de la API de Crossref y obtuvieron datos sobre los preprints en bioRxiv.

En el conjunto de datos estudiados, los autores observaron que los artículos con un preprint asociado tenían un índice Altmetric 1,49 veces mayor y 1,36 veces más citas. Sin embargo, observaron una correlación débil entre el índice Altmetric y el número de citas en la misma revista, lo que sugiere que las métricas se refieren a diferentes aspectos del impacto de un artículo, como ya se discutió en este blog².

Una hipótesis a considerar fue que el mayor índice altmétrico y el número de citas observadas en artículos con preprints asociados se debieron a otros factores, como el prestigio de la institución del autor principal, el número de autores de la publicación, el factor de impacto y el modelo de acceso de la revista o el tiempo transcurrido entre la publicación de preprints y la publicación del artículo correspondiente. Para probarlo, los autores realizaron meta-análisis del efecto aleatorio de los coeficientes del modelo utilizando la regresión logarítmica lineal para cada una de las variables, y concluyeron que estos factores no influyeron en los resultados.

Numerosos factores influyen en cuándo y cómo difundir los resultados de la investigación. Pioneros en el uso de preprints desde la década de 1990, los usuarios de arXiv, por ejemplo, lo hacen para compartir sus hallazgos con la comunidad científica y obtener comentarios, ya que el 70% de los artículos depositados entre 2010 y 2015 se publicaron en las principales revistas de física, matemáticas, informática y campos relacionados. El experto en comunicación científica y defensor del acceso abierto Jan Velterop dice que “la comunicación y la revisión por pares deberían estar universalmente separadas”,³ y recomienda la comunicación inmediata de la investigación a través de preprints para el beneficio de la comunidad científica – y la sociedad – y la publicación posterior en revistas sometidas a la revisión por pares.

La idea de que los preprints serían de calidad inferior porque no fueron sometidos a una revisión por pares no está respaldada por el simple hecho de que, en primer lugar, un investigador no pondría en peligro su reputación al publicar preprints de baja calidad, que estarían sujetos a escrutinio no solo por dos o tres árbitros, sino teóricamente, de toda la comunidad científica. En segundo lugar, los proyectos en curso como el Plan U – el requisito por parte de las agencias de financiación de que los beneficiarios publiquen los resultados de la investigación en servidores de preprints, independientemente de otras formas de publicación posterior – ni siquiera se considerarían.

El estudio de Fu y Hughey no considera las razones anteriores, considerando solo el aumento en el índice Altmetric y el número de citas de artículos que tienen preprints asociados. El conjunto de datos seleccionado, sin embargo, tiene algunas limitaciones. Los resultados se aplican solo a las revistas que tienen al menos 50 artículos con preprints asociados en bioRxiv, excluyendo las revistas multidisciplinarias. Además, no se consideraron las asociaciones con preprints depositados en otros servidores como Biología Cuantitativa en arXiv o PeerJ Preprints. También es necesario señalar que los resultados representan una fotografía del índice Altmetric y el número de citas en el momento de la recopilación de datos, ya que ambos varían con el tiempo, y el artículo no considera este cambio. Los autores consideran que a medida que la práctica de publicar preprints se vuelve más frecuente, la fracción de artículos con preprints asociados debería aumentar. Sin embargo, advierten que, debido a la naturaleza observacional del estudio, no es posible inferir que depositar un preprint provoca un índice Altmetric más alto o más citas del artículo publicado. Un posible escenario para tal correlación sería, por ejemplo, que los autores que depositan sus artículos como preprints sean más activos en las redes sociales, lo que podría conducir a índices altmétricos más altos y una mayor exposición indirectamente a más citas.

El aspecto positivo del estudio, a pesar de las limitaciones, es estimular el debate sobre los preprints en todas las áreas del conocimiento e involucrar a autores, editores, instituciones de investigación, agencias de desarrollo, gobiernos y sociedad, destacando los beneficios de poner a disposición de inmediato en Acceso abierto los resultados de la investigación, independientemente de la publicación en revistas y el debido proceso de revisión por pares.

En este sentido, el programa SciELO y el Public Knowledge Project (PKP) han establecido un acuerdo para desarrollar un servidor de preprints multidisciplinario y multilingüe basado en Open Journal Systems (OJS), que debería estar operando a mediados de 2020, y estar integrado en las más de 1.200 revistas de la red. SciELO.

Notas

1. Altmetric Attention Scorees el nombre dado a Altmetric Score, el índice de impacto de una publicación basada en el monitoreo en línea de redes sociales, a partir de junio de 2016, según una nota publicada en el blog de Altmetric. WILLIAMS, C. The Altmetric score is now the Altmetric Attention Score. [online] Altmetric blog, 2016[viewed 29 January 2020] Available from https://www.altmetric.com/blog/the-altmetric-score-is-now-the-altmetric-attention-score/

2. ARAUJO, R. Presença e impacto dos periódicos na web social: Rumo ao fator de impacto de mídias sociais [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/07/26/presenca-e-impacto-dos-periodicos-na-web-social-rumo-ao-fator-de-impacto-de-midias-sociais/

3. VELTEROP, J. Comunicación y revisión por pares deben ser separados universalmente [online]. SciELO en Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2018/05/25/comunicacion-y-revision-por-pares-deben-ser-separados-universalmente

Referencias

ALVAREZ, G.R. and CAREGNATO, S.E. Preprints na comunicação científica da Física de Altas Energias: análise das submissões no repositório arXiv (2010-2015). Perspectivas em Ciência da Informação [online]. 2017, vol. 22, no 2, pp. 104-117, ISSN: 1981-5344 [viewed on 29 January 2020]. DOI: 10.1590/1981-5344/2830. Available from: http://ref.scielo.org/whczt8

ARAUJO, R. Presença e impacto dos periódicos na web social: Rumo ao fator de impacto de mídias sociais [online]. SciELO em Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/blog/2018/07/26/presenca-e-impacto-dos-periodicos-na-web-social-rumo-ao-fator-de-impacto-de-midias-sociais/

FU, D.Y. and HUGHEY, J.J. Meta-Research: Releasing a preprint is associated with more attention and citations for the peer-reviewed article. eLife [online]. 2019, vol. 8, e52646 [viewed 29 January 2020]. DOI: 10.7554/eLife.52646. Available from: https://elifesciences.org/articles/52646

PUBLIC KNOWLEDGE PROJECT and SCIENTIFIC ELECTRONIC LIBRARY ONLINE. PKP y SciELO anuncian el desarrollo de un sistema de código fuente abierto de Servidor de Preprints [online]. SciELO en Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2018/09/21/pkp-y-scielo-anuncian-el-desarrollo-de-un-sistema-de-codigo-fuente-abierto-de-servidor-de-preprints

Reporting Preprints and Other Interim Research Products [online]. National Institutes of Health (NIH). 2017 [viewed 29 January 2020]. Available from: http://grants.nih.gov/grants/guide/notice-files/NOT-OD-17-050.html

SERGHIOU, S. and IOANNIDIS, J.P.A. Altmetric scores, citations, and publication of studies posted as preprints. JAMA [online]. 2018, vol. 319, no. 4, pp. 402–404 [viewed 29 January 2020]. DOI: 10.1001/jama.2017.21168. Available from: https://jamanetwork.com/journals/jama/fullarticle/2670247

SEVER, R., EISEN, M. and INGLIS, J. Plan U: Universal access to scientific and medical research via funder preprint mandates. PLOS Biology [online]. 2019, vol. 17, no 6, e3000273 [viewed 29 January 2020]. DOI: 10.1371/journal.pbio.3000273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000273

SPINAK, E. Acelerando la comunicación científica vía preprints [online]. SciELO en Perspectiva, 2019 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2019/10/04/acelerando-la-comunicacion-cientifica-via-preprints

SPINAK, E. ¿Qué es este asunto de los preprints? [online]. SciELO en Perspectiva, 2016 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2016/11/22/que-es-este-asunto-de-los-preprints

VELTEROP, J. Comunicación y revisión por pares deben ser separados universalmente [online]. SciELO en Perspectiva, 2018 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2018/05/25/comunicacion-y-revision-por-pares-deben-ser-separados-universalmente

VELTEROP, J. Preprints – el camino a seguir para un intercambio de conocimientos rápido y abierto [online]. SciELO en Perspectiva, 2017 [viewed 29 January 2020]. Available from: https://blog.scielo.org/es/2017/02/01/preprints-el-camino-a-seguir-para-un-intercambio-de-conocimientos-rapido-y-abierto

We now accept preprints in grant applications. [online] Wellcome. 2017 [viewed 29 January 2020]. Available from: https://wellcome.ac.uk/news/we-now-accept-preprints-grant-applications

WILLIAMS, C. The Altmetric score is now the Altmetric Attention Score. [online] Altmetric blog. [viewed 29 January 2020] Available from https://www.altmetric.com/blog/the-altmetric-score-is-now-the-altmetric-attention-score/

Enlaces externos

arXiv <https://arxiv.org/>

bioRxiv <https://www.biorxiv.org/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak