¿Son los preprints un problema? 5 formas de mejorar la calidad y credibilidad de los preprints [Publicado originalmente en el LSE Impact Blog en septiembre/2020]

Por Joeri Tijdink, Mario Malicki, Gowri Gopalakrishna e Lex Bouter

Imagen: AbsolutVision.

La investigación se ha convertido en el motor dominante de las decisiones de política de salud durante la pandemia de COVID-19. Nos ha guiado dentro y fuera de los encierros. Nos ha ayudado a comprender el nuevo patógeno y a idear métodos para eludir su impacto a través del tratamiento, el cambio de comportamiento y tal vez pronto con una vacuna. La investigación puede y claramente ha salvado vidas. Sin embargo, la investigación sobre esta pandemia también ha desinformado a los formuladores de políticas y una parte de esa desinformación provino de preprints.

¿Qué son los preprints?

Los preprints son informes de investigación que aún no han sido revisados por pares ni aceptados para su publicación en una revista científica. Dichos informes de investigación, compartidos a través de servidores de preprints, permiten a los investigadores compartir rápidamente sus resultados sin demora. Permitiendo que las comunicaciones académicas se compartan rápida y libremente y también sirven para reclamar prioridad. La publicación de informes de investigación en servidores de preprints también significa que la retroalimentación útil se puede recopilar más rápido y puede fomentar la colaboración entre investigadores.

Aunque los primeros servidores de preprint tienen varias décadas, durante los últimos cinco años han surgido más de 30 nuevos servidores de preprint, como resultado de su fuerte promoción en el movimiento de ciencia abierta. Esto se ha acelerado aún más durante la pandemia de COVID-19. Solo en los últimos meses, el servidor de preprints biomédicas, MedRXiv, ha experimentado un aumento del 400% en la publicación de preprints en comparación con el mismo período en 2019. Si bien esto significa que la investigación se está produciendo y compartiendo a una velocidad cada vez mayor, puede también será perjudicial si esa investigación no se realiza con los más altos estándares de calidad.

¿Son los preprints una fuente creíble?

Durante la pandemia en curso, hemos visto que los preprints ganan rápidamente la atención de los medios y encabezan las listas de altmetrías. Algunos de los preprints más notables incluyen un estudio que vincula el VIH y COVID-19. Sin embargo, los autores se retractaron rápidamente del estudio dos días después de que recibió una reacción violenta de la comunidad científica. Otro estudio sobre la seroprevalencia en el condado de Santa Clara, EEUU, fue revisado por sus autores menos de dos semanas después de su aparición como resultado de críticas sustanciales sobre sus métodos y el uso indebido de posibles implicaciones políticas para impulsar ciertas agendas políticas.

Algunos investigadores sienten que la crítica rápida y abierta de los pares que estos preprints recibieron en ausencia de una revisión formal por pares puede considerarse un mecanismo de autocorrección de los preprints. Sin embargo, actualmente no sabemos con qué profundidad se examinan los preprints y si el “mecanismo de autocorrección” que hemos visto con los preprints de COVID-19 es una excepción. Tampoco se sabe con qué frecuencia los autores de preprints abordan los comentarios que reciben. El servidor de preprints más grande y de más larga duración, arXiv no tiene una sección de comentarios moderada, mientras que bioRxiv y medRxiv moderan sus secciones de comentarios para comentarios ofensivos y no pertinentes. Hasta ahora, la mayoría de los comentarios y el escrutinio de los preprints parecen ocurrir en Twitter, especialmente para los preprints de COVID-19. Hasta ahora, solo alrededor del 10% de todos los preprints reciben comentarios. Por lo tanto, esta característica todavía está infrautilizada.

Entonces, ¿son los preprints en general una fuente creíble de información si no se someten a algún tipo de revisión por pares? Creemos que lo son. La pequeña cantidad de estudios que analizan el tema parece indicar que alrededor del 70% de los preprints se publican eventualmente en revistas científicas, con solo diferencias mínimas entre el preprint y su versión publicada. Sin embargo, la investigación, sin importar si es una publicación de una revista o si se comparte a través de servidores de preprints, tiene y debe cumplir siempre con los más altos estándares de rigor metodológico e integridad de la investigación para minimizar el riesgo de desinformar a los compañeros investigadores, los responsables políticos y el público en general. La implicación es que en ausencia de una revisión formal por pares, tanto los servidores como los autores de los preprints deben adherirse a prácticas de investigación responsables al publicar en preprints.

Cinco formas de fomentar prácticas responsables de preimpresión

Para ayudar a garantizar que los preprints sean una fuente confiable de información, proponemos varias formas en que los servidores de preprint y los autores de preprints pueden salvaguardar la credibilidad de sus preprints, dado que algunos servidores ya incorporan algunas de nuestras recomendaciones. Estas recomendaciones se recopilaron en función de la experiencia en investigación de los autores en preprints y modalidades de ciencia abierta.

A continuación, destacamos 5 recomendaciones claves que consideramos las más prácticas y concretas para mejorar la calidad del preprint. Una lista completa de recomendaciones está disponible en Open Science Framework (OSF).

Para servidores de preprint

1. Proporcionar una guía clara a los autores sobre cómo realizar, informar, compartir y actualizar sus preprints (y conjuntos de datos).
2. Vincular preprints con versiones de informes de investigación (por ejemplo, proporcionando referencias o enlaces) e indicar claramente cuándo un preprint representa una versión enviada o publicada de un informe de investigación.

Para autores de preprints

3. Aplique las mismas prácticas de investigación responsables a la publicación de preprints que aplicaría a las publicaciones de su revista. Si el impacto potencial de los resultados requiere una publicación rápida, indique claramente que los resultados son preliminares y cuándo estará disponible el informe final del estudio y los métodos detallados.
4. Incorpore el espíritu de las normas mertonianas de comunalidad y escepticismo desorganizado siendo un revisor activo de los preprints en su área de especialización. Esfuércese por proporcionar al menos tantas revisiones de preprints como espera recibir de otros.
5. Cuando se comunique con los medios acerca de sus preprints o critique los preprints de otros autores, hágalo de manera responsable. Sea explícito sobre los puntos fuertes y las limitaciones de sus preprints.

Conclusión

En la pandemia en curso, no hay duda de que enfrentamos numerosos desafíos que pueden comprometer el rigor metodológico y la integridad de la investigación que se está postergando. El creciente número de preprints y su uso en la configuración de la política de salud pública hacen que las mejoras en su calidad sean urgentes e importantes. Esta es una responsabilidad conjunta de todas las partes interesadas del sistema científico. En este informe, describimos algunos pasos implementables que creemos que pueden ser efectivos para mejorar la calidad y credibilidad de los preprints.

Referências

BAJAK, A. and HOWE, J. A Study Said Covid Wasn’t That Deadly. The Right Seized It [online]. The New York Time. 2020 [viewed 15 October 2020]. Available from: https://www.nytimes.com/2020/05/14/opinion/coronavirus-research-misinformation.html

BENDAVID, E., et al. COVID-19 Antibody Seroprevalence in Santa Clara County, California. medRxiv [online]. 2020 [viewed 15 October 2020]. DOI: 10.1101/2020.04.14.20062463. Available from: https://www.medrxiv.org/content/10.1101/2020.04.14.20062463v2

BRAINARD, J. In bid to boost transparency, bioRxiv begins posting peer reviews next to preprints [online]. Science. 2019 [viewed 15 October 2020]. Available from: https://www.sciencemag.org/news/2019/10/bid-boost-transparency-biorxiv-begins-posting-peer-reviews-next-preprints

CALLAWAY, E. Will the pandemic permanently alter scientific publishing?. Nature [online]. 2020, vol. 582, no. 7811, no. 167–168 [viewed 15 October 2020]. DOI: 10.1038/d41586-020-01520-4. Available from: https://pubmed.ncbi.nlm.nih.gov/32504015/

CHIARELLI, A., et al.Accelerating scholarly communication: The transformative role of preprints [online]. Zenodo. 2019 [viewed 15 October 2020]. DOI: 10.5281/zenodo.3357727. Available from: https://zenodo.org/record/3357727

FRASER, N. and KRAMER, B. covid19_preprints [online]. Figshare. 2020 [viewed 15 October 2020]. DOI: 10.6084/m9.figshare.12033672.v34. Available from: https://figshare.com/articles/software/covid19_preprints/12033672

KWON, D. How swamped preprint servers are blocking bad coronavirus research. Nature [online]. 2020, vol. 581, no. 7807, pp. 130-131 [viewed 15 October 2020]. DOI: 10.1038/d41586-020-01394-6. Available from: https://www.nature.com/articles/d41586-020-01394-6

PRADHAN, P., et al. Uncanny similarity of unique inserts in the 2019-nCoV spike protein to HIV-1 gp120 and Gag. bioRxiv [online]. 2020 [viewed 15 October 2020]. DOI: 10.1101/2020.01.30.927871. Available from: https://www.biorxiv.org/content/10.1101/2020.01.30.927871v1

Scientific research on the coronavirus is being released in a torrent [online]. The Economist. 2020 [viewed 15 October 2020]. Available from: https://www.economist.com/science-and-technology/2020/05/07/scientific-research-on-the-coronavirus-is-being-released-in-a-torrent

TIJDINK, J.K., et al. Preprints in overdrive: Supplementary Table 1 [online]. OSF. 2020 [viewed 15 October 2020]. Available from: https://osf.io/w4ydg/

Sobre Joeri Tijdink

Joeri Tijdink es psiquiatra y profesor asistente en el Amsterdam University Medical Center y VU Ámsterdam en los Países Bajos. Después de obtener su doctorado con su tesis titulada Publish & Perish, está involucrado en varios proyectos de investigación que estudian la integridad de la investigación. Su investigación se centra en la integridad de la investigación, la cultura de la investigación y la salud mental en el ámbito académico y también en las formas de fomentar prácticas de investigación responsables para los investigadores y dentro de las instituciones de investigación. Es el autora de la guía de autoayuda Scholar on the sofa; How to survive in academia.

Sobre Mario Malicki

Mario Malicki es coeditor en jefe de la revista Research Integrity and Peer Review con experiencia en medicina. Su doctorado fue en Integridad de las publicaciones científicas, y en investigaciones anteriores se centró en cuestiones de autoría, sesgo de publicación, instrucciones de las revistas a los autores y revisión por pares. Actualmente se encuentra en el Meta-Research Innovation Center de Stanford (METRICS), donde se centra en la meta-investigación de preprints.

Sobre Gowri Gopalakrishna

Gowri Gopalakrishna es epidemióloga de formación con un doctorado en epidemiología. Algunas de sus contribuciones notables incluyen su papel en el control y la contención del brote de SARS en Singapur en 2003. En su puesto actual, trabaja en estrecha colaboración con un equipo central para diseñar, implementar y finalmente analizar los resultados de una de las encuestas más grandes del mundo sobre prácticas de investigación responsables en los Países Bajos: Encuesta Nacional Holandesa sobre Integridad en la Investigación.

Sobre Lex Bouter

Lex Bouter tiene una cátedra titular en Metodología e Integridad en el Departamento de Epidemiología y Ciencia de Datos de los Centros Médicos de la Universidad de Ámsterdam y en el Departamento de Filosofía de la Facultad de Humanidades de la Vrije Universiteit. Es el presidente fundador de la World Conferences on Research Integrity Foundation.

Artículo original en inglés

https://blogs.lse.ac.uk/impactofsocialsciences/2020/09/23/are-preprints-a-problem-5-ways-to-improve-the-quality-and-credibility-of-preprints/

Traducido del original en inglés por Ernesto Spinak.