¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación?

Por Jan Velterop

“Men only care for science so far as they get a living by it, and that they worship even error when it affords them a subsistence.”¹ — Goethe²

Antes de abordar la cuestión del título, primero vamos a echar un vistazo a la revisión por pares. Se ha convertido en uno de los pilares en que descansa la ciencia, y con razón. Los resultados y las teorías de investigación científica deben ser examinados y evaluados críticamente antes de que sean considerados aptos para ser añadidos a lo que es el consenso científico en un momento dado. Las publicaciones siempre deberían ser abordadas con un cierto nivel profesional de escepticismo y nunca ser aceptadas prima facie. Y, lo más importante, que esto es válido independientemente de si un artículo ha sido arbitrado antes de ser publicado. Después de todo, el arbitraje pre publicación solo significa que unos pocos árbitros – generalmente dos – han revisado el artículo, y en el mejor de los casos, si los autores tienen suerte, esos árbitros resultan ser verdaderos expertos y conscientes y que se las arreglarán para ayudar a mejorar el artículo, y no algunos investigadores tomados al azar que finalmente respondieron a la invitación del editor para revisarlo. Si usted piensa que esto suena demasiado cínico, sólo recuerde el hecho de que casi cualquier artículo finalmente termina publicado en una revista supuestamente arbitrada. Solamente 1,4% de las 11.962 revistas académicas arbitradas supervisadas por Thomson Reuters (bastante menos de la mitad de las 28.000 estimadas que existen) tienen un Factor de Impacto de 10.0 o más, y solamente 62% tienen un Factor de Impacto de 1.0 o más. Digo esto para ilustrar que solo por ser una revista arbitrada no tiene nada que ver con tener una buena reputación o la calidad que generalmente se percibe asociada con eso.

La revisión por pares que cualquiera de los artículos de estas revistas ha sido objeto pudo haber sido razonable, o incluso bueno. El problema es que nadie sabe con seguridad en qué artículos es este el caso (con la posible excepción de los pocos artículos que han sido sometidos a procesos de revisión totalmente abierto, y para los cuales los informes de los revisores y las respuestas de los autores son públicas). Esto significa que un análisis exhaustivo de cualquier documento publicado siempre requiere una actitud crítica y profesionalmente escéptica.

Esto puede ser que no ocurra lo suficiente. Los resultados y las conclusiones presentadas en artículos en revistas arbitradas puede que no sean cuestionados con la suficiente frecuencia. El estado de “artículo revisado” puede que sea considerado demasiado a menudo como una garantía de veracidad. Por supuesto, esto es una conjetura que yo sólo podría respaldar con algunas indicaciones anecdóticas que recibo personalmente y de manera informal, pero la pregunta sigue siendo: ¿no sería el caso que la falta de reproducibilidad, bastante generalizada si esta encuesta de Nature³ sirve de guía, mejoraría si los lectores tuvieran que considerar los artículos de manera más crítica, debido a la ausencia de un arbitraje formal, y los autores lo supieran?

Si este es el caso, principalmente la publicación de preprints podría ofrecer una solución, porque los preprints no son formalmente arbitrados antes de la publicación, lo que debería incentivar a los lectores serios a ser cuidadosos y críticos antes de aceptar los resultados. Cualquier revisión post publicación, visible y que proviene de fuentes reveladas (no anónimas, lo cual es la norma para las revisiones pre publicación, y parte del problema), podría ayudar al lector en este respecto.

Para los autores, habría un incentivo para por lo menos asegurarse que las descripciones y métodos publicados en preprints son tales que podrían intentarse la replicación con éxito, no sea que obtengan una reputación de publicar resultados irreproducibles.

Notas

1. “Los hombres sólo se preocupan por la ciencia hasta el punto en que viven de ella, e incluso adoran el error si les ofrece una subsistencia” (Traducción libre)

2. GOETHE, J.W., et al. Conversations of Goethe with Eckermann and Soret. London: Smith, 1850, p. 271. [viewed 17 October 2016] Digitally available from: http://archive.org/stream/conversationsofg01goetuoft#page/n5/mode/2up

3. BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature. 2016, vol. 533, nº 7604, pp. 452-454. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Referencias

BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature. 2016, vol. 533, nº 7604, pp. 452-454. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

BOON, S. 21st Century Science Overload. Canadian Science Publishing. [viewed 17 October 2016]. Available from: http://www.cdnsciencepub.com/blog/21st-century-science-overload.aspx

GOETHE, J.W., et al. Conversations of Goethe with Eckermann and Soret. London: Smith, 1850, p. 271. [viewed 17 October 2016] Digitally available from: http://archive.org/stream/conversationsofg01goetuoft#page/n5/mode/2up

Journal impact factor 2016 Thompson Reuters. ResearchGate. Available from: http://www.researchgate.net/publication/304153883_Journal_impact_factor_2016_Thompson_Reuters

Sobre Jan Velterop

Jan Velterop (1949), geofísico marino llegó a ser editor científico a mediados de 1970. Comenzó su carrera de editor en Elsevier en Ámsterdam. En 1990 se convirtió en director de un diario holandés, pero retornó a la publicación internacional de ciencia en 1993 en Academic Press en Londres, donde desarrolló el primer acuerdo nacional que le dio acceso electrónico a todas las revistas AP a todos las instituciones de educación superior en el Reino Unido (más adelante conocido como el BigDeal). A continuación se unió a Nature como director pero rápidamente se cambió para ayudar a levantar a BioMed Central. Participó en la Budapest Open Access Iniative (BOAI). En 2005 se unió a Springer, con sede en el Reino Unido como Director de Acceso Abierto. En 2008 lo dejó para ir a ayudar en el desarrollo de enfoques semánticos para acelerar el descubrimiento científico. Es un defensor activo del Acceso Abierto conforme al BOAI, en el uso de la microatribución, el sello distintivo de la llamada “nanopublicación”. Publicó varios artículos en ambos temas.

Traducido del original en inglés por Ernesto Spinak.