Acoplando pre-prints y arbitrajes post publicación para una publicación científica económica, justa y eficaz [Publicado originalmente en el blog “it is not junk” de Michael Eisen]

Por Michael Eisen y Leslie B. Volsshall

Imagen: BRENDAN MONROE.

Los artículos científicos son el resultado primario tangible y duradero de un científico. Esta es la forma en que comunicamos nuestros descubrimientos, y cómo somos evaluados para contratos, promoción y premios. El sistema actual por el cual se publican los artículos científicos es anterior a Internet por varios cientos de años, y ha cambiado poco a lo largo de los siglos.

Creemos que este sistema no sirve más a las necesidades de los científicos.

1. Es lento. Los manuscritos pasan una media de nueve meses en revisión por pares antes de la publicación, y los árbitros demandan en forma creciente cada vez más datos y más experimentos para endosar un artículo para publicación. Estas demoras enlentecen en forma masiva la difusión del conocimiento científico.
2. Es caro. Gastamos $10 mil millones al año en la publicación de revistas en ciencia y medicina, más de $6.000 por artículo, y en forma creciente estos costos provienen de las becas de investigación.
3. Es arbitrario. El sistema actual de revisión por pares es defectuoso. Artículos excelentes son rechazados, y se aceptan artículos defectuosos. A pesar de esto, el nombre de la revista continua siendo usado como un indicador de la calidad del artículo.
4. Es inaccesible. Incluso con los esfuerzos significativos del movimiento de acceso abierto, la vasta mayoría de la literatura científica no es accesible sin una suscripción.

En vista de estos problemas, apoyamos firmemente el objetivo de ASAP Bio para acelerar la disponibilidad en línea de los manuscritos de investigación biomédica. Si todos los investigadores biomédicos publicaran copias de sus artículos cuando están prontos para compartirlos, estas cuatro patologías principales en publicación científica podrían curarse.

El objetivo de ASAP Bio de conseguir donantes y otros interesados para apoyar la adopción de los pre-prints es encomiable. Pero sin una reforma fundamental en la forma en que se lleva a cabo el arbitraje por pares, la presión por los pre-prints no tendrá éxito. Por lo tanto, una meta importante y adicional para la reunión debe ser que los financiadores respalden mecanismos alternativos para llevar a cabo el arbitraje por pares. Estos mecanismos operarían por fuera del sistema tradicional basado en las revistas y se enfocarían en la calidad, audiencia e impacto de los trabajos publicados exclusivamente como “pre-prints”. Si se estructuraran apropiadamente, anticipamos que un nuevo sistema de publicación anticipada (pre-print) acoplado con arbitraje por pares post publicación reemplazará la publicación científica tradicional en la misma forma como las revisiones en línea orientadas por el usuario (Amazon, Yelp, Trip Advisor, etc.) han reemplazado las métricas orientadas por las editoriales para evaluar la calidad (Consumer Reports, Zagat, Fodor’s, etc.).

En este documento explicamos por qué la adopción de pre-prints y la reforma de revisión por pares son inseparables, describen posibles alternativas para sistemas de revisión por pares, y sugiere pasos concretos que los financiadores de investigación deberían adoptar para impulsar cambios en el arbitraje para promover exitosamente la adopción de pre-prints.

Pre-prints y revisión por pares basados en revistas no pueden coexistir

El ensayo por Ron Vale que llevó a la reunión de ASAP Bio se basa en la idea de que se deberían usar los pre-prints para aumentar los arbitrajes por pares existentes basados en revistas. En el modelo de Vale, los investigadores biomédicos deberían publicar los artículos en servidores de pre-prints y entonces enviarlos a las revistas tradicionales, las que harían el arbitraje como lo hacen hoy en día, y en última instancia publicar aquéllos que se consideren adecuados para su revista.

Hay numerosas razones por la que tal sistema sería indeseable – y dejaría intacto a un sistema de revistas que es ineficiente, ineficaz, inaccesible y caro. Pero, en lo inmediato, simplemente no hay forma de hacer una simbiosis que funcione entre pre-prints y el sistema existente de revistas.

Los servidores de pre-prints, tales como BioRxiv, dirigidos por la bien respetada Cold Spring Harbor Press, ahora ofrece a los investigadores biomédicos la opción de publicar sus artículos inmediatamente, a un costo mínimo. Sin embargo los biólogos han sido reacios en hacer uso de esta oportunidad porque no tienen incentivos para hacerlo, y en muchos casos tienen incentivos para no hacerlo. Si nosotros como una comunidad biomédica deseamos promover la adopción universal de pre-prints, tenemos que hacer algo más que consentir solo con palabras al potencial de los pre-prints, tenemos que cambiar los incentivos que impulsan las decisiones de publicación. Y esto significa cambiar el arbitraje por pares.

¿Por qué están vinculados los pre-prints y los arbitrajes por pares? Los científicos publican por dos razones: para comunicar su trabajo a sus colegas, y para obtener crédito para contratos, promoción y financiamiento. Si la conducta de publicación estuviera primariamente impulsada por el deseo de comunicar, los científicos biomédicos saltarían frente a la oportunidad de publicar pre-prints, que harían que su trabajo estuviera disponible a una audiencia lo más amplia posible en el tiempo más corto posible y virtualmente sin costo. Esto no pone de relieve la realidad que, para la mayoría de los investigadores biomédicos, las decisiones sobre cómo publicar están impulsadas casi enteramente por el impacto que tengan estas decisiones en sus carreras.

Los pre-prints no serán aceptados por los científicos biomédicos hasta que se deje de tratarlos como “pre” algo, lo que sugiere que una versión “real” mejor aún está por venir. En su lugar los pre-prints tendrían que ser aceptados como trabajos publicados. Esto puede ocurrir solamente si primero podemos crear y aceptar en estos trabajos ya publicados, sistemas para evaluar su calidad e impacto, y su audiencia adecuada.

Pero incluso si estamos equivocados, y los pre-prints llegaran a ser la norma, todavía deberíamos crear una alternativa a las revistas basadas en la revisión por pares. Si todos, o incluso la mayoría de los artículos estuvieran disponibles gratuitamente en línea, es casi seguro que las bibliotecas comenzarían a cortar suscripciones y la publicación de revistas tradicionales, que todavía se basan casi exclusivamente en el ingreso de suscripciones, ya no serían económicamente viables.

Por lo tanto, la creencia en la importancia del uso de pre-prints en la biomedicina requiere la creación de un sistema alternativo para evaluar artículos. Por eso sugerimos que la acción más importante para los financiadores, universidades, y otras partes interesadas no es solamente aprobar el uso de pre-prints en biomedicina, sino aprobar el desarrollo y el uso de una alternativa viable a las títulos de revistas en la evaluación de la calidad, impacto, y la audiencia de trabajos publicados exclusivamente como “pre-prints”.

Arbitraje por pares en la Era Internet

El sistema actual de revistas basado en la revisión por pares intenta asegurar la calidad de trabajos publicados; ayudar a los lectores en encontrar artículos de importancia e interés para ellos; y asignar valor a los trabajos individuales y a los investigadores que los crearon. El arbitraje por pares de obras en post publicación inicialmente publicadas como pre-prints no solamente puede replicar estos servicios, sino hacerlos más rápidos, baratos y más efectivamente.

La principal justificación para llevar a cabo la revisión por pares antes de la publicación es que previene que vean la luz del día los trabajos defectuosos. Invitar a un grupo de dos o tres expertos para evaluar los métodos, razonamiento, y presentación de la ciencia en el artículo, indudablemente lleva a identificar y corregir muchos errores.

Pero cualquier científico en actividad puede fácilmente señalar a artículos profundamente errados que pasaron por el arbitraje de pares en su especialidad, incluyendo las revistas supuestamente de alto perfil. Incluso cuando se identifican errores, raramente importa. En un mundo donde al título de la revista es moneda aceptada de calidad, un artículo profundamente defectuoso en Science o Nature todavía sigue siendo un artículo en Science o Nature.

La revisión en pre publicación fue desarrollada y optimizada para revistas impresas, cuando el espacio tenía que ser racionado para balancear los altos costos de impresión y envío de una revista. Pero hoy en día es absurdo confiar solo en las opiniones de dos o tres revisores quienes podrían ser o no los mejores calificados para evaluar un artículo, quienes a menudo no quieren leer el artículo en primer lugar, quienes actúan bajo una intensa presión de plazos, y quienes están lanzando un juicio en un punto fijo en el tiempo, para ser los únicos árbitros de la validez y valor de un trabajo. El arbitraje post publicación de pre-prints es arbitraje científico optimizado para la Era Internet.

Comenzar a experimentar con sistemas de revisión post publicación ahora acelerará su desarrollo y aceptación, y es el camino más rápido a la publicación universal de pre-prints. En el espíritu de la experimentación. Proponemos a continuación un sistema posible.

Un sistema de arbitraje por pares para post publicación

En primer lugar, los autores publicarían artículos sin revisión en servidores de pre-prints que los controlarían para remover spam y artículos que no reúnen las especificaciones técnicas y éticas, antes de hacerlos disponibles en línea gratuitamente. En este punto comienza el arbitraje por pares, procediendo a lo largo de dos vías paralelas.

Vía 1: Revisión organizada en la cual grupos, tales como sociedades científicas o conjuntos de investigadores auto organizados, representando campos o áreas de interés se organizan para la revisión de artículos que ellos creen que pueden ser relevantes para investigadores en su área. Ellos podrían o bien solicitar revisores o invitar a miembros de su grupo a presentar opiniones, y se publicarían los resultados de estas revisiones en un formato estandarizado. Estos grupos podrían ser evaluados por una coalición de agencias de financiación, bibliotecas, universidades, y otros actores de acuerdo a un conjunto de normas acordadas en común, similar al examen que se hace para las revistas tradicionales en PubMed.

Vía 2: Presentaciones individuales para revisión por cualquiera que haya leído el artículo. Estas revisiones usarían el mismo formato de las revisiones organizadas y, al igual que las revisiones organizadas, llegaría a ser parte del registro permanente del artículo. Idealmente, desearíamos que cualquiera que lea el articulo cuidadosamente ofreciera su punto de vista sobre la validez, audiencia e impacto. Para asegurar que el sistema no esté dañado, las revisiones enviadas individualmente serían examinadas para comprobar su adecuación, conflictos de interés, y otros problemas, y habrían mecanismos para hacer valer las quejas sobre las revisiones enviadas.

Los autores tendrían la capacidad en cualquier momento de responder a los revisores y presentar versiones revisadas del manuscrito.

Este sistema tiene muchas ventajas inmediatas respecto al sistema actual de arbitraje por pares pre publicación. La cantidad de escrutinio que recibe un artículo se escala con el nivel de interés en el artículo. Si un artículo es leído por miles de personas, muchos más que los tres revisores seleccionados por una revista estarán en posición de opinar acerca de su validez, audiencia, e importancia. En vez de evaluarse un artículo solamente en un punto fijo en el tiempo, el proceso de arbitraje por pares continuaría durante toda la vida útil del artículo.

¿Qué pasa con las preocupaciones sobre el anonimato de los revisores? Pensamos que el arbitraje por pares funciona mejor cuando es completamente abierto y se identifican los revisores. Esto produce un desincentivo a las diferentes formas de abuso, y permite a los lectores poner la revisión en perspectiva. También reconocemos que hay muchos científicos que no se sentirían a gusto expresando sus honestas opiniones sin la protección del anonimato. Por esto proponemos que las revisiones se permitan mantener en el anonimato a condición de que uno de los grupos definidos en la Vía 1 más arriba demuestren la falta de conflicto y la experiencia adecuada. Esto logra el equilibrio correcto entre proporcionar anonimato a los revisores mientras que protege a los autores de los ataques anónimos.

¿Qué pasa con la preocupación de que se publiquen artículos defectuosos, ser objeto de mal uso o de mala interpretación mientras están siendo revisados? No consideramos que este sea un problema serio. Las personas en la mejor posición para hacer uso inmediato de artículos publicados – científicos en actividad en el área del artículo – están en la mejor posición para juzgar la validez del trabajo ellos mismos y compartir las impresiones con otros. Los lectores que quieren evaluación externa sobre la calidad del trabajo pueden esperar hasta que llegue, y no estarán peor que lo que están en el sistema actual. Si se implementa en forma apropiada, este sistema obtendría lo mejor de ambos mundos – acceso rápido para quienes lo desean y precisan, y control de calidad a lo largo del tiempo para una audiencia más amplia.

Evaluando calidad y audiencia sin los nombres de revistas

La razón principal que el sistema de evaluación por pares de revistas persiste a pesar de su naturaleza anacrónica es que el título de la revista en la que se publica un artículo científico refleja la opinión de los revisores acerca de la audiencia apropiada para el artículo y su valoración de su contribución a la ciencia. Es evidente que hay valor en tener personas que leen artículos para juzgar su audiencia, potencial e impacto, y hay muchas circunstancias donde tener una evaluación externa del trabajo de un científico puede ser de utilidad. Pero no hay razón por la que tengamos que usar títulos de revistas para transmitir esta información.

Sería relativamente simple darle a los revisores de pre-prints publicados un conjunto de herramientas para especificar la audiencia más apropiada para el artículo, anticipar el nivel de interés en el trabajo, y estimar el impacto del trabajo. También podemos tomar ventaja de varios métodos automatizados para sugerir artículos a los lectores, y para que esos lectores califiquen la calidad del artículo mediante un conjunto de métricas útiles. Los sistemas que usan Internet para aprovecha la experiencia colectiva han cambiado fundamentalmente casi todas las áreas de la sociedad humana – es el momento para que hagan lo mismo con la ciencia.

Acciones

Un compromiso para promover pre-prints en biomedicina requiere un compromiso para promover un nuevo sistema para la revisión de trabajos publicados inicialmente como pre-prints sin revisión. Tales sistemas son una mejora práctica y dramática al sistema actual. Hacemos un llamado a los financiadores y otras partes interesadas para apoyar la publicación universal de pre-prints y arbitraje por pares post publicación como pasos inseparables que mejoraría dramáticamente la forma en que los científicos comunican sus ideas y descubrimientos. Reconocemos que un sistema de este tipo requiere normas, y proponemos que un resultado importante de la reunión de ASAP Bio sea la creación de una “Organización Internacional de Normas de Arbitraje por Pares” (“International Peer Review Standards Organization”) para trabajar con financiadores y otras partes interesadas para establecer estos criterios y trabajar a través de muchos asuntos importantes, y entonces oficiar como un cuerpo regulador para los grupos de revisores que deseen participar en el sistema. Estamos dispuestos a tomar la delantera para reunir un grupo internacional de científicos principales para poner en marcha esta organización.

Leer el post original:

http://www.michaeleisen.org/blog/?p=1820

Sobre Michael Eisen y Leslie V. Vosshall

Michael Eisen – Soy biólogo en la UC Berkeley e Investigador del Howard Hughes Medical Institute. Trabajo principalmente en moscas, y mi investigación comprende la evolución, desarrollo, genética, genómica, ecología química y comportamiento. Soy fuerte defensor de la ciencia abierta, y cofundador de la Public Library of Science. Más importante, soy fanático de los Red Sox (Equipo norteamericano de béisbol). Más sobre mí aquí. Me pueden contactar en: mbeisen@berkeley.edu y @mbeisen en Twitter. Vea más: http://www.michaeleisen.org/blog/?p=1820#sthash.xyeqzY06.10pxav3O.dpuf

Leslie B. Vosshall es ‘Robin Chemers Neustein’ Professor y Director del Laboratory of Neurogenetics and Behavior en The Rockefeller University, e investigador del Howard Hughes Medical Institute. Vosshall recibió un A.B. en Bioquímica de la Univesidad de Columbia en 1987 y un Ph.D. de la Rockefeller University en 1993. Continuó su trabajo posdoctoral en la Universidad de Columbia, y se unió a la Facultad de Rockefeller en 2000. Recibió en 2008 el Premio Lawrence C. Katz de la Universidad de Duke, el Premio DART/NYU Biotechnology en 2010, en 2011 el Gill Young Investigator Award, y fue elegida para la American Association for the Advancement of Science (AAAS) en 2014. Ella fue elegida para la National Academy of Sciences en 2015. Fotografía: Evan Sung, 2011. CV de Leslie Vosshal: NIH Biosketch 2015

Traducido del original en inglés por Ernesto Spinak.