eLife prueba un enfoque innovador de evaluación por pares

Por Lilian Nassi-Calò

Imagen: vividbiology.com.

La comunicación científica de la era moderna, hasta hace poco, se apoyaba tradicionalmente sobre tres pilares fundamentales: las revistas como principales transmisores de la información científica, los sistemas de evaluación por pares pre-publicación, y los índices de impacto basados en citas.

El escenario actual, sin embargo, no sólo cuestiona la solidez de estos pilares, sino que también presenta alternativas viables, tal vez incluso mejores, que vienen siendo adoptadas con creciente credibilidad por la comunidad científica y compartidas con la sociedad.

La evaluación por pares, en particular, pasa por un momento de transición, en el cual los modelos clásicos se abandonan en pro de formas innovadoras que aportan mayor credibilidad, transparencia, responsabilidad, rapidez y calidad al proceso, contribuyendo así a acelerar la publicación de los resultados de la investigación sin sobrecargar a los editores y los revisores.

Numerosas revistas vienen adoptando modalidades abiertas de evaluación por pares, en particular en la última década. Sin embargo, bajo la categoría evaluación por pares abierta existen decenas de diferentes tipos y procedimientos, cada uno con ventajas, desventajas, y limitaciones, que son aplicables idealmente a ciertas revistas y/o áreas del conocimiento.

La revista eLife es una publicación arbitrada de acceso abierto en el área de biomedicina y ciencias de la vida, creada en 2012 por un consorcio formado por el Howard Hughes Medical Institute, la Sociedad Max Plank y el Wellcome Trust. La organización sin fines de lucro pasó a operar con tasas de publicación (APC) desde 2017 para cubrir los costos de publicación.

eLife adopta, desde su primer número, un formato de evaluación por pares diferente al utilizado por muchas revistas. Mientras que la mayoría de las publicaciones persistía con la evaluación pre-publicación en las modalidades clásicas, simple o doble ciego, eLife ya adoptaba la revisión por pares abierta, en la cual editores y evaluadores se reúnen para discutir sus recomendaciones y emiten un único dictamen consolidado sobre las revisiones que deben ser hechas para que el artículo sea aceptado para publicación. Este dictamen se envía en promedio 30 días después de la presentación, y se publica brevemente después del artículo. La transparencia del proceso alienta opiniones constructivas y desalienta múltiples rondas de revisión, ya que el editor está preparado para evaluar las nuevas presentaciones sin necesidad de consultar a los expertos.

Randy Schekman¹, editor jefe, y Mark Patterson², director ejecutivo de la publicación, dedicaron el editorial del número de junio³ a relatar un experimento con el proceso de evaluación por pares de eLife. Ellos pretenden probar la viabilidad de una forma aún más participativa de revisión por pares, en la cual los autores podrán controlar la decisión sobre publicar (o no) y cómo ellos responderán a los comentarios de los evaluadores. Básicamente, al enviar un manuscrito para evaluación por pares, el periódico asume el compromiso de publicarlo, junto con las opiniones, la carta de decisión y las respuestas de los autores.

Al proponer el “experimento” el editor jefe y el director ejecutivo de eLife pretenden reducir la carga del prestigio de la revista en la evaluación de la investigación, igualar las relaciones entre autores, editores y evaluadores y aumentar la eficiencia en la publicación de la revista.

La prueba se ofrecerá a los primeros 300 autores que envíen artículos a la revista. Los artículos pasarán por el proceso editorial estándar: serán designados a un Editor Senior que hará la evaluación inicial, en conjunto con otros editores. Los artículos seleccionados en esta fase se enviarán a los expertos externos para la revisión por pares. Generalmente un tercio de los artículos enviados prosigue para la evaluación por pares y la mitad de éstos se acepta para la publicación. En este experimento, sin embargo, la decisión de enviar para evaluación por pares será equivalente a aceptar el artículo para publicación.

Al compartir con los autores la decisión de publicar – o no – el artículo, el editor y los evaluadores discuten con éstos sus comentarios. Sin embargo, son los autores quienes deciden de qué forma responderán a los comentarios. Pueden decidir realizar nuevos experimentos, o ajustar las conclusiones, rehacer las pruebas estadísticas, o incluso retirar el artículo, si la revisión por pares apunta fallas graves en el manuscrito. Al final, la presentación del artículo y la decisión de publicarlo o no quedará a cargo de los autores. La revista publicará la versión final junto con el comentario consolidado de los evaluadores, la carta de decisión y las respuestas de los autores. Además, el editor y los evaluadores van a juzgar en qué extensión los autores respondieron a los cuestionamientos planteados en la evaluación, emitiendo uno de los siguientes conceptos: todos los argumentos fueron resueltos, pocos argumentos permanecen no resueltos, o muchos argumentos permanecen no resueltos.

Los artículos que se publiquen como parte integrante de esta prueba se denominarán “Research Communication” para diferenciarlos de los artículos que pasaron por el proceso normal de evaluación por pares de eLife.

Los principales objetivos de la prueba, según eLife, son descubrir las fortalezas y debilidades del enfoque, así como consecuencias inesperadas. Los editores desean conocer detalles sobre los participantes de la prueba (autores y evaluadores) y tienen interés en comparar los datos de la prueba con los datos actuales de la revista, como por ejemplo: la tasas de artículos que prosiguen para la evaluación por pares, y la tasa global de aprobación, entre otros.

“No podemos predecir cómo los autores, editores y evaluadores se comportarán durante la prueba, ya que estamos cambiando una parte fundamental de lo que hacen normalmente […] Sin embargo, ya que nuestro objetivo es explorar cuán selectivamente las revistas y la evaluación por pares pueden evolucionar para apoyar la ciencia de forma más eficaz, estamos convencidos de que este experimento vale la pena” concluye el editorial³.

Notas

1. Randy Schekman, de la Universidad de California en Berkeley, recibió el Premio Nobel de Fisiología y Medicina en 2013, junto con otros dos investigadores por sus trabajos sobre la regulación del transporte de las vesículas a través de la membrana celular.

2. Mark Patterson es Director Ejecutivo de eLife. Patterson trabajó como investigador en genética durante 12 años, ayudó a lanzar el Nature Reviews Journal, varias revistas PLoS, y fue uno de los fundadores de OASPA y de eLife.

3. PATTERSON, M. and SCHEKMAN R. A new twist on peer review. eLife [online]. 2018, vol. 7, e36545 [viewed 11 July 2018]. DOI: 10.7554/eLife.36545. Available from: https://elifesciences.org/articles/36545

Referencias

NASSI-CALÒ, L. eLife: un ejemplo de mejora de la evaluación por pares [online]. SciELO en Perspectiva, 2015 [viewed 11 July 2018]. Available from: https://blog.scielo.org/es/2015/05/06/elife-un-ejemplo-de-mejora-de-la-evaluacion-por-pares/

PATTERSON, M. and SCHEKMAN R. A new twist on peer review. eLife [online]. 2018, vol. 7, e36545 [viewed 11 July 2018]. DOI: 10.7554/eLife.36545. Available from: https://elifesciences.org/articles/36545

SPINAK, E. Sobre las veintidós definiciones de la revisión abierta por pares… y más [online]. SciELO en Perspectiva, 2018 [viewed 11 July 2018]. Available from: https://blog.scielo.org/es/2018/02/28/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas

Enlaces externos

eLife Sciences <http://elifesciences.org/>

Mark Patterson <https://orcid.org/0000-0001-8615-6409>

Randy Schekman < http://orcid.org/0000-0001-7237-0797>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak