Revisiones por pares abiertas: ¿la publicación de los informes de evaluación influye en el comportamiento de los revisores?

Por Lilian Nassi-Calò

Imagen: Jon Eric Marababol.

El término open peer review (OPR) – evaluación por pares abierta – abarca una serie de prácticas o modelos de evaluación por pares que tienen como objetivo aumentar la transparencia, eficiencia y la responsabilidad del proceso de revisión. La apertura de la evaluación por pares, en realidad, puede significar una amplia variedad de interacciones entre evaluadores, editores y autores, resultando en muchas combinaciones, como muestra un post reciente en este blog¹, a partir del trabajo de Ross-Hellauer.

Bajo el horizonte de la ciencia abierta, innumerables revistas vienen experimentando diferentes modelos de evaluación por pares abierta. Sus objetivos, entre otros, implican obtener opiniones de mejor calidad y críticas más constructivas, involucrar la participación de la comunidad científica en la evaluación, reconocer el trabajo de los evaluadores, y dar la debida visibilidad a los informes, que forman parte del registro científico de un estudio y que, en el modelo anterior, eran simplemente descartados después de la aprobación del manuscrito.

Muchos editores se rehúsan a adoptar prácticas abiertas de evaluación por innumerables motivos. El desconocer la reacción a esta práctica por parte de autores y evaluadores de la comunidad científica de su área puede ser una de ellas. Es posible que relatos de experiencias exitosas de otras revistas sobre la adopción de modelos de evaluación por pares abierta puedan alentarlos a adoptarla.

Un artículo publicado recientemente en Nature Communications² tuvo por objetivo reportar un estudio piloto realizado con cinco revistas de la editorial Elsevier en diferentes áreas del conocimiento sobre los efectos de publicar los informes de evaluación por pares de 9.220 artículos enviados entre 2010 y 2017. Los autores subrayan que la puesta a disposición de los informes de la evaluación por pares es uno de los aspectos más importantes -y menos problemático- de la evaluación por pares abierta, ya que no implica recursos financieros o tecnologías complejas.

El estudio evaluó varios parámetros, como la disponibilidad de los evaluadores en evaluar los artículos, la extensión de las recomendaciones, el tiempo de respuesta, el estilo y el tono de los informes y la decisión final (aceptado, pequeña revisión, revisión importante o rechazado). Los evaluadores, así como los autores de los artículos enviados durante el estudio, eran informados sobre la naturaleza del estudio en ocasión de la invitación para actuar como evaluador, y en este momento, podían declinar la invitación. En caso de que aceptaran, todavía tenían la opción de publicar su nombre y afiliación institucional en el informe.

Los informes de los artículos aceptados para publicación se publicaron en acceso abierto como material suplementario con DOI independiente, siendo citable y conectado al artículo en el sitio del editor, independientemente del modelo de suscripción de la revista (acceso abierto o pagado).

Resultados

De los más de 62 mil evaluadores invitados por las cinco revistas involucradas en el estudio piloto, sólo cerca de 22 mil (35,8%) concordaron en actuar como evaluadores, habiendo sido informados sobre la publicación de los dictámenes. Al evaluar el perfil de los evaluadores, fue posible constatar que investigadores mayores fueron los que más rechazaron hacer evaluaciones, mientras que los investigadores jóvenes, con o sin doctorado, eran los más dispuestos. En este análisis no se observaron diferencias de género.

Para probar la hipótesis de que el rechazo de los investigadores mayores fuera debido a la publicación de los informes, los autores del estudio compararon los resultados con las de cinco revistas Elsevier similares, que constituían el grupo de control y que realizaran la evaluación por pares convencional. Los resultados fueron similares, es decir, en el grupo de control los investigadores más jóvenes también eran los más propensos a aceptar realizar las evaluaciones.

El análisis de las recomendaciones de los evaluadores varió poco durante el estudio, que obtuvo proporcionalmente más rechazos y solicitudes de revisiones sustanciales. Los evaluadores más jóvenes y sin posición académica emitieron recomendaciones más positivas y menos rechazos. Sin embargo, en la pequeña parcela de evaluadores que optó por divulgar el nombre junto a los dictámenes (8,1%), las recomendaciones eran más positivas, mayor porcentaje de pequeños cambios para publicar, hubo menos rechazos y más artículos aceptados.

Los autores atribuyen esta correlación al hecho de que los evaluadores que escribieron evaluaciones positivas optaron posteriormente por revelar sus identidades para señalar positivamente su reputación junto a la comunidad académica. También en este aspecto, los resultados fueron verificados contra el grupo de control para confirmar que el resultado no había sido influenciado por la publicación de los informes. De cualquier forma, este resultado en particular resalta uno de los aspectos positivos inmediatos de la evaluación abierta asociada a las identidades abiertas de los evaluadores.

El tiempo para realizar la revisión antes y durante el estudio piloto no fue prácticamente alterado, manteniéndose dentro de la media de aproximadamente 30 días. Sin embargo, los evaluadores con el título de doctor mostraron una tendencia a aumentar ligeramente el tiempo de revisión. Una vez más, estos resultados se compararon al grupo de control de revistas de Elsevier que no formaban parte del estudio piloto y fueron debidamente confirmados.

Uno de los aspectos más anticipados de la investigación era si el contenido de los informes se alteraría sustancialmente con la perspectiva de publicación. Para evaluar esta hipótesis, los autores condujeron análisis de polaridad – es decir, si el tono de los informes era principalmente positivo o negativo –, y un análisis de subjetividad – si el estilo era predominantemente objetivo o subjetivo. Los resultados muestran que no hubo cambios en el contenido de los informes durante el estudio piloto, excepto por comentarios ligeramente más severos y objetivos en la revisión por pares abierta, y que, una vez más, los evaluadores jóvenes y no académicos lideraron esta tendencia.

Conclusiones

El estudio evaluó 62.790 observaciones individuales vinculadas a 9.220 artículos presentados y 18.525 informes de evaluadores entre 2010 y 2017 en cinco revistas de diferentes disciplinas del grupo Elsevier. Incluyendo el grupo de control de cinco otras revistas que no participaron del estudio piloto, los autores analizaron en total 138.117 observaciones y 21.647 manuscritos.

Las principales conclusiones de este estudio sugieren que la publicación de los informes no influye o compromete el trabajo de revisión por pares. Los autores no pudieron detectar ningún efecto significativo en la disponibilidad para realizar la evaluación, el contenido y el tenor de las recomendaciones, o en el tiempo necesario para evaluar.

Cabe destacar, sin embargo, que mientras la publicación de opiniones encontró amplia aceptación por parte de los evaluadores del estudio piloto, lo mismo no ocurrió con la divulgación de la identidad, opción aceptada por apenas el 8,1% de ellos, sugiriendo que este aspecto del anonimato aún es importante para la revisión por pares abierta. Este comportamiento, sugieren los autores, podría constituir una protección para posibles represalias o consecuencias imprevistas en la esfera académica, especialmente en áreas muy competitivas.

A pesar de la muestra de considerable tamaño y el hecho de que el estudio incluyó revistas de diferentes áreas del conocimiento (sin identificarlos), los autores subrayan que los resultados, sin embargo, no pueden ser generalizados. Otros estudios apuntan que los investigadores de las áreas de ciencias humanas y sociales se muestran más resistentes en adoptar innovaciones del ámbito de la ciencia abierta. Por otro lado, las políticas de evaluación por pares adoptadas por las revistas pueden eventualmente atraer a diferentes comunidades de autores propensos a adoptar nuevas formas de apertura y transparencia en comunicación científica, conformando comunidades con diferentes tendencias dentro de una misma área del conocimiento.

El segundo mayor cambio de paradigma en la comunicación científica después de la publicación en acceso abierto está apenas comenzando y, así como el primero, esto causa incertidumbre y aprehensión, para después, conquistar y sorprender.

Notas

1. SPINAK, E. Sobre las veintidós definiciones de la revisión abierta por pares… y más [online]. SciELO en Perspectiva, 2018 [viewed 27 March 2019]. Available from: https://blog.scielo.org/es/2018/02/28/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas/

2. BRAVO, G., et al. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications [online]. 2019, vol. 10, 322 [viewed 27 March 2019]. DOI: 10.1038/s41467-018-08250-2. Available from: https://www.nature.com/articles/s41467-018-08250-2

Referencias

BRAVO, G., et al. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications [online]. 2019, vol. 10, 322 [viewed 27 March 2019]. DOI: 10.1038/s41467-018-08250-2. Available from: https://www.nature.com/articles/s41467-018-08250-2

FRANCIS, R. Open peer review: What do reviewers think? [online]. F1000 Research blog, 2016 [viewed 27 March 2019]. Available from: https://blog.f1000.com/2016/09/22/open-peer-review-what-do-reviewers-think/

SPINAK, E. Sobre las veintidós definiciones de la revisión abierta por pares… y más [online]. SciELO en Perspectiva, 2018 [viewed 27 March 2019]. Available from: https://blog.scielo.org/es/2018/02/28/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak