Ventajas y desventajas potenciales en la publicación de opiniones de evaluación

Por Lilian Nassi-Calò

Imagen adaptada del original por rawpixel.com / Freepik.

Reconocida por la mayoría de los investigadores mundialmente como uno de los pilares de la comunicación científica, la evaluación por pares es considerada como guardián de la credibilidad y confiabilidad de la investigación científica y muchos consideran que prescindir de esta importante etapa de validación comprometería todo el emprendimiento de la ciencia.

La evaluación por pares fue instituida alrededor de 1750 por la Royal Society del Reino Unido, que estableció un comité para deliberar lo que sería publicado en su revista Philosophical Transactions, para ser interrumpida en 1831, cuando los miembros de esta sociedad reaccionaron negativamente a las opiniones – anónimas – de una comisión de académicos por considerarlos excesivamente críticos e injustos.

La revisión por pares como la conocemos actualmente fue adoptada regularmente sólo alrededor de 1940 por las revistas Science, Nature y Journal of the American Medical Association. Desde el principio, el proceso era conducido de forma “ciega” y los revisores que evaluaban los artículos permanecían protegidos por el anonimato. Posteriormente, los autores y su afiliación institucional tampoco eran revelados a los evaluadores, como forma de promover evaluaciones más justas y libres de sesgos de cualquier naturaleza. Este formato de evaluación por pares fue ampliamente utilizado en varias décadas y las revistas que no lo realizaban no gozaban de buena reputación en el medio científico.

En torno a 1990, sin embargo, la comunidad académica pasó a discutir el proceso de revisión en reuniones y congresos, que ya enfrentaba ciertas dificultades. La denominada “crisis” de la evaluación por pares llevó a la propuesta de modelos alternativos que implican aberturas del proceso de evaluación. El término “revisión por pares abierto” (open peer review, OPR) incluye muchas interpretaciones, entre ellas, publicar las opiniones y/o revelar la identidad de los evaluadores, aceptar comentarios no solamente de evaluadores invitados, interacción abierta entre evaluadores y autores, entre otras modalidades.

A partir de 2006, revistas y editores pasaron a publicar las revisiones, con o sin la firma de los evaluadores. Entre ellos, están Biology Direct del grupo BioMed Central, The EMBO Journal, eLife, F1000 Research, PeerJ y Nature Communications.

Es importante mencionar que se han realizado estudios para saber si la publicación de las revisiones podría influir en el comportamiento de los evaluadores y el contenido de las revisiones. Uno de estos estudios, realizado por Bravo, et al. y publicado en este blog¹ evaluó 9.220 artículos presentados a cinco revistas Elsevier entre 2010 y 2017. Otro estudio, de la autoría de van Rooyen, Delamothe y Evans² analizó 558 manuscritos y 1.039 evaluaciones publicadas en el BMJ. Ambos estudios concluyeron que publicar revisiones firmadas no altera la calidad o el contenido de las éstas, sugiriendo que los evaluadores no están influenciados por la publicación de las evaluaciones.

La publicación de las opiniones de evaluación por pares, sin embargo, aún no es una práctica corriente, a pesar de que su uso está aumentando. La razón de esto puede residir en el hecho de que los editores no están seguros sobre cómo reaccionará su comunidad de autores y lectores. Recientes publicaciones, como la de Deborah Sweet³ y Jessica Polka, et al.⁴ destacan algunas de las ventajas y desventajas de la publicación de evaluaciones.

Pros y contras de la publicación de opiniones de evaluación

Argumentos a favor

1. En el modelo tradicional de evaluación, el trabajo minucioso de los árbitros y las consideraciones y sugerencias de perfeccionamiento del artículo son descartadas después de la aprobación (o no) del manuscrito. Además, los dictámenes contienen argumentos e ideas que pueden revelar cómo evoluciona el pensamiento en una determinada área del conocimiento. En este modelo, sólo los autores y el editor tienen acceso a esta información, que, en realidad, forma parte del registro científico del artículo y, como tal, debería ser puesto a disposición de los lectores.
2. Las opiniones abiertas tienden a ser menos ríspidas y negativas que las anónimas, y contiene más críticas constructivas y sugerencias de perfeccionamiento de los artículos.
3. La evaluación por pares es un proceso constructivo que, por regla general, resulta en mejores artículos y, reconocer la actuación de los actores involucrados – editores y árbitros –, es muy importante, pues puede contar créditos académicos. Hay ejemplos de iniciativas (como Publons, ReviewerCredits y is) que, al permitir el registro de la actividad de evaluación de un investigador, evidencia su posición e influencia académica en determinada área. Además, contribuye a mejorar la calidad de las revisiones en recomendaciones más constructivas, además de acelerar la evaluación de los manuscritos, reduciendo, consecuentemente, el tiempo de publicación.
4. La decisión final del editor sobre la publicación o no del manuscrito depende de varios factores, incluyendo los dictámenes, y su disponibilidad hace que el proceso decisorio de los editores sea más transparente.
5. Los dictámenes constituyen material de aprendizaje para investigadores jóvenes que no tienen muy claro cómo realizar la evaluación por pares. Los dictámenes abiertos, en particular, son inspiradores sobre cómo realizar evaluaciones de forma constructiva.
6. Los dictámenes abiertos y en particular, aquellos que informan la identidad de los árbitros, permiten realizar estudios y obtener estadísticas sobre la evaluación por pares, algo que nunca había sido posible en el modelo tradicional. El informe Global State of Peer Review⁵ publicado en septiembre de 2018 por Publons y Clarivate Analytics reveló datos sobre la institucionalidad de los evaluadores, la eficiencia y la calidad del proceso y las perspectivas para el futuro de la evaluación por pares. Los resultados del informe fueron resumidos en dos posts publicados en este blog^{6, 7}.

Argumentos en contra

1. Los investigadores de diferentes áreas reaccionan de manera diferente a la perspectiva de revisiones abiertas. Por ejemplo, en las ciencias biológicas, la opción de publicar las revisiones fue del 70%, mientras que en física es inferior al 50%.
2. El complejo proceso de evaluación de manuscritos, involucrando a árbitros, editores y autores produce una serie de documentos que va mucho más allá de los evaluadores solamente. Poner a disposición la decisión del editor, las respuestas de los autores y la versión original del manuscrito no es un proceso trivial y, sin todo el historial, los lectores sólo pueden acceder a la parte de la evaluación, llevando a considerar cuán provechoso podría ser.
3. Los investigadores que tienen reservas en cuanto a la publicación de las evaluaciones – firmadas o no – argumentan que temen represalias de autores cuyos manuscritos fueron criticados, pues en muchos casos los autores pueden suponer quién es el autor de los dictámenes, por su contenido o estilo. Sin embargo, como se mencionó anteriormente, las investigaciones sobre la posible influencia de la publicación de los dictámenes en el comportamiento de los árbitros y el contenido de las revisiones parecen sugerir que los evaluadores no se sienten intimidados, pero este resultado no puede ser generalizado.
4. Una preocupación mayor sería que los dictámenes publicados puedan ser usados de forma injusta para evaluar autores en solicitudes de ayuda a la investigación, trabajos, proyecciones en la carrera o premios. Polka, et al.⁴ subrayan que no hay datos suficientes sobre cómo la etnia, género, país de afiliación e institución afectan la evaluación de manuscritos, y el temor sería que investigadores de instituciones de menor prestigio o países en desarrollo podrían recibir evaluaciones tendenciosas. Los evaluadores del desempeño del investigador podrían considerar con mayor énfasis las evaluaciones negativas de este grupo de investigadores. El informe Publons-Clarivate⁵ concluyó, por ejemplo, que investigadores de países emergentes son menos solicitados como árbitros, sin pero sus colegas de países desarrollados rechazan revisiones más frecuentemente y tardan más para revisar. Sin embargo, el estudio⁵ también observa que las revisiones realizadas por evaluadores de regiones emergentes en franca expansión de su producción científica, como China, están creciendo muy rápidamente y pronto deberán alcanzar las cifras de las regiones desarrolladas.
5. Otro riesgo a considerar es utilizar los dictámenes como “munición” por parte de opositores de determinados tipos de investigación (por ejemplo, organismos modificados genéticamente, cambios climáticos o vacunas). Algunos comentarios en los dictámenes podrían ser distorsionados y caracterizados erróneamente para reducir la credibilidad de la investigación, de un área del conocimiento o de la ciencia en su totalidad. Esta probabilidad sería mayor en revistas que publican investigación con mayor riesgo de discusión política. Una forma de abordar esta cuestión sería publicar una declaración explicando el proceso de evaluación por pares y su papel en la discusión de la ciencia y que la publicación de los dictámenes tiene por objetivo establecer un diálogo con el público, los medios y los políticos, compartir la comprensión y la evaluación de la ciencia.
6. La decisión final del editor puede ponerse en jaque cuando se publican los dictámenes y hacer que los editores principiantes tengan dificultades para contradecir la opinión de los árbitros y rechazar un manuscrito bien evaluado o al contrario. En este sentido, publicar la decisión del editor contextualizando sus razones puede ayudar.
7. Aspectos de orden operacional, como la publicación de los dictámenes después del artículo, o en documentos aparte con DOI propio, no son despreciables y las revistas deben prepararse para implementarlos.

El futuro de la evaluación por pares abierta

Los pros y los contras enumerados anteriormente son relevantes y deben ser considerados por los editores de revistas que decidan emprender el camino de la evaluación por pares abierta. Polka, et al.⁴ y Sweet³, junto a muchos otros autores que escriben sobre el futuro de la comunicación científica, son unánimes en afirmar que los beneficios superan los riesgos y las dificultades. En octubre de 2017, datos de la Comisión Europea estimaron en apenas el 3,5% de las revistas registradas en la plataforma Publons ponían a disposición el contenido de las evaluaciones de revisión. En su informe de septiembre de 2018, Publons publica⁵ que “la revisión por pares abierta, que es cada vez más vista en toda la industria [editorial] como un aspecto importante de la ciencia abierta, ha permitido una diversidad de investigaciones, ayudando a la comunidad científica a pesar y examinar colectivamente las distintas etapas del proceso de revisión por pares. Este cambio ha llevado a una serie de estudios e iniciativas fundamentales en la última década.”

En este informe⁵, se presentan datos que muestran que los investigadores jóvenes estarían más propensos a emitir dictámenes para revistas que conducen evaluación abierta que los investigadores mayores. De los encuestados con menos de 26 años, 40% son propensos a escribir opiniones para revistas que revelan la identidad del árbitro y del autor y publican las evaluaciones, en comparación con apenas el 22,3% de los entrevistados con edad entre 56 y 65 años.

Estos datos muestran que existe una tendencia inequívoca de la comunidad científica en adoptar prácticas abiertas de evaluación por pares. En un mundo ideal, de acuerdo con Polka, et al.⁴ las evaluaciones serían fáciles de encontrar y estarían organizadas intuitivamente junto con los materiales relacionados y los editores deberían facilitar el proceso para atribuir el debido reconocimiento a los árbitros por sus valiosas contribuciones. Además las innovaciones tecnológicas reducirían el trabajo administrativo, y proporcionarían vínculos y contexto a los lectores.

Con la finalidad de contribuir a aumentar la adopción de evaluaciones abiertas, la iniciativa ASAPbio elaboró una Carta Abierta⁶ en apoyo a la publicación de los informes de evaluación por pares, que fue firmada por editores y editoriales representando más de 300 revistas hasta abril de 2019.

Como dice la máxima, “no hay mejor antiséptico que la luz del sol”. Exponer todas las etapas del proceso de la evaluación por pares a la luz del sol sólo tiende a aumentar la transparencia, responsabilidad, y confiabilidad de la comunicación científica.

Notas

1. NASSI-CALÒ, L. Revisiones por pares abiertas: ¿la publicación de los informes de evaluación influye en el comportamiento de los revisores? [online]. SciELO en Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento-de-los-revisores/

2. VAN ROOYEN, S., DELAMOTHE, T. and EVANS, S.J.W. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [viewed 30 April 2019]. DOI: 10.1136/bmj.c5729. Available from: https://www.bmj.com/content/341/bmj.c5729

3. SWEET, D. The pros and cons of publishing peer reviews [online]. Crosstalk CellPress blog, 2018 [viewed 30 April 2019]. Available from: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

4. POLKA, J.K., et al. Publish peer reviews. Nature [online]. 2018, vol. 560, no. 7720, pp. 545-547 [viewed 30 April 2019]. DOI: 10.1038/d41586-018-06032-w. Available from: https://www.nature.com/articles/d41586-018-06032-w

5. Global State of peer review [online]. Publons. 2018 [viewed 30 April 2019]. Available from: https://publons.com/community/gspr

6. Open letter on the publication of peer review reports [online]. ASAPbio. 2018. [viewed 30 April 2019] Available from: https://asapbio.org/letter

Referencias

Global State of peer review [online]. Publons. 2018 [viewed 30 April 2019]. Available from: https://publons.com/community/gspr

NASSI-CALÒ, L. Aumenta la adopción de evaluación por pares abierta [online]. SciELO en Perspectiva, 2017 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/

NASSI-CALÒ, L. Revisión por pares: modalidades, pros y contras [online]. SciELO en Perspectiva, 2015 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

NASSI-CALÒ, L. Revisiones por pares abiertas: ¿la publicación de los informes de evaluación influye en el comportamiento de los revisores? [online]. SciELO en Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento-de-los-revisores/

Open letter on the publication of peer review reports [online]. ASAPbio. 2018. [viewed 30 April 2019] Available from: https://asapbio.org/letter

POLKA, J.K., et al. Publish peer reviews. Nature [online]. 2018, vol. 560, no. 7720, pp. 545-547 [viewed 30 April 2019]. DOI: 10.1038/d41586-018-06032-w. Available from: https://www.nature.com/articles/d41586-018-06032-w

SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte I [online]. SciELO en Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-i/

SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte II [online]. SciELO en Perspectiva, 2019 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2019/02/07/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii/

SWEET, D. The pros and cons of publishing peer reviews [online]. Crosstalk CellPress blog, 2018 [viewed 30 April 2019]. Available from: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

VAN ROOYEN, S., DELAMOTHE, T. and EVANS, S.J.W. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [viewed 30 April 2019]. DOI: 10.1136/bmj.c5729. Available from: https://www.bmj.com/content/341/bmj.c5729

VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 30 April 2019]. Available from: https://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

Enlaces externos

Hypothes.is <https://hypothes.is/>

Publons <http://publons.com/>

ReviewerCredits <https://www.reviewercredits.com/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak