Replantear la revisión por pares para hacerla sostenible

Por Lilian Nassi-Calò

Imagen: Mark Fletcher-Brown.

Mucho se ha escrito y discutido sobre la revisión por pares, un tema recurrente en este blog y en la literatura científica. El estudio detallado Peer review in a changing world: An international study measuring the attitudes of researchers¹ de Mulligan, et al. sobre lo que los investigadores piensan sobre los diversos aspectos de la revisión por pares, resultado de una encuesta realizada por la organización filantrópica Sense About Science² realizada en 2009 con más de 4.000 investigadores, informó que el 91% consideró que la revisión por pares conduce a una mejora significativa de su artículos, especialmente la discusión de la obra. Además, muchos autores incluso enviaron artículos a revistas de renombre, incluso si no fueron aprobados, solo para beneficiarse de revisiones de calidad. En ese año, solo el 20% de los investigadores consideró la evaluación abierta como una alternativa viable, y el 76% prefirió el sistema doble ciego.

Sin embargo, desde entonces, este escenario ha cambiado, por varias razones. El artículo Peer Review needs a radical rethink³ publicado recientemente analiza la necesidad de una reformulación profunda de la revisión por pares, pues el modelo actual demuestra que ya no es sostenible.

El informe Global State of Peer Review,⁴ de 2018, ya indicaba que los investigadores de regiones emergentes y los investigadores jóvenes están subrepresentados en las revisiones por pares y se observó una “fatiga del revisor”, cuando el 10% de los revisores eran responsables del 50% de las revisiones. evaluaciones

Una cosa en la que los editores suelen estar de acuerdo es que la parte más difícil de su trabajo es encontrar revisores que produzcan reseñas de calidad dentro de los plazos estipulados. Además, el informe verifica lo que los editores ya sabían, que el aumento pronunciado de artículos de revistas en las últimas décadas no ha ido acompañado de un aumento proporcional en el número de investigadores -revisores potenciales- en el mismo período.

El estudio A billion-dollar donation: estimating the cost of researchers’ time spent on peer review⁵ de Aczel, et al. estimó el número de horas empleadas para realizar revisión por pares a nivel mundial de una muestra de 87.000 revistas, obteniendo el valor de 15.000 años en 2020. Es un número astronómico, y los autores también traducen las horas de trabajo en coste monetario en base sobre el salario promedio de estos profesionales en sus países, EE.UU. (US$ 1,5 mil millones); China ($ 600 millones) y el Reino Unido ($ 400 millones), para luego proponer alternativas para aumentar los beneficios de la revisión por pares y mejorar la rentabilidad.

Entre las sugerencias se encuentran (1) incluir a jóvenes investigadores y profesionales técnicos que puedan evaluar aspectos de las publicaciones según listas de verificación; (2) reducir la redundancia de revisión al revisar el mismo manuscrito más de una vez; (3) abrir las revisiones para su publicación junto con el manuscrito para que los lectores puedan beneficiarse de los comentarios; y (4) otorgar créditos académicos a los árbitros en sistemas como Publons o análogos.

Si bien la tasa promedio de respuestas afirmativas para evaluar artículos tiende a disminuir, particularmente después de la acumulación de trabajo durante la pandemia de covid-19 (de 37,5% en 2020 a 32,3% en 2022 a escala global, según ScholarOne), las editoriales y editores de revistas están buscando formas de aumentar la adhesión.

Muchos investigadores consideran que el tiempo dedicado a la revisión por pares no está suficientemente recompensado y significa una menor dedicación al trabajo de investigación y producción de artículos. Otros consideran que es hipócrita que las revistas que cobran altas tarifas de publicación, ya sean cargos por página o APC (article processing charges, tarifas de procesamiento de artículos), esperen que los revisores contribuyan amablemente a la revisión por pares. Sin embargo, estos no constituyen unanimidad, muchos aún piensan que remunerar a los revisores sería poco ético, ya que podría incurrir en un conflicto de intereses, además de ser insostenible, dados los costos del proceso estimados por Aczel y colaboradores.⁵

Con el fin de ampliar el número de revisores, incluidos investigadores jóvenes e investigadores posdoctorales, las editoriales y las sociedades científicas ofrecen capacitación y certificación en asignaciones de revisión por pares. Durante mucho tiempo, no hubo cursos ni entrenamiento para capacitar a los revisores, y los jóvenes investigadores aprendían de sus pares más experimentados, o simplemente por ensayo y error. Sin embargo, si los revisores están capacitados sobre las responsabilidades y expectativas de esta actividad, la realizan correctamente, empleando el tiempo adecuado, y los editores y autores reciben la retroalimentación deseada.

La edad y el grado de especialización de los investigadores no son los únicos aspectos a considerar cuando se habla de ampliar la gama de revisores para hacer más sostenible la actividad. La diversidad, la equidad y la inclusión deben ser parte de los criterios que los editores de revistas utilicen al seleccionar a los revisores, junto con el tema del artículo en cuestión. Estos criterios se incluyen, cada vez más en muchos países, al nombrar comités editoriales de revistas, seleccionar oradores de conferencias y muchas otras actividades académicas. En este sentido, vale la pena destacar la Conferencia SciELO 25 Años, en la que el Programa SciELO celebrará 25 años de funcionamiento regular en septiembre. El foco de la conferencia es el Programa SciELO y la comunicación de la investigación según los principios de la ciencia abierta con IDEIA – Impacto, Diversidad, Equidad, Inclusión y Accesibilidad.

A pesar de la resistencia de muchos académicos a dedicarse a la actividad de revisión por pares, considerando que no aporta nada a su crecimiento intelectual, otros no están de acuerdo y lo hacen sin siquiera pedírselo. Este es el caso de los autores que revisan preprints. Según Rebeccah Lijek, bióloga molecular de la Facultad Mount Holyoke, en South Hadley, MA, Estados Unidos, quien se dedica a publicar sus observaciones en preprints en el servidor bioRxiv, la actividad le llama la atención debido a que no tendrá un impacto en la publicación o no de un artículo.

Rebeccah cree que su contribución, restringida a los aspectos científicos de los preprints que comenta, es una experiencia de aprendizaje para ella y puede ayudar a los autores. Un post publicado recientemente en este blog⁶ aboga por la idea de que esta actividad, la revisión por pares de preprints, se utilice en la formación de programas de posgrado y posdoctorado.

Una de las mejores formas de recompensar a los revisores, señalada a lo largo del artículo de Amber Dance,³ es publicar sus nombres en la reseña que se publica junto con el artículo. La revisión por pares abierta, que ha sido adoptada progresivamente por revistas en varios países, además de producir revisiones de mejor calidad, ofrece a los revisores un reconocimiento inmediato por su trabajo. Un dato relevante que está en línea con el aumento del rango de revisores es el hecho de que los revisores jóvenes son más propensos a realizar evaluaciones para revistas que operan con un sistema abierto de revisión por pares.

Existen otros modelos innovadores para gestionar la revisión por pares. Olavo Amaral, que estudia la reproductibilidad de la investigación en la Universidad Federal de Río de Janeiro, opina que no todos los artículos enviados deben ser evaluados por pares. En su opinión, con el apoyo de un software, es posible delegar la verificación de datos estadísticos, detección de plagio y otras funciones a los técnicos, para no sobrecargar a los árbitros.

La revista eLife, que suele adoptar soluciones innovadoras en su gestión editorial, acaba de anunciar que todos los artículos revisados por pares se publicarán en su plataforma como “preprints revisados”, junto con una evaluación emitida por la revista y evaluaciones públicas. Luego, los autores tienen la opción de responder a los comentarios, continuar publicando en eLife o enviar el estudio y las reseñas a otra revista.

Otras iniciativas incluyen Peer Community In (PCI) y Review Commons. La primera es una iniciativa sin fines de lucro que realiza una revisión por pares, luego de la cual los autores pueden optar por publicar el artículo, de forma gratuita, en una de las revistas del grupo, o enviarlo, junto con las revisiones, a otra revista. El segundo proporciona calificaciones de los autores, que se pueden incluir con los manuscritos cuando se envían a una revista afiliada. Según los editores de las revistas consultadas, el proceso es eficiente y confiable, y el material proporcionado es suficiente para tomar una decisión informada sobre los manuscritos.

Dado que los procesos innovadores y las tecnologías emergentes contribuyen a que la revisión por pares sea más eficiente y eficaz, creo que es posible ampliar el concepto de reconocimiento por el trabajo voluntario de revisión por pares. Por su papel relevante en el proceso editorial, editoriales, instituciones y agencias de desarrollo deben valorar esta actividad, haciéndola cada vez más abierta y transparente.

Notas

1. MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer review in a changing world: An international study measuring the attitudes of researchers. J Am Soc Inf Sci [online]. 2012, vol. 64, no. 1, pp. 32-161 [viewed 29 March 2023]. https://doi.org/10.1002/asi.22798. Available from: https://onlinelibrary.wiley.com/doi/10.1002/asi.22798

2. Peer Review Survey 2009 [online]. Sense About Science. 2009 [viewed 29 March 2023]. Available from: https://senseaboutscience.org/activities/peer-review-survey-2009/

3. DANCE, A. Peer Review needs a radical rethink. Nature [online]. 2023, no. 614, pp. 581-583 [viewed 29 March 2023]. https://doi.org/10.1038/d41586-023-00403-8. Available from: https://www.nature.com/articles/d41586-023-00403-8

4. Global State of peer review [online]. Publons. 2018 [viewed 29 March 2023]. Available from: https://publons.com/community/gspr

5. ACZEL, B., SZASZI, B. and HOLCOMBE, A.O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Res Integr Peer Rev [online]. 2021, no. 6, pp. 14-21 [viewed 29 March 2023]. https://doi.org/10.1186/s41073-021-00118-2. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2

6. NASSI-CALÒ, L. Cómo la revisión por pares de preprints puede ser parte de los programas de doctorado y posdoctorado [online]. SciELO en Perspectiva, 2023 [viewed 29 March 2023]. Available from: https://blog.scielo.org/es/2023/03/22/como-la-revision-por-pares-de-preprints-puede-ser-parte-de-los-programas-de-doctorado-y-posdoctorado/

Referencias

ACZEL, B., SZASZI, B. and HOLCOMBE, A.O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Res Integr Peer Rev [online]. 2021, no. 6, pp. 14-21 [viewed 29 March 2023]. https://doi.org/10.1186/s41073-021-00118-2. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2

DANCE, A. Peer Review needs a radical rethink. Nature [online]. 2023, no. 614, pp. 581-583 [viewed 29 March 2023]. https://doi.org/10.1038/d41586-023-00403-8. Available from: https://www.nature.com/articles/d41586-023-00403-8

Global State of peer review [online]. Publons. 2018 [viewed 29 March 2023]. Available from: https://publons.com/community/gspr

MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer review in a changing world: An international study measuring the attitudes of researchers. J Am Soc Inf Sci [online]. 2012, vol. 64, no. 1, pp. 32-161 [viewed 29 March 2023]. https://doi.org/10.1002/asi.22798. Available from: https://onlinelibrary.wiley.com/doi/10.1002/asi.22798

NASSI-CALÒ, L. Cómo la revisión por pares de preprints puede ser parte de los programas de doctorado y posdoctorado [online]. SciELO en Perspectiva, 2023 [viewed 29 March 2023]. Available from: https://blog.scielo.org/es/2023/03/22/como-la-revision-por-pares-de-preprints-puede-ser-parte-de-los-programas-de-doctorado-y-posdoctorado/

PACKER, A.L., et al. SciELO 25 Años: Ciencia Abierta con IDEIA – Impacto, Diversidad, Equidad, Inclusión y Accesibilidad [online]. SciELO en Perspectiva, 2022 [viewed 29 March 2023]. Available from: https://blog.scielo.org/es/2022/09/29/scielo-25-anos-ciencia-abierta-con-ideia/

Peer Review Survey 2009 [online]. Sense About Science. 2009 [viewed 29 March 2023]. Available from: https://senseaboutscience.org/activities/peer-review-survey-2009/

Enlaces externos

bioRxiv: https://www.biorxiv.org/

eLife Sciences: https://elifesciences.org/

Peer Community In: https://peercommunityin.org/

Publons: https://publons.com/wos-op/

Review Commons: https://www.reviewcommons.org/

SciELO 25 Años: https://25.scielo.org/es