Los editores opinan sobre la política editorial y los aspectos de la revisión por pares

Por Lilian Nassi-Calò

Imagen: Shane Aldendorff.

La revisión por pares, un proceso mediante el cual el material enviado para publicación es analizado por especialistas que no suelen formar parte del equipo editorial, varía en gran medida entre revistas y disciplinas.

El proceso de revisión por pares en las revistas es relativamente reciente. Ha estado presente en la gran mayoría de revistas desde la segunda mitad del siglo XX, y la comunidad científica la considera una función crítica de la comunicación científica, en la perspectiva de, por un lado, mejorar la calidad y dar credibilidad a los informes de investigación publicados y, por otro, evitar la publicación de resultados irrelevantes o falsos. De hecho, casi siempre, se espera que la revisión por pares sea más de lo que está a su alcance, ya que no siempre detecta errores, datos falsos y algunos tipos de plagio y no siempre puede verificar la reproducibilidad. Además, se sabe que los resultados de investigaciones controvertidas o muy innovadoras tienden a ser rechazados en la revisión por pares, al mismo tiempo que artículos aprobados por pares fueron retractados por errores graves, detectados después de su publicación.

Por estas y otras razones, se ha descubierto que el modelo clásico de revisión por pares anónimo previo a la publicación es ineficiente, lento, incapaz de detectar errores y mantenerse al día con los avances científicos y la necesidad de una mayor transparencia, apertura y responsabilidad en la evaluación de los resultados de buscar.

Varios autores han propuesto modelos abiertos de revisión por pares o open peer review (OPR). Entre ellos, Ross-Hellauer, quien se enfocó en dar a conocer la identidad de autores y árbitros, una mayor interacción entre los actores involucrados en el proceso y publicación de opiniones, así como los innumerables resultados posibles que surgen de la combinación de estas variables. Klebel, et al.¹ propuso recientemente la iniciativa Transparency in Scholarly Publishing for Open Scholarship Evolution (TRANSPOSE), al constatar el bajo nivel de información sobre las políticas sobre preprints y tipos de revisión por pares adoptados por las revistas, lo que contrasta con el movimiento Ciencia Abierta, apoyado por iniciativas como las Transparency and Openness Promotion Guidelines (TOP guidelines), el Open Science Monitor de la Comisión Europea y la recomendación de la UNESCO sobre ciencia abierta, entre otras.

Un estudio publicado recientemente en eLife² tenía como objetivo evaluar la postura de los editores de revistas de cinco disciplinas (ecología, economía, medicina, física y psicología) sobre su forma de realizar la revisión por pares. De las 1.500³ revistas seleccionadas según el Factor de Impacto en sus respectivas áreas de conocimiento, los editores de 332 de ellas (21%) respondieron la encuesta A, consistente en preguntas sobre políticas y prácticas de revisión por pares. De estos, 233 editores (78%) también respondieron a la encuesta B, esta vez compuesta por preguntas sobre cinco temas relacionados con la ética de la publicación y la revisión por pares. Aunque muchos resultados confirman el comportamiento esperado, otros fueron sorprendentes.

Los resultados de la primera encuesta (A) se pueden resumir a continuación:

• El 49% de los editores verifican de forma rutinaria el plagio mediante métodos electrónicos.
• El 61% de las revistas acepta que los autores recomienden a favor y en contra de árbitros específicos.
• Dos revistas informan que subcontratan el proceso de revisión por pares a una empresa comercial.
• El 73% de las revistas fomentan la interacción entre los revisores y el editor responsable.
• Solo el 2% de las revistas fomenta la interacción entre revisores y el 6% fomenta la interacción entre revisores y autores.
• El 57% de las revistas adopta la revisión por pares simple ciego, el 36% doble ciego y el 4% adopta la revisión por pares simple ciego, pero dejan la opción de revelar su identidad a los revisores. Esta opción en la modalidad doble ciego es el 1% de las revistas que la adoptan.
• Sólo el 8% de los editores declara aceptar publicar Informes Registrados⁴, especialmente revistas de psicología.
• Sólo el 1% de los editores informó haber publicado las opiniones (se identificaron o no los árbitros) y las cartas de decisión enviadas a los autores.
• El 79% de los editores declaró compartir las opiniones con los otros revisores y el 82% comparte las cartas de decisión con todos los revisores.
• El 84% de los editores manifestaron que sus revistas no tienen políticas establecidas sobre la modificación de opiniones emitidas.
• Sin embargo, el 91% de los editores identificaron al menos una situación en la que creían que al editor se le permitiría editar una opinión sin la opinión del árbitro.
• Las dos situaciones más frecuentes para hacerlo incluyen cuando la opinión contiene lenguaje ofensivo (85%) o discriminatorio (83%). Otro 19% dice que sería pertinente modificar una opinión sin el consentimiento del árbitro, si el editor no está de acuerdo con el contenido de la recomendación.
• La postura de los editores sobre el intercambio de datos de investigación, materiales y códigos de software es bastante tímida, con más del 50% de ellos solo alentando, pero no demandando, o indicando compartir solo si es necesario. El resto simplemente no tiene ninguna política al respecto.

El setenta y ocho por ciento de los editores (233) que respondieron a la primera encuesta expresaron sus percepciones sobre cinco cuestiones relacionadas con la ética de la publicación, que involucran aspectos de la revisión por pares.

Coparticipación en la revisión por pares

El cuarenta y tres por ciento de los editores fomentan personalmente la participación de otros revisores (no están seguros de que se les otorgue el crédito debido) en la revisión por pares y el 34% informa que esta es una práctica aceptable en su revista. Otro 2% respondió que sí, a pesar de desalentar personalmente la práctica. Entre quienes apoyan esta práctica, lo hacen con la justificación de la formación de una nueva generación de revisores, pero temas como la confidencialidad preocupan a los editores, principalmente porque la coparticipación en la revisión por pares, en la mayoría de los casos, no es previamente discutida o autorizado por el editor.

Sugerencia de los revisores para citar sus artículos

Por inusual que parezca, menos del 5% de los editores se oponen a la sugerencia de los revisores de que los autores citen sus propios artículos, entre las recomendaciones de mejora realizadas en la revisión por pares. Parece haber un consenso entre los editores de que “esto debería esperarse, ya que los árbitros habrían hecho un trabajo relevante”. Sin embargo, los editores tendrían algún papel modulador en esta práctica, pero solo para garantizar que las referencias sugeridas sean relevantes y que la decisión final de incluir las citas sugeridas dependa en última instancia del autor. Los pocos editores que consideran inaceptable tal práctica declaran que esta es una razón sólida para cambiar de opinión, eliminando la recomendación de citación.

Solicitud de acceso a los datos de la investigación por parte de los árbitros

Casi todos – el 95% de los editores dicen que interceden a favor de las solicitudes de acceso a los datos de la investigación por parte de los árbitros, en todos los sujetos encuestados. Sin embargo, una sexta parte de éstos afirman requerir una fuerte justificación para hacerlo, mientras que otros prefieren consultar a los autores al respecto. En cualquier caso, existe un entendimiento generalizado de que proporcionar acceso a los datos de la investigación aumenta la transparencia y credibilidad del artículo y, si no hay impedimentos, no hay razón para no poner estos datos a disposición de los revisores. Sin embargo, pocos editores, excepto los de revistas con políticas obligatorias en materia de datos abiertos, condicionan la aceptación del manuscrito al intercambio de datos.

Editores que publican en la revista que editan

Una parte considerable de los editores – el 79% considera aceptable publicar en la revista editada por ellos. Las precauciones para cubrir el proceso con legitimidad y evitar conflictos de interés son comunes, como enviar el artículo para revisión por pares de forma anónima y dejar la gestión del manuscrito a otro editor asociado. Si no se publica en la revista que editan con mucha frecuencia, consideran que sería “injusto” eliminarlo como vehículo para publicar su investigación por el solo hecho de ser el editor.

Estudios de replicación directa

En teoría, el 86% de los editores apoyan el envío de estudios de replicación en sus revistas, pero a pesar de considerarlos relevantes, enfatizan la necesidad de ir acompañados de nuevo material o nueva interpretación como condición para la publicación. El caso es que estos estudios no despiertan interés por parte de los lectores de las publicaciones, y ni siquiera cumplen los criterios de contenido inédito comunes a la mayoría de las revistas. Un editor incluso menciona una revista que reserva una sesión específica para estudios de replicación, lo que considera una buena práctica.

Cambios en el proceso de revisión por pares existente

El sesenta y cinco por ciento de los editores declararon que estaban contemplando, implementando o habían implementado recientemente cambios en el sistema de revisión por pares de sus revistas. Solo el 35% dijo estar satisfecho con las prácticas actualmente adoptadas. La mayoría de los cambios incluyen cambios en la revisión ciega por pares, pero en la dirección opuesta a la que esperaríamos en un horizonte hacia la ciencia abierta, de hecho, aumentando el anonimato. Otro tema de interés es cómo encontrar árbitros, formas de aumentar la eficiencia del proceso en su conjunto y las posibilidades de recompensar a los árbitros (por ejemplo, a través de Publons), y algunos incluso contemplan una remuneración económica o exonerar las tarifas de procesamiento de artículos.

Principales resultados de la investigación

Los resultados de las dos series de investigaciones publicadas por Hamilton et al.² y resumidos en este post muestran un escenario muy convencional en cuanto al proceso de revisión por pares en el 21% de las revistas que respondieron la encuesta entre las que tienen mayor impacto en sus respectivas áreas (ecología, economía, medicina, física y psicología. Se sabe que la adopción de procesos innovadores en la revisión por pares es un desafío para los editores, porque si bien quieren fomentar las prácticas abiertas de revisión por pares, necesitan mantener su equipo de revisores, que prefieren permanecer en el anonimato.

Lo que se ven en determinadas situaciones son oportunidades perdidas. Al respaldar la solicitud de los árbitros que solicitan acceso a los datos de la investigación, notamos la renuencia de los editores a exigir a los autores que los pongan a disposición, lo que está en línea con la baja tasa de políticas que exigen el depósito de los datos abiertos de la investigación simultáneamente con el envío del artículo. Este escenario está a punto de cambiar en un futuro próximo, por iniciativa de los financiadores que tienden a establecer políticas obligatorias sobre el intercambio de datos al otorgar subvenciones para investigación.

Uno de los resultados más notables de la primera parte de la investigación se refiere a la tasa extremadamente baja de apertura de la revisión por pares, tanto en la publicación de opiniones como en la divulgación de la identidad de los revisores. Solo el 18% de los editores informan que dejan a discreción de los revisores revelar o no su identidad. Sin embargo, este movimiento hacia la apertura contrasta con el 39% de la afirmación de los editores de que revelar la identidad de los revisores en un sistema anónimo es razón suficiente para editar opiniones sin su consentimiento, eliminando su identidad.

El setenta y cinco por ciento de los editores consideran que encontrar revisores es la parte más difícil de su trabajo, y encontrar revisores dispuestos a revelar sus identidades dificulta aún más esta tarea, justifican. Afortunadamente, la aceptación de las prácticas abiertas de revisión por pares es mayor entre los editores y revisores jóvenes y, por lo tanto, tiende a aumentar.

Los autores del estudio consideran que uno de los resultados más sorprendentes de la investigación es la práctica por parte de los editores de cambiar de opinión sin la autorización de los revisores, pero con su conocimiento. En teoría, si el editor puede eliminar comentarios de la opinión con la que no está de acuerdo, también puede cambiar la recomendación para aceptar o rechazar el manuscrito para su publicación. Por supuesto, se pueden hacer correcciones de ortografía y mejorar la redacción en un idioma extranjero, o hacer la opinión menos agresiva, ofensiva o discriminatoria sin consultar al revisor. Además, el Committee on Publication Ethics (COPE) tiene recomendaciones⁵. Es preocupante, sin embargo, el elevado número de editores (62%) que, en esta investigación, declararon que consideraba aceptable modificar sustancialmente las opiniones, además de las razones mencionadas anteriormente, sin consultar al árbitro.

Los resultados de este estudio sugieren que la revisión por pares sigue siendo en gran medida una práctica cerrada, con algunos desafíos desde un punto de vista ético. El conflicto entre mantener el grupo de revisores y adoptar prácticas abiertas de revisión por pares está presente en la vida diaria de cada editor. Estudios de esta naturaleza pueden contribuir a ampliar el debate sobre el papel que juega cada actor en la revisión por pares, y la inclusión de agencias de financiamiento e instituciones de investigación puede contribuir a la formulación de políticas y buenas prácticas que conduzcan a una mayor transparencia y apertura en la comunicación científica.

Nota

1. KLEBEL. T., et al. Peer review and reprint policies are unclear at most major journals. PLoS ONE [online]. 2020, vol. 15, no. 10, e0239518 [viewed 12 February 2021]. https://doi.org/10.1371/journal.pone.0239518. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0239518

2. HAMILTON, D.G., et al. Journal policies and editors’ opinions on peer review. eLife [online] 2020, vol. 9, e62529 [viewed 12 February 2021]. https://doi.org/10.7554/eLife.62529. Available from: https://elifesciences.org/articles/62529

3. Limitaciones del estudio: los autores reconocen que no fueron consideradas revistas en idiomas distintos al inglés, ni la influencia del modelo de negocio de la revista (acceso abierto, suscripción o híbrido), y si la revista es administrada por un editor académico o profesional. En definitiva, el estudio representa una fotografía de la política editorial de las revistas seleccionadas durante tres meses en 2019, y que puede cambiar sustancialmente con el tiempo.

4. Informe registrado es una forma de artículo de revista en el que la metodología y los análisis propuestos son registrados previamente y revisados por pares antes de que se lleve a cabo la investigación (paso 1). Los protocolos de alta calidad se aceptan provisionalmente para su publicación antes de que comience la recopilación de datos. Obtenga más información en “El camino hacia las pruebas de reproducibilidad es a través de Informes registrados”.

5. Ethical guidelines for peer reviewers [online]. Committee on Publication Ethics (COPE). 2013 [viewed 12 February 2021]. https://doi.org/10.24318/cope.2019.1.9. Available from: https://publicationethics.org/resources/guidelines-new/cope-ethical-guidelines-peer-reviewers

Referencias

Anteproyecto de Recomendación de la UNESCO sobre la Ciencia Abierta [online]. UNESCO. 2020 [viewed 12 February 2021]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000374837_spa

Committee on Publication Ethics. Ethical guidelines for peer reviewers [online]. Committee on Publication Ethics (COPE). 2013 [viewed 12 February 2021]. https://doi.org/10.24318/cope.2019.1.9. Available from: https://publicationethics.org/resources/guidelines-new/cope-ethical-guidelines-peer-reviewers

First draft of the UNESCO Recommendation on Open Science [online]. UNESCO. 2020 [viewed 12 February 2021]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000374837

HAMILTON, D.G., et al. Journal policies and editors’ opinions on peer review. eLife [online] 2020, vol. 9, e62529 [viewed 12 February 2021]. https://doi.org/10.7554/eLife.62529. Available from: https://elifesciences.org/articles/62529

KLEBEL. T., et al. Peer review and reprint policies are unclear at most major journals. PLoS ONE [online]. 2020, vol. 15, no. 10, e0239518 [viewed 12 February 2021]. https://doi.org/10.1371/journal.pone.0239518. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0239518

NASSI-CALÒ, L. El camino hacia las pruebas de reproducibilidad es a través de informes registrados [online]. SciELO en Perspectiva, 2020 [viewed 12 February 2021]. Available from: https://blog.scielo.org/es/2020/08/26/el-camino-hacia-las-pruebas-de-reproducibilidad-es-a-traves-de-informes-registrados/

NASSI-CALÒ, L. Revisión por pares: mala con ella, peor sin ella [online]. SciELO en Perspectiva, 2015 [viewed 12 February 2021]. Available from: https://blog.scielo.org/es/2015/04/17/revision-por-pares-mala-con-ella-peor-sin-ella/

NOSEK, B.A., et al. Promoting an open research culture. Science [online]. 2015, vol. 348, no. 6242, pp. 1422–1425 [viewed 12 February 2021]. https://doi.org/10.1126/science.aab2374. Available from: https://science.sciencemag.org/content/348/6242/1422

ROSS-HELLAUER,T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, pp. 558 [viewed 12 February 2021]. https://doi.org/10.12688/f1000research.11369.1. Available from: https://f1000research.com/articles/6-588/v1

VELTEROP, J. Peer review – issues, limitations, and future development. ScienceOpen Research [online]. 2015 [viewed 12 February 2021]. https://doi.org/10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1. Available from: https://www.scienceopen.com/document?vid=1dcfbe69-c30c-4eaa-a003-948c9700da40

WILKINSON, J. Who’s using open peer review? [online]. Publons blog, 2017 [viewed 12 February 2021]. Available from: https://publons.com/blog/who-is-using-open-peer-review/

Enlaces externos

Committee on Publication Ethics (COPE): https://publicationethics.org/

Open science monitor | European Comission: https://ec.europa.eu/info/research-and-innovation/strategy/goals-research-and-innovation-policy/open-science/open-science-monitor

TOP Guidelines: https://www.cos.io/initiatives/top-guidelines

Lilian Nassi-Calò

See Full Bio