Desde árbitros estrellas a los árbitros fantasmas – Parte I

Parte I: ¿Quiénes son los peer reviewers y dónde están?

Imagen: macrovector.

Por Ernesto Spinak

Publons¹, la principal plataforma de revisión académica, ha publicado a comienzos de setiembre de 2018, el reporte Global State of Peer Review², con los resultados de la encuesta de revisores más grande realizada hasta la fecha. Publons registra a la fecha de esta nota más de 550.000 revisores que han arbitrado más de 3 millones de artículos. El documento referido contiene las respuestas de más de 11.000 investigadores de EUA, Alemania, Italia, España, Francia, Países Bajos, Suecia, Canadá, Reino Unido y Japón, y regiones emergentes como China, Brasil, Turquía, India, Irán, Corea del Sur, Malasia y Polonia, recopilando datos de Publons, ScholarOne y el Web of Science.

El informe plantea cuatro preguntas importantes relacionadas con los principales desafíos a los que se enfrenta la comunidad de investigación científica y académica actual:

1. ¿Quiénes están haciendo revisión por pares?
2. ¿Qué tan eficiente es el proceso?
3. ¿Qué sabemos sobre la calidad de la revisión por pares?
4. ¿Qué depara el futuro de la evaluación por pares y los evaluadores?

El análisis de estos resultados ha generado varias notas en sitios especializados; un resumen de las cuales informamos a continuación, tomadas de Clarivate Analytics³, y Nature News⁴.

Resultados:

• Los investigadores de las regiones emergentes están subrepresentados en el proceso de revisión por pares.
• El informe encuentra una creciente “fatiga de los revisores”, por lo que los editores deben invitar a más árbitros para que cada revisión se realice. El número aumentó de 1.9 invitaciones en 2013 a 2.4 en 2017. Los investigadores de los EUA, Reino Unido y Japón revisan más (1,95 revisiones/manuscrito) que los revisores de las regiones emergentes (0,66 revisiones/manuscrito), esto es tres veces más.
• Los evaluadores de países desarrollados tienden a aceptar menos invitaciones de revisión y tardan más tiempo en revisar que los de países emergentes.
• Los editores tienden a invitar a los revisores de sus propias regiones geográficas. Como la mayoría de los editores provienen de regiones desarrolladas, esto implica un sesgo hacia la selección de árbitros de esas regiones.
• Los revisores escriben evaluaciones más largas, en términos de cantidad de palabras, para las revistas más prestigiosas; el número de palabras aumenta a medida que aumenta el factor de impacto de la revista (JIF).
• Los revisores también devuelven sus evaluaciones más rápidamente para las revistas más prestigiosas, ya que la mediana de días para completar una revisión se reduce a medida que aumenta el JIF.
• Los editores envían más invitaciones de revisión ahora que hace cinco años. Sin embargo, una vez que se encuentran los árbitros, los tiempos de respuesta de las revisiones generalmente están disminuyendo para algunas disciplinas, como informática, geociencias e ingeniería. Así que partes de la comunicación académica se están acelerando, pero otras partes están obstruyendo el sistema y cada vez es más difícil encontrar revisores adecuados.
• Los revisores de regiones emergentes, como Irán, escriben reseñas que tienen menos de la mitad del tamaño de los revisores de regiones establecidas (250 palabras en comparación con 528 palabras). Si bien una revisión más larga no implica una revisión de mayor calidad, esta diferencia en la cuenta de palabras podría explicar parte de la diferencia en las tasas de invitación entre regiones.
• A pesar de estas diferencias, los volúmenes de revisión de las regiones emergentes, particularmente China, están creciendo mucho más rápido que las regiones establecidas, lo que sugiere que en algún momento en el futuro se alcanzará la paridad.

Resumen en cifras

• 5 millones de horas dedicadas a la revisión global cada año.
• 16,4 días es la mediana del tiempo de revisión.
• 5 horas es la mediana del tiempo dedicado a escribir cada revisión.
• 477 palabras es el largo promedio de los informes de revisión.
• 10% de los revisores son responsables del 50% de las revisiones por pares.
• El 41% de los encuestados considera que la revisión por pares es parte de su trabajo.
• El 75% de los editores de revistas dicen que la parte más difícil de su trabajo es encontrar revisores dispuestos.
• El 71% de los investigadores rechaza solicitudes de revisión porque el artículo está fuera de su área de especialización.
• 42% de los investigadores rechazan solicitudes de revisión porque están demasiado ocupados.
• El 39% de los revisores nunca recibió ninguna capacitación de revisión por pares.

Por otra parte, Publons es la primera plataforma (ya vendrán otras) que hace público y explícito quiénes son los revisores y dónde están, qué tarea hacen y para qué revistas. Luego se ingresan esas métricas integrándolas a sus otras actividades científicas para poder ser evaluadas todas sus facetas académicas, cosa que hasta ahora no se disponía.

Y llegando a la última cuestión considerada en la encuesta: ¿qué nos depara el futuro de la revisión por pares? Se nos abre un gran tema y una interrogante (mi conjetura):

1. El gran tema: cuáles son las tendencias de la función de evaluación por pares, sus modalidades y la creciente adopción de mecanismos para agilizar la publicación, como ser los preprints y cómo afectarán y potencialmente renovarán el papel de las revistas científicas.
   Este tema fue amplia y profundamente discutido en el panel GT5 – Innovaciones en Publicaciones Científicas y el Futuro de la Revisión por Pares y las Revistas, de la Reunión de la Red SciELO de la Semana SciELO 20 Años. Las discusiones se han de publicar en este blog, y sus conclusiones están publicadas en el sitio de la Reunión de la Red SciELO⁵. Dichas recomendaciones van a orientar las políticas de SciELO en la evaluación de manuscritos y en la adopción de preprints en los próximos 3 a 5 años.
2. Mi conjetura: ¿Con la apertura progresiva del flujo de publicación, incluyendo la evaluación de manuscritos, surgirá una vertiente nueva en la bibliometría para evaluar la actividad de los peer reviewers?
   Este tema de la nueva bibliometría, será abordado en la parte 2 de esta nota.

Notas

1. Publons <https://publons.com>

2. Global State of peer review [online]. Publons. 2018 [viewed 05 February 2019]. Available from: https://publons.com/community/gspr

3. Publons Release Inaugural Global State of Peer Review Report [online]. Clarivate Analytics blog, 2018 [viewed 05 February 2019]. Available from: https://clarivate.com/blog/news/publons-release-inaugural-global-state-of-peer-review-report/

4. VESPER, I. Peer reviewers unmasked: largest global survey reveals trends. Nature News. 2018 [viewed 05 February 2019].DOI: 10.1038/d41586-018-06602-y. Available from: https://www.nature.com/articles/d41586-018-06602-y

5. CABRAL, I. WG5: Scientific Publishing Innovations and the Future of Peer Review and Journals. In: SciELO Network Meeting, São Paulo, 2018. 25 slides. [viewed 05 February 2019]. Available from: https://pt.slideshare.net/scielo/ivone-cabral-wg5-scientific-publishing-innovations-and-the-future-of-peer-review-and-journals

Referencias

CABRAL, I. WG5: Scientific Publishing Innovations and the Future of Peer Review and Journals. In: SciELO Network Meeting, São Paulo, 2018. 25 slides. [viewed 05 February 2019]. Available from: https://pt.slideshare.net/scielo/ivone-cabral-wg5-scientific-publishing-innovations-and-the-future-of-peer-review-and-journals

Global State of peer review [online]. Publons. 2018 [viewed 05 February 2019]. Available from: https://publons.com/community/gspr

Publons Release Inaugural Global State of Peer Review Report [online]. Clarivate Analytics blog, 2018 [viewed 05 February 2019]. Available from: https://clarivate.com/blog/news/publons-release-inaugural-global-state-of-peer-review-report/

The power of Web of Science comes to Publons [online]. Publons blog, 2018 [viewed 05 February 2019]. Available from: https://publons.com/blog/show-your-research-impact/

VESPER, I. Peer reviewers unmasked: largest global survey reveals trends. Nature News. 2018 [viewed 05 February 2019]. DOI: 10.1038/d41586-018-06602-y. Available from: https://www.nature.com/articles/d41586-018-06602-y

Enlaces externos

Publons <https://publons.com>

Sobre Ernesto Spinak

Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.