Desde árbitros estrellas a los árbitros fantasmas – Parte II

Parte II: Bibliometría de peer reviewers – una conjetura

Imagen: macrovector.

Por Ernesto Spinak

En los últimos años el tema del arbitraje de trabajos científicos (peer review) ha tomado relevancia, debido a múltiples razones. Algunos de estas – solo algunas – pueden ser el crecimiento de la cantidad de publicaciones científicas, las críticas a los diferentes sistemas de arbitraje (ciego, doble ciego, abierto, etc.) sus sesgos y limitaciones, la falta de reconocimiento a los revisores por esa labor sustantiva generalmente honoraria y anónima, la necesidad de capacitación en los procedimientos de revisión y un larguísimo etcétera. Los revisores cumplen una función tan importante, que SciELO en Perspectiva ha publicado más de 150 posts relacionados con peer review en los pasados cuatro años¹.

En la Parte I de este post (¿Quiénes son los peer reviewers y dónde están?²) se analizó la primera encuesta global de las actividades de los revisores³, con respuestas de más de 11.000 investigadores registrados en Publons, de los principales países que publican investigación científica, tanto países desarrollados como países emergentes.

De ese informe se destacan algunos conceptos, como que:

• el 10% de los revisores son responsables del 50% de las revisiones por pares a nivel global, lo que parece revelar un comportamiento de Lotka⁴.
• El arbitraje abierto (Open Peer Review, OPR) comenzará a revelar los nombres de los árbitros, modificar los procesos editoriales, y dar el debido reconocimiento a los académicos que realizan esta actividad.
• El trabajo de revisión no está debidamente reconocido en los CV de los investigadores, pero ahora surge en Publons un servicio donde se presentan las actividades de los revisores con cifras integradas a las restantes actividades académicas del investigador. ¡Finalmente vamos en camino al reconocimiento de esa actividad honoraria!

Desde el momento en que las actividades de revisión por pares comenzará a ser públicamente conocida y evaluada con métricas, entonces ese producto o servicio comenzará a ser demandado por el mercado. Todo producto que tiene demanda y valor es “monetizado”, y como consecuencia tendremos nuevos proveedores – ¿Elsevier/Scopus, Google Scholar, ResearchGate, otros?

Nuestra conjetura

Es nuestra conjetura que en poco tiempo la bibliometría abrirá una nueva vertiente de investigación muy fructífera, que a falta de mejor nombre podríamos llamarla “peer reviewer bibliometrics”⁵ (bibliometría de revisor).

La plataforma Publons ofrece la posibilidad de consultar quiénes están haciendo revisiones⁶ por país, revista, institución, tema, etc., consultar la productividad por nombre de persona, y obtener quiénes son los revisores top en cada área de investigación. La mesa está servida para las nuevas métricas.

¿Cuáles seguramente serían algunos tipos de análisis en la bibliometría de revisores?

A continuación – en paralelo a la bibliometría tradicional – se me ocurre la siguiente lista que seguramente podrá ser enriquecida por los lectores.

Tabulaciones

• Por persona
• Por país o región
• Por idioma
• Por área de investigación

Análisis de redes (network analysis)

• Asociación revista/persona

Ejemplo: si existe correlación de revisores con ciertos títulos de revistas.

• Reviewer-coupling (emparejamiento de revisores)

Ejemplo: si los dos o tres revisores de un artículo aparecen asociados con frecuencia en el arbitraje de artículos.

• Reviewer Network Analysis (análisis de redes de revisores)

Ejemplo: ¿tendrá relación con las redes de autores citados/citantes? O sea, las redes de autores tendrán similaridad con la de los revisores? ¿Serán las mismas personas que juegan de los dos lados del mostrador? Es decir ¿habrá endogamia revista/tema/revisores?

Cómo medir o valorar esa actividad en el CV los revisores

• ¿se ponderará el Factor de Impacto (FI) de las revistas donde hicieron revisiones?
• Evaluación de la calidad de las revisiones, ¿podrán tener puntaje?
• Análisis diacrónicos, cuántas por año, antigüedad de las revisiones, etc.

Revisores anónimos

• ¿Problemas si no quieren revelar el nombre?
• ¿Tendremos revisores fantasmas (ghost reviewing), o sea revisiones que se publican bajo otro nombre para evitar problemas de endogamia, y conflicto de intereses?

Una vez que las métricas de revisiones se incorporen en el CV de los académicos, entonces se producirá una competencia para conseguir esas tareas. Sobre todo de parte de académicos que tienen pocas publicaciones o pocas citaciones⁷.

Notas

1. Para tener una visión sobre la cobertura de este tema puede hacer una consulta en la página del blog SciELO en Perspectiva (inglés) con la expresión “peer review”.

2. SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 06 February 2019]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

3. Global State of peer review [online]. Publons. 2018 [viewed 06 February 2019]. Available from: https://publons.com/community/gspr

4. La Ley de Lotka o Ley de crecimiento exponencial, se trata de una ley bibliométrica, sobre la distribución de los autores según su productividad. Su ley afirma que hay una distribución desigual de productividad en los autores y que, independientemente de la disciplina, la mayoría de los autores publican el menor número de trabajos, mientras que unos pocos autores publican la mayor parte de la bibliografía relevante sobre un tema de investigación, y forman el grupo más prolífico. El número de autores, A que publican n trabajos sobre una materia es inversamente proporcional al cuadrado de n. Ley de Lotka <https://es.wikipedia.org/wiki/Ley_de_Lotka>

5. Nota del autor: fue para mí una gran sorpresa que pese a reiteradas consultas en Internet, no encontré casi ningún trabajo que analizara métricas sobre las tareas de los revisores, seguramente debido a que durante años estas tareas eran “ciegas”

6. Top 1% in Field [2018]. Publons. 2018 [viewed 06 February 2019]. Available from: https://publons.com/awards/2018/esi/?esi=16&order_by=place

7. Mi reflexión escéptica: si un escritor no tiene éxito, entonces se convierte en crítico literario… si un científico no consigue citaciones…

Referencias

Global State of peer review [online]. Publons. 2018 [viewed 06 February 2019]. Available from: https://publons.com/community/gspr

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 06 February 2019]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

Top 1% in Field [2018]. Publons. 2018 [viewed 06 February 2019]. Available from: https://publons.com/awards/2018/esi/?esi=16&order_by=place

Enlaces externo

Ley de Lotka <https://es.wikipedia.org/wiki/Ley_de_Lotka>

Sobre Ernesto Spinak

Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.