El papel de los editores en la evaluación por pares: cómo identificar a los malos revisores

Por Lilian N. Calò

Fotografía adaptada de la original: Pasquale Paolo Cardo.

La evaluación por pares es una de las etapas críticas de la edición científica, que tiene por objetivo asegurar la confiabilidad y calidad de las publicaciones. Ha sido objeto de frecuentes discusiones en este blog^1-3 la saturación actual del proceso de evaluación por pares pre publicación así como los modelos alternativos que se presentan para intentar evitar que el problema se agrave todavía más. El un hecho conocido en la comunidad científica que el modelo actual de evaluación por pares atrasa demasiado la publicación de resultados de investigación, pero no siempre confiere calidad a las publicaciones.

Muchos editores estarán de acuerdo con el hecho de que es cada vez más difícil obtener revisiones de calidad en el tiempo previsto por el proceso editorial de las revistas. Las causas probables de este comportamiento son varias, desde el número cada vez mayor de artículos para evaluar, en franca disociación con la cantidad de investigadores disponibles para hacer frente a la demanda; la falta de mecanismos de recompensa de esta actividad en el medio académico, el bajo número de especialistas en determinados nichos de la ciencia, o simplemente la falta de disposición para emprender una tarea altamente especializada que demanda tiempo y esfuerzos que, sin embargo, trae poca o ninguna recompensa la mayor parte de las veces y es simplemente descartado después de la aprobación del manuscrito.

Además de los desafíos impuestos al proceso de evaluación por pares, también la confiabilidad y la transparencia no siempre están aseguradas. La mayor parte de las veces, protegidos por el anonimato, los evaluadores pueden actuar de forma antiética comprometiendo el proceso que debería, en primer lugar, evaluar los artículos por su mérito científico. Los evaluadores además, son ellos mismos investigadores que se dedican a estudios en la misma área que los trabajos que evalúan. Es comprensible que surjan conflictos de interés que, en rigor, deberían ser declarados por los evaluadores al mismo tiempo en que declinan realizar una determinada evaluación. Sin embargo, muchas veces, no es lo que sucede.

Estudios recientes usando modelos teóricos de evaluación por pares mostraron que los resultados son sensibles al comportamiento antiético de los evaluadores. De acuerdo con el modelo propuesto por Therner y Hanel⁴ los evaluadores que optan por actuar en beneficio propio en vez de en favor de la ciencia, tienden a rechazar manuscritos que juzgan de calidad superior en relación a su propio trabajo – y se les denomina evaluadores egoístas. En el otro extremo del modelo, estos autores proponen la existencia – teórica – de evaluadores que se dicen imparciales, que están aumentando constantemente el patrón de calidad de los manuscritos que aceptan para publicación, mientras que los evaluadores egoístas aceptan mayoritariamente manuscritos de calidad por debajo del promedio. Por lo tanto, teóricamente, un escenario en que hubieran solo evaluadores imparciales resultaría en que ningún artículo sería publicado, pues los patrones de publicación serían demasiado elevados, mientras que un escenario con solamente evaluadores egoístas resultaría en la publicación de artículos de calidad por debajo del promedio de los artículos enviados. Evidentemente la situación real se encuentra entre estos dos extremos.

Un artículo recién publicado en PeerJ Preprints, de autoría de Rafael D’Andrea y James O’Dwyer, de la Universidad de Illinois, EUA retoma el modelo de Thurner y Hanel y lo amplía, probando cómo los resultados se alteran cuando los evaluadores adoptan comportamientos menos extremos, así como el papel de los editores de revistas en mitigar los impactos negativos de la conducta antiética de ciertos evaluadores.

D’Andrea y Dwyer extendieron el modelo de Therner y Hanel introduciendo dos categorías de revisores a los ya existentes imparciales (con patrones fijos) y egoístas (indiferentes). Se trata de los evaluadores imparciales con patrones variables y los evaluadores egoístas concienzudos. Los evaluadores imparciales con patrones fijos aceptan para publicación manuscritos con patrones mínimos de calidad y rechazan los demás. Los imparciales con patrones variables tienen un comportamiento similar, solo que su patrón de calidad se basa en la media de calidad de los trabajos aceptados para publicación en el ciclo anterior de revisión, y este patrón, por lo tanto, se actualiza constantemente, lo que justifica su denominación. Los evaluadores antiéticos egoístas indiferentes aceptan artículos cuya calidad es menor que la media de los artículos enviados, mientras que los egoístas concienzudos siguen esta regla, sin embargo también obedecen los estándares mínimos de calidad.

Los resultados llevaron a concluir que los evaluadores egoístas, tanto indiferentes como concienzudos, tienen un pronunciado efecto en reducir la calidad de la literatura publicada. La causa principal de este impacto es su complacencia en aceptar artículos de baja calidad, y no por su tendencia en rechazar artículos de calidad que ellos puedan percibir como una amenaza o competencia a su propia producción científica. La única manera de asegurar el mantenimiento de la calidad de las publicaciones es si los evaluadores se comprometieran a rechazar artículos que no cumplan con los criterios mínimos de calidad preconizados por las revistas, independientemente de la inclinación que tengan en sabotear trabajos de mejor calidad que los suyos propios. Además, la actuación de los revisores egoístas tienen un fuerte impacto en las tasas de rechazo en general y en particular de manuscritos por encima de la calidad media.

¿Qué pueden hacer los editores de revistas para mitigar, ya que no es posible neutralizar el impacto de la acción de revisores antiéticos? D’Andrea y Dwyer llegaron a la conclusión de que en la eventualidad de que uno de los evaluadores recomendara la publicación del manuscrito, y el otro su rechazo, consultar a otros revisores para desempatar la decisión ayuda a preservar la calidad del proceso de evaluación. Por otro lado, los autores observaron que esta estrategia tiende a aumentar la proporción de manuscritos rechazado con calidad por encima del promedio, lo que no es positivo para la ciencia.

La práctica de elaborar listas de evaluadores egoístas (blacklisting) consiste en mantener registros de aquellos evaluadores que tienen índices elevados de desacuerdo entre evaluadores. Este razonamiento se basa en el hecho de que dos evaluadores imparciales nunca están en desacuerdo entre sí, pero un imparcial y un egoísta pueden discrepar. Así, un alto nivel de discrepancia puede indicar un evaluador egoísta. En el modelo teórico reportado en el artículo, el blacklisting tiene su efecto sobrestimado, pues en la realidad, cada revista puede mantener su propia lista de evaluadores antiéticos, pero no es probable que las compartan. A pesar de eso, remover evaluadores de comportamiento sospechoso de la muestra, aumenta la calidad de los artículos publicados y reduce la tasa de rechazo de los buenos artículos.

Cabe resaltar que los autores enfatizan que esta estrategia editorial termina teniendo un efecto indeseable, ya que sobrecarga a los buenos evaluadores con más artículos para revisar y libera de la tarea a aquellos de comportamiento antiético, dándoles más tiempo para su propia investigación.

Una observación interesante en el modelo de evaluación estudiado, que parece contraintuitivo con lo que se observa en la realidad, es que enviar artículos rechazados de vuelta a los autores para revisión no tuvo ningún efecto en mejorar la calidad de los mismos, a pesar de la estrategia de disminuir la proporción de manuscritos rechazados de calidad por encima del promedio. Por otro lado, la aprobación o rechazo inmediato, sin evaluación por pares, de manuscritos excepcionalmente buenos o excepcionalmente malos no tiene casi impacto en la calidad de lo que se publica o en la tasa de rechazo, excepto, como era esperado, el de garantizar que los grandes artículos serán publicados y los que son muy malos no lo serán.

Este estudio adoptó algunas aproximaciones extremas, como considerar que el único sesgo de los evaluadores fuera el interés egoísta de sabotear artículos de calidad superior a su propia producción científica; asumir que los editores no tienen ningún sesgo; considerar que los patrones de calidad de las revistas son uniformes, y por último, juzgar que los manuscritos son evaluados solamente sobre la base de su mérito científico y valor intrínseco para publicación. Sin embargo, los autores creen que modelos más sofisticados que tengan en cuenta estas omisiones deberían llegar a las mismas conclusiones cualitativas en cuanto al impacto de la indiferencia de los evaluadores y la capacidad potencial de los editores en mitigarlas.

Los autores concluyeron que el formato actual de evaluación por pares pre-publicación ofrece poco o ningún incentivo para el comportamiento altruista de los evaluadores y proporciona pocas garantías de eficiencia y transparencia en el proceso. Esta observación se encuentra con muchos otros estudios que comparten la noción de que se hace necesario una profunda revisión del formato actual de la evaluación por pares, para restituirle la credibilidad, eficiencia, y transparencia, y al mismo tiempo proveer a la comunicación científica la celeridad deseada.

Notas

1. VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

2. NASSI-CALÒ, L. Aumenta la adopción de evaluación por pares abierta [online]. SciELO en Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/

3. PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints en camino [online]. SciELO en Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2017/02/22/scielo-preprints-en-camino/

4. THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B. [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140/epjb/e2011-20545-7. Available from: http://epjb.epj.org/articles/epjb/abs/2011/23/b110545/b110545.html

5. D’ANDREA​, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints. 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287/peerj.preprints.3005v3. Available from: http://peerj.com/preprints/3005v3/

Referencias

D’ANDREA​, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints. 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287/peerj.preprints.3005v3. Available from: http://peerj.com/preprints/3005v3/

NASSI-CALÒ, L. Aumenta la adopción de evaluación por pares abierta [online]. SciELO en Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/

NASSI-CALÒ, L. Revisión por pares: mala con ella, peor sin ella [online]. SciELO en Perspectiva, 2015 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2015/04/17/revision-por-pares-mala-con-ella-peor-sin-ella/

NASSI-CALÒ, L. Revisión por pares: modalidades, pros y contras [online]. SciELO en Perspectiva, 2015 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints en camino [online]. SciELO en Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2017/02/22/scielo-preprints-en-camino/

THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B. [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140/epjb/e2011-20545-7. Available from: http://epjb.epj.org/articles/epjb/abs/2011/23/b110545/b110545.html

VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 19 June 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.