Artículo analiza la saturación de los revisores por pares

Por Lilian Nassi-Caló

El proceso de revisión por pares constituye la etapa clave del proceso editorial que otorga calidad y credibilidad a los artículos científicos. En Brasil y en muchos países, sin embargo este sistema enfrenta tres dificultades mayores: la dificultad de encontrar buenos árbitros, el tiempo de evaluación y la calidad de las revisiones.

El tema ha sido objeto de discusión en este blog en varias ocasiones y muchos autores proponen alternativas al modelo clásico de revisión doble ciego (en el cual las identidades de los autores y de los árbitros solo es conocida por el editor de la revista), con la intención de mejorar la calidad de los dictámenes y al mismo tiempo dar crédito público a los revisores. Uno de estos modelos tiene como premisa la publicación conjunta del artículo seguido de los comentarios de los árbitros. Este modelo tiene como objetivo frenar que los artículos falsos o falsificados escapen al control de los procesos de revisión y sean publicados.

Con el aumento del número de artículos y de revistas en todo el mundo, debido a la migración de la publicación impresa a la digital, el sistema académico de revisión viene mostrando señales de colapso. Los árbitros que proporcionan revisiones consistentes, de calidad y dentro del plazo solicitado, han sido sobrecargados con más artículos para revisar de los que pueden dar cuenta. En la opinión de Martijn Arns, director e investigador del Research Institute Brainclinics, en Mijmegen, Holanda, la consecuencia más peligrosa de este proceso de saturación es que los artículos son enviados a revisores que no son especialistas en el área, lo que resulta en revisiones inadecuadas o superficiales, según el artículo publicado esta semana en Nature¹.

En ese artículo, el autor manifiesta preocupación respecto a la sustentabilidad y calidad del sistema de peer review, atestiguado por su propia experiencia y la de sus colegas al recibir asesoramientos inadecuados, mostrando falta de comprensión del tenor del artículo por el árbitro. El crecimiento del número de revistas online en las últimas décadas ha contribuido a la sobrecarga mencionada de los árbitros. Además de eso, la política editorial de parte de las revistas de acceso abierto consiste en la publicación de artículos cuya metodología sea válida y que hayan “certificado su exactitud y validez, independientemente la evaluación de su significado”. Esta recomendación puede sonar a los árbitros como una señal para aprobar artículos sólo basados en el análisis de las secciones de métodos y estadística, sin considerar las razones del estudio en su contexto más amplio.

La motivación impuesta por la cultura del ‘publish or perish’ de la ciencia en estos días ciertamente contribuye al aumento del número de artículos. La revista de acceso abierto PloS ONE, por ejemplo, publicó más de 105 mil artículos desde 2006, y el editor Frontiers, más de 20 mil desde 2007. Si cada artículo fue evaluado por dos revisores, eso representa más de 250 mil árbitros solamente para estos editores.

Como la tasa de aumento de artículos (estimada en 113% entre 2000 y 2013 en la base Scopus) es muy superior al aumento del número de investigadores (2,8% en la Unión Europea y 1,5% en los Estados Unidos), se concluye que la demanda de árbitros tiende a aumentar. Una de las consecuencias de esta demanda aumentada es la asignación de artículos a evaluadores que no son especialistas en el área, los cuales tienen capacidad de evaluar los métodos y resultados, pero sin embargo no consiguen juzgar la relevancia y contribución del trabajo en el área. Además de eso, también corresponde a los peer reviewers verificar si las citas a la literatura son adecuadas y el hecho de corroborar el razonamiento del autor. La cita de artículos obsoletos o inadecuados es perjudicial al avance de la ciencia, pues son perpetuadas ideas erróneas.

Arns propone un modelo al cual denominó híbrido para asegurar la calidad del proceso de revisión por pares. Según este modelo, un tercio de los artículos que comprenden aquellos con resultados negativos, estudios metodológicos o confirmación de experimentos previos, podrían ser publicados sin pasar por el peer review y enviados a revisión pos-publicación. Eso dejaría a los árbitros con más tiempo para evaluar los artículos más relevantes, en los que la revisión pre-publicación evita a los lectores incautos la exposición a ‘curas milagrosas’ o afirmaciones absurdas. Por lo tanto, se podría prevenir que la expansión de las publicaciones online resulte en la saturación de los árbitros, con el consiguiente deterioro de la calidad de las revisiones.

Como ya se mencionó, existen modelos que proponen el reconocimiento público de los evaluadores como forma de dar crédito a esta etapa importante del proceso de publicación científica y también para mejorar la calidad de las revisiones.

La startup Publons² fue creada para registrar en un portal en Internet la contribución de los peer reviewers y alentar a los investigadores a publicar sus experiencias online como árbitros. En nota en Nature de octubre de 2014^3, Richard van Noorden relata la experiencia de la empresa creada en Nueva Zelanda en 2013 por Andrew R.H. Preston y Daniel Johnston. Nature también escuchó a dos usuarios del servicio, los investigadores Yogendra Kumar Mishra, que estudia nanomateriales en la Universidad de Kiel, Alemania y Malcom Jobling, un biólogo marino en la Universidad de Tromsø en Noruega. Mishra y Jobling se destacan por su alto ránking de revisiones publicadas en Publon recientemente.

El nombre Publon significa la unidad fundamental de investigación científica que justifica ser publicada, de la misma manera que el quantum es la unidad fundamental de cualquier entidad física implicada en una interacción.

Según Preston, la revisión por pares es un trabajo especializado y valioso, que es descartado después de la publicación del artículo, desperdiciando así, ideas, sugerencias y comentarios. La finalidad de Publons es reunir y almacenar este contenido, promoviendo discusiones. Además de eso, se trata de reconocer y convertir la revisión por pares en una medida de producción científica, así como son las publicaciones y citas.

El uso del portal es bastante simple: los investigadores crean su login en la página de Publons y registran sus trabajos de revisión de artículos, antes y/o después de la publicación. Los textos de la revisión pre-publicación no son revelados hasta que la revista autorice su publicación en el formato ciego, doble ciego o abierto. En la opinión de Preston, ser seleccionado por un editor para revisar un trabajo es la traducción del reconocimiento de este investigador como un especialista en el área, y este simple hecho merecer ser registrado y destacado. Muchos revisores registran esta experiencia en el CV y pueden usarla para, por ejemplo, solicitar ser parte de comités editoriales de revistas.

Para tener una idea del volumen de revisiones realizados por los top reviewers, Jobling revisó más de 125 manuscritos solamente este año y registró 39 revisiones en Publons en los últimos tres meses. Su promedio es de más de 100 manuscritos al año. Mishra revisa en promedio 5 artículos por mes, y registró 22 en Publons en los últimos tres meses. El tiempo medio empleado para evaluar un artículo es variable, entre tres y doce horas, según Jobling, que declina tres veces más manuscritos de los que acepta revisar. Mishra declara que, al contrario de muchos colegas, revisa también artículos de revistas de bajo Factor de Impacto. El dice que el tiempo empleado en revisar artículos varía mucho, dependiendo del nivel del artículo y de la revistas a la que fue presentado.

Publons asegura que muchas revisiones contabilizadas en el portal no son abiertas. Así, el crédito para el árbitro se hace, sin embargo el texto de la revisión no se muestra. El portal también trabaja con revisiones abiertas, como las de las revistas Peer J y GigaScience, y de sitios como F1000 que automáticamente importan las revisiones de sus artículos a Publons. En la opinión de Jobling, las revisiones deben ser abiertas solo con consentimiento de la revista, de los autores y los revisores. Jobling mantiene sus revisiones anónimas, en tanto que Mishra prefiere no publicarlas, solo las registra en Publons.

En la opinión de Jobling, sin embargo, el reconocimiento completo del trabajo de peer reviewer todavía va a tardar. Preston, sin embargo, cree que el registro de revisiones pos publicación está desarrollándose de forma promisoria y más revisores deben adherirse a la iniciativa, creando un perfil de revisores entre editoriales, en pro del reconocimiento público de este trabajo importante.

Notas

¹ ARNS, M. Open access is tiring out peer reviewers. Nature. 2014, vol. 515, nº 467, pp. 467. DOI: 10.1038/515467a. Available from: http://www.nature.com/polopoly_fs/1.16403!/menu/main/topColumns/topLeftColumn/pdf/515467a.pdf

² Publons. 2014. Available from: http://publons.com/

³ VAN NOORDEN, R. The scientists who get credit for peer review. Nature. 2014. DOI: 10.1038/nature.2014. Available from: http://www.nature.com/news/the-scientists-who-get-credit-for-peer-review-1.16102

Referencias

About us. Publons. 2014. Available from: http://publons.com/about/?utm_content=menu

Al principio eran los plagios, ahora también los ‘papers’ automáticos falsos. SciELO en Perspectiva. [viewed 30 November 2014]. Available from: http://blog.scielo.org/es/2014/03/31/al-principio-eran-los-plagios-ahora-tambien-los-papers-automaticos-falsos/

Artículo propone cuatro pilares para la comunicación científica para promover la velocidad y la calidad de la ciencia. SciELO en Perspectiva. [viewed 30 November 2014]. Available from: http://blog.scielo.org/es/2013/07/31/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia/

Cienciometría de evaluadores – ¿serán finalmente reconocidos?. SciELO en Perspectiva. [viewed 30 November 2014]. Available from: http://blog.scielo.org/es/2014/05/14/cienciometria-de-evaluadores-seran-finalmente-reconocidos/

F1000. 2014. Availale from: http://f1000research.com/

Guide for GigaScience reviewers. GigaScience. 2014. Available from: http://www.gigasciencejournal.com/about/reviewers

Polémico artículo en Science expone debilidades en la revisión por pares en una serie de revistas de acceso abierto. SciELO en Perspectiva. [viewed 30 November 2014]. Available from: http://blog.scielo.org/es/2013/11/05/polemico-articulo-en-science-expone-debilidades-en-la-revision-por-pares-en-una-serie-de-revistas-de-acceso-abierto/

Policies & Procedures: Open Peer Review. Peer J. 2014. Available from: http://peerj.com/about/policies-and-procedures/#open-peer-review

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido de la versión en portugués por Ernesto Spinak.