¿Cómo será el arbitraje por pares en el año 2030?

Por Ernesto Spinak

La historia reciente y polémica

Imagen: Wikipédia.

La literatura científica tiene una historia que se remonta al menos por 350 años. Desde sus comienzos, antes de ser publicada, estaba supervisada de una manera u otra por colegas de los autores pertenecientes al mismo ámbito académico. Sin embargo, los procedimientos de arbitraje por pares usados actualmente por las revistas académicas no son tan antiguos como se piensa, son mucho más recientes. La revista Nature lo introdujo de manera formal en 1967. Antes de eso, algunos trabajos eran revisados y otros eran directamente aprobados por el editor de la revista. Michael Nielsen en su blog¹ sugiere que “con la especialización creciente de la ciencia… los editores gradualmente se dieron cuenta de que era cada vez más difícil tomar decisiones informadas acerca de qué valía la pena publicar”.

Sin embargo ya desde los años 80 surgieron críticas diversas sobre las limitaciones y sesgos que podrían ser introducidos por los procedimientos de revisión por pares que se usaban, tales como el simple ciego, doble ciego y otros. Algunos de los críticos más conocidos fueron Chubin y Hackett, de La Oficina del Congreso de USA sobre evaluación de Tecnología y de lo Instituto Politécnico de Rensselaer en Nueva York. Así lo expresaron tan atrás como en 1990 en su libro Peerless Science²:

“La revisión por pares es el principio sobre el que tradicionalmente ha dependido el sistema de gobierno interno de la ciencia. Durante los últimos diez años ha habido una gran cantidad de evidencia que sugiere que esa suposición ya no es válida (si alguna vez lo fue) y que muchas de las tensiones en la relación ciencia-gobierno en los EE.UU. son rastreables ya sea a la suposición en sí o a las formas en que se implementa”.

Varios métodos de arbitraje se han ensayado en los pasados tres siglos, en particular a partir de la década de los años 60, sin encontrarse aún un procedimiento que conforme a todas las partes. Pero aun así la cantidad de publicaciones científicas crece como una inundación, lo que introduce presiones adicionales a los métodos actuales de arbitraje.

Cada año se envían 1,7 millones de artículos para ser evaluados y revisados antes de su publicación. Una investigación³ realizada en el año 2015 sobre el tiempo que los investigadores dedican a la revisión de manuscritos evaluó que estaría en el orden los 13 a 20 millones de horas/persona. Esto por supuesto es una aproximación, porque en algunas áreas solo se usa un solo evaluador y los comentarios del editor, en cambio en otras revistas se solicitan tres evaluadores. Este cálculo tampoco toma en cuenta que es frecuente que un artículo sea enviado a varias revistas en forma secuencial hasta que consigue ser publicado, y también muchos otros no llegan a ser publicados jamás, los que también demandaron tiempo de revisión. Todo esto muestra con claridad que la revisión de trabajos académicos por pares es una carga muy grande que se le impone al tiempo disponible de los investigadores.

Las preguntas y el debate

En base a las razones que estamos comentando es que BioMed Central y la compañía tecnológica Digital Science realizaron en noviembre de 2016 un taller donde un grupo de editores e investigadores se plantearon el reto de imaginar futuros escenarios de la revisión científica. Los resultados fueron publicados en mayo de 2017 bajo el título: ¿Cómo será el arbitraje por pares en el año 2030?⁴

Las preguntas centrales sobre las cuales giró el debate fueron:

• ¿Podría la tecnología hacer la revisión por pares más rápida y simple?
• Con la aplicación de la inteligencia artificial ¿podría prescindirse de la revisión por pares (peerless science)?
• La mayor transparencia ¿hará más ético al proceso de revisión?
• ¿Debería darse entrenamiento para hacer arbitraje?
• ¿Cómo darle crédito al trabajo de los revisores?

Una de las cuestiones innovadoras consideradas fue en qué forma la Inteligencia Artificial puede incorporarse al proceso editorial de revisión. Entre los diferentes usos podría ser el análisis de bancos de datos para encontrar revisores adecuados, detección de plagios, análisis estructurales de los documentos para encontrar reportes con fallas, análisis de datos estadísticos para encontrar errores o datos sospechosos de ser fraudulentos. Estos apoyos serán cada vez más necesarios en vista de que no hay suficiente capacidad humana para hacer frente al aumento de la publicación científica y su correspondiente revisión.

Los servidores de preprints

Como era de esperar en este debate, fueron temas obligados los servidores de preprints, y las diferentes formas de revisiones abiertas. Para cada uno de los temas se consideraron los beneficios y sus propios problemas.

Los servidores de preprints están hoy en día en el centro del debate. Si la mayoría de los artículos de investigación se publicaran como preprints entonces el acceso a los descubrimientos estarían disponibles tan pronto como se completara el artículo, en lugar de ocurrir como sucede en la actualidad, que sólo se consigue acceso cuando es aceptado y publicado en una revista.

Una de las objeciones corrientes a los servidores de preprints es que si se permitiera que los cientos de miles de artículos que se producen en todas las ramas de la investigación se publicaran antes de ser revisados y aprobados, entonces tendríamos también un alud de retractaciones y errores que causaría que el mundo entero de la investigación se caería a pedazos. Esta objeción surge por la preocupación cierta de que las retractaciones también han estado aumentado sin pausa en los tiempos recientes. Esto es cierto, las retractaciones están creciendo pero… ¡sorpresa! … el crecimiento principal de retractaciones está asociado a las revistas de primer nivel y los megajournals.

Si los servidores de preprints pudieran alcanzar el papel dominante que tienen en la física, la publicación de artículos en revistas será atractiva solamente si éstas pueden agregar valor al proceso de comunicación científica. Es decir, sólo valdrá la pena publicar en revistas de calidad porque, a través de la revisión por pares tradicional, podrá garantizarse la reproducibilidad, la confiabilidad, y el control de calidad previo a la publicación.

Observando este escenario pudiera ser que estemos transitando a un mundo en que muchas investigaciones se publicarán tal cual se escriban por los investigadores y luego pasen por un proceso de revisión por pares para su eventual publicación (o no). En cambio, otras investigaciones más selectas pasarán por un proceso riguroso de revisión, incluyendo todos los controles mencionados.

Las revisiones abiertas

Y, finalmente, la idea central que motivó la reunión de expertos que patrocinaron BioMed Central y Digital Science, fue el análisis de las diferentes opciones que se presentan para abrir las revisiones a la vista del público (open peer-review). Porque el open peer-review también tiene sus propios problemas, entre los que destacaron:

• Cómo dar incentivos para que los científicos se ofrezcan a hacer revisiones, porque la tarea no es remunerada y toma tiempo y trabajo.
• Los nuevos investigadores no son conocidos todavía por los editores de las revistas, por lo que sus revisiones, aunque sean públicas, no necesariamente serán apreciadas.
• Los investigadores nuevos podrían cohibirse en revisar trabajos a científicos de más experiencia y poner sus nombres en las revisiones públicas.

Para incentivar a los científicos a ofrecerse para hacer revisiones, en particular a personas que nunca lo han hecho todavía, se sugirió que deberían desarrollarse programas de entrenamiento para revisores, especialmente si estos cursos fueran promovidos por organizaciones bien acreditadas.

Abrir las puertas a la revisión por pares a todos los investigadores no es solamente una meta de las revistas. Los revisores dicen que a ellos les produce satisfacción tener una parte en la comunidad académica, además de mantenerse informados de las nuevas investigaciones y lo que se está trabajando. También han expresado que les gustaría poder ayudar a mejorar las comunicaciones que revisan. Aún más, ellos sienten que el trabajo de revisor podría mejorarles la reputación y su posicionamiento en sus comunidades académicas.

Una encuesta⁵ de Wiley de más de 3.000 revisores sugiere que los investigadores prefieren un reconocimiento formal del trabajo de hacer revisiones a recibir un pago. Asimismo consideran que el reconocimiento de esa tarea no es adecuado y debería tener mayor peso en los procesos de evaluación en las instituciones en las que trabajan.

Entre los científicos, la revisión por pares es vista como un componente crucial para dar confianza en la literatura académica. Y a pesar de los avances tecnológicos en, por ejemplo, los controles automatizados de estadísticas, pocos revisores ven en el futuro un modelo de publicación sin arbitrajes por pares previo a la publicación. De modo que, si el arbitraje por pares va a mantenerse de forma sustentable en un mundo de aumento constante de comunicación científica, debemos asegurarnos que la base disponible de árbitros sea tan amplia, global, y diversificada como lo es la fuente de científicos que están publicando trabajos.

Notas

1. NIELSEN, M. Three myths about scientific peer review [online]. Michael Nielsen’s blog, 2009 [viewed 10 Mar 2017]. Available from http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/

2. CHUBIN, D. E. and HACKETT, E. J. Peerless Science: Peer Review and U. S. Science Policy [online]. New York: State University of New York Press. 1990. 267 p. SUNY series in Science, Technology, and Society [viewed 24 May 2017]. Available from: http://capr-peerreview.mines.edu/Peerless%20Science.pdf

3. DEVINE, E. and FRASS, W. Peer review in 2015: A global view [online]. Taylor & Francis. 2015 [viewed 24 May 2017]. Available from: http://authorservices.taylorandfrancis.com/custom/uploads/2015/10/Peer-Review-2015-white-paper.pdf

4. SpotOn Report. What might peer review look like in 2030? A report from BioMed Central en Digital Science [online]. BioMed Central and Digital Science. 2017, 24p [viewed 24 May 2017]. Available from: http://figshare.com/articles/What_might_peer_review_look_like_in_2030_/4884878

5. Why high-profile journals have more retractions [online]. Nature. 2014 [viewed 24 May 2017]. DOI: 10.1038/nature.2014.15951. Available from: http://www.nature.com/news/why-high-profile-journals-have-more-retractions-1.15951

Referencias

CHUBIN, D. E. and HACKETT, E. J. Peerless Science: Peer Review and U. S. Science Policy [online]. New York: State University of New York Press. 1990. 267 p. SUNY series in Science, Technology, and Society [viewed 24 May 2017]. Available from: http://capr-peerreview.mines.edu/Peerless%20Science.pdf

DEVINE, E. and FRASS, W. Peer review in 2015: A global view [online]. Taylor & Francis. 2015 [viewed 24 May 2017]. Available from: http://authorservices.taylorandfrancis.com/custom/uploads/2015/10/Peer-Review-2015-white-paper.pdf

NIELSEN, M. Three myths about scientific peer review [online]. Michael Nielsen’s blog, 2009 [viewed 10 Mar 2017]. Available from http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/

SPINAK, E. and PACKER, A. 350 años de publicación científica: desde el “Journal des Sçavans” y el “Philosophical Transactions” hasta SciELO [online]. SciELO en Perspectiva, 2015 [viewed 24 May 2017]. Available from: http://blog.scielo.org/es/2015/03/05/350-anos-de-publicacion-cientifica-desde-el-journal-des-scavans-y-el-philosophical-transactions-hasta-scielo/

SpotOn Report. What might peer review look like in 2030? A report from BioMed Central en Digital Science [online]. BioMed Central and Digital Science. 2017, 24p [viewed 24 May 2017]. Available from: http://figshare.com/articles/What_might_peer_review_look_like_in_2030_/4884878

WARNE, V. Rewarding reviewers – sense or sensibility? A Wiley study explained. Learned Publishing [online]. 2016, vol. 29, no. 1, pp. 41-50 [viewed 24 May 2017]. DOI: 10.1002/leap.1002. Available from: http://onlinelibrary.wiley.com/doi/10.1002/leap.1002/full

Why high-profile journals have more retractions [online]. Nature. 2014 [viewed 24 May 2017]. DOI: 10.1038/nature.2014.15951. Available from: http://www.nature.com/news/why-high-profile-journals-have-more-retractions-1.15951

Sobre Ernesto Spinak

Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.