Aumenta la adopción de evaluación por pares abierta

Por Lilian Nassi-Calò

Foto: SciELO.

La evaluación por pares, uno de los pilares que sustenta la comunicación científica, fue propuesta por primera vez en 1831 por William Whewell a la Royal Society de Londres, al sugerir que una comisión de académicos eminentes elaborara informes sobre los artículos enviados para publicación en la revista Philosophical Transactions. Whewell argumentó que esos informes a menudo “podrían ser más interesantes que los propios artículos” y además, los autores estarían agradecidos por el hecho de que sus artículos serían revisados cuidadosamente por al menos dos o tres especialistas. El precursor del sistema de arbitraje por pares, sin embargo, no tenía por objetivo impedir la publicación de artículos de mala calidad o proponer un sistema para basar las decisiones acerca de la publicación. En realidad estaba tratando de aumentar la visibilidad de la ciencia en la sociedad y atribuir una identidad a la empresa científica en el Reino Unido, que se enfrentaba a la escasez de recursos y de reconocimiento público.

La receptividad de la comunicación científica en la época no era de las mejores, en un principio. Fue necesaria cerca de una década para que el sistema de arbitraje fuese aceptado y reconocido, no sin antes enfrentar la ira de los autores: “llenos de envidia, odio, malicia y falta de caridad, escondidos en alguna cámara secreta, este juzgado científico es usado para la protección del anonimato para promover sus intereses personales – tal vez a través de actos de piratería indetectables – en detrimento de autores indefensos”¹ (traducción del autor) Aunque exacerbada, esta reacción pudiera ser no poco común entre autores que tuvieron artículos rechazados por opiniones duras.

No fue sino hasta el final del siglo XIX que los editores de revistas adoptaron la práctica de arbitraje y los revisores fueron incorporados al engranaje de la publicación científica como forma de asegurar la integridad de la literatura académica. A pesar de las frecuentes tentativas de eliminar “el verdadero alcantarillado lanzado en la corriente pura de la ciencia”, las sociedades científicas del Reino Unido llegaron a unificar sus aparatos científicos y crear un sistema padronizado para supervisar toda la publicación científica. El plan, sin embargo, no avanzó, pues hubiera sido necesario también enlistar a los editores de revistas independientes. No obstante, los árbitros adquirían con el pasar de los años el carácter de “gatekeepers”, o guardianes de la buena ciencia.

No escapó al análisis de muchos, sin embargo, de que todo el sistema de arbitraje fuera intrínsecamente defectuoso y pudiese al mismo tiempo impedir que se publicaran ideas innovadoras y que, en última instancia, debería ser abolido. Pero todos sabemos que el sistema ha sobrevivido hasta el presente, aunque no sin objeciones, críticas y reservas.

La evaluación por pares pasa hoy por un momento de transición y muchos creen que es necesario redefinir sus principios y prácticas para no retrasar o impedir el progreso de la ciencia. En este sentido, surgieron recientemente alternativas al modelo tradicional de arbitraje, que normalmente es cerrado y mantiene la confidencialidad de la identidad de los revisores (sistema simple-ciego) y muchas veces también, la de los autores (sistema doble-ciego). Es interesante notar que desde 1833 prevalecían las revisiones cerradas y anónimas, pues no se consideraba adecuado o cordial firmar una crítica explícita a un colega, y además, las revisiones no se consideraban una expresión personal, sino que representaban la cátedra de su autor.

Revistas como Nature Communications, Peer J, BMJ y F1000 Research ofrecen actualmente a los autores la opción de evaluación por pares abierta, o sea, las revisiones son publicadas inmediatamente después del artículo, y con el consentimiento de los revisores, también se publica su nombre y afiliación institucional. Un artículo reciente en Nature evalúa la adopción creciente de esta modalidad de evaluación por pares, comparándola con una piscina helada: “todos están mojando los dedos, pero todavía están renuentes a zambullirse.”² (traducción del autor)

En la encuesta realizada por Nature Communications, 60% de los autores en 2016 autorizaron la publicación de las opiniones sobre sus artículos, lo que llevó a la revista a continuar ofreciendo esta opción en este año, sin embargo, sin hacerla obligatoria. Confirmando esta tendencia hay una investigación todavía no publicada por la Comisión Europea, en la que más de la mitad de los más de tres mil entrevistados entre autores, editores y editoriales afirmaron que la evaluación abierta por pares debe ser adoptada como rutina. Cuando se les consultó si ciertos aspectos mejorarían, empeorarían o no tendrían efecto en el arbitraje por pares, los encuestados proporcionaron las siguientes opiniones: 65% afirmaron que la discusión abierta entre autores y revisores mejoraría/mejoraría mucho la evaluación por pares; 55% afirmaron que la publicación de los informes de evaluación mejoraría/mejoraría mucho la evaluación por pares: 47% son de la opinión de que permitir la publicación de comentarios abiertos al final del artículo mejoraría/mejoraría mucho la evaluación por pares; sin embargo apenas 35% cree que la publicación de artículos en línea antes de pasar por la evaluación por pares formal mejoraría/mejoraría mucho la evaluación por pares y no más de 30% piensa que revelar la identidad de los revisores mejoraría/mejoraría mucho la evaluación por pares, mientras que casi 50% creen que esta acción empeoraría/empeoraría mucho el proceso.

Los resultados de la encuesta, sin embargo, están muy influidas por el hecho de que la evaluación por pares abierta tiene diferentes significados para diferentes personas, afirma Anthony Ross-Hellauer, científico de la información de la Universidad de Göttingen, Alemania, coordinador del proyecto OpenAIRE financiado por la Comunidad Europea. Mientras que algunos piensan que es sólo publicar el nombre de los revisores y no los informes, otros piensan que los informes anónimos deben ser publicados, mientras que una parte de los entrevistados cree que el proceso debe ser totalmente abierto, inclusive con la participación de cualquier interesado. Diferentes disciplinas también tienen comportamientos particulares. En la experiencia de Nature Communications, 70% de los autores de artículos en ecología y evolución, biología molecular y ciencias de la tierra, optaron por revisiones abiertas, mientras que el área de la física representó un menor porcentaje. Para una comunidad familiarizada con el uso de arXiv, sin embargo, es un comportamiento inesperado.

La práctica de hacer públicos los informes de pares se está consolidando en los últimos años. Iniciativas como Publons e Hipothes.is, creadas en 2014 como start-ups, permiten la publicación de opiniones sobre artículos publicados, con el consentimiento de los editores y autores. La editorial multinacional Elsevier publicó en los últimos dos años las opiniones abiertas de cinco títulos de su colección, y desea incluir nuevos títulos este año.

Los defensores de la evaluación abierta argumentan que atribuir responsabilidad a los revisores publicando sus informes, y cuando sea posible su identidad, convierte el proceso más transparente y justo. Otros hacen reservas en cuanto a la posible publicación de opiniones sin el debido consentimiento de los revisores, y si los informes alcanzarían la deseada atención de los lectores. Joseph Tennant, paleontólogo en el Imperial College en Londres, dice que es la primera sección del artículo que él lee, después del resumen, sin embargo no se sabe la extensión de investigadores que harían lo mismo.

Csiszar, en su artículo en Nature, informa que el término peer-review proviene de los procedimientos que las organizaciones públicas de financiación usan para definir las ayudas concedidas a la investigación. Cuando el sistema de revisión se convirtió en “revisión por pares”, adquirió un fuerte símbolo público de que la ciencia tiene mecanismos para autorregularse y generar consenso, incluso sin la certeza de que los revisores estén aptos para un emprendimiento de esta magnitud. Se cree que el actual debate de la comunidad científica en replantearse la forma en cómo se realiza la evaluación por pares considera una serie de factores, como la psicología del sesgo, la cuestión de la objetividad, la habilidad de evaluar la confiabilidad e importancia, sin embargo raramente considera la historia de la institución “peer-review”, que “no se desarrolló solo de la necesidad de los investigadores de confiar en la investigación de sus pares, fue también una respuesta a la demanda política por la responsabilidad pública. Entender que otras prácticas de evaluación de la ciencia han tenido lugar debe ser parte de cualquier tentativa responsable en el futuro.” ¹ (traducción del autor)

Notas

¹ CSISZAR, A. Peer review: Troubled from the start. Nature. 2016, vol. 532, pp. 306–308. DOI: 10.1038/532306a

² CALLAWAY, E. Open peer review finds more takers. Nature. 2016, vol. 539, pp. 343. DOI: 10.1038/nature.2016.20969

Referencias

CSISZAR, A. Peer review: Troubled from the start. Nature. 2016, vol. 532, pp. 306–308. DOI: 10.1038/532306a

CALLAWAY, E. Open peer review finds more takers. Nature. 2016, vol. 539, pp. 343. DOI: 10.1038/nature.2016.20969

NASSI-CALÒ, L. Artículo analiza la saturación de los revisores por pares. SciELO en Perspectiva. [viewed 06 January 2017]. Available from: http://blog.scielo.org/es/2015/01/22/articulo-analiza-la-saturacion-de-los-revisores-por-pares/

NASSI-CALÒ, L. Comentando la literatura académica online. SciELO en Perspectiva. [viewed 06 January 2017]. Available from: http://blog.scielo.org/es/2015/12/08/comentando-la-literatura-academica-online/

Enlaces externos

Publons – http://publons.com/

Hipothes.is – https://hypothes.is/

Projeto OpenAIRE – https://www.openaire.eu/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.