Tenemos la tecnología para salvar la revisión por pares – ahora depende de nuestras comunidades en implementarlo [Publicado originalmente en el blog LSE Impact of Social Sciences en Septiembre/2017]

Por Jon Tennant, Daniel Graziotin y Sarah Kearns

Imagen: Tina Saey.

La revisión por pares de los trabajos de investigación científica da forma a unas de las piedras angulares de nuestro proceso de generación de conocimiento. Desde sus orígenes en el siglo 19, se ha convertido en un proceso diverso y complejo. El propósito del arbitraje por pares es evaluar y mejorar la calidad, novedad, validez, e impacto de los trabajos enviados y la investigación subyacente. A pesar de ser considerado por muchas personas como la regla dorada de la certificación para la investigación, hay ahora una evidencia creciente de que el ideal de la revisión por pares no está igualado por su proceso o su práctica.

Una investigación¹ ha mostrado que la revisión por pares es propensa al sesgo en numerosas dimensiones, a menudo poco fiable, e incluso puede no detectar la investigación fraudulenta. Este es un tema crítico en un momento en que la educación pública y el compromiso con la ciencia, y la confianza en la investigación, son necesarios debido a la proliferación de “hechos alternativos”, donde la experiencia es a menudo casualmente despedida en importantes dominios sociopolíticos. Si bien creemos que el ideal de la revisión por pares sigue siendo necesario, es su implementación, y la actual falta de alternativas viables, que hay que buscar para mejorar.

En nuestro último trabajo de investigación², publicado en F1000 Research, reunimos a un equipo internacional multidisciplinario de 33 autores para analizar la historia, el estado actual, y el futuro potencial de la revisión por pares. Como equipo, sentimos que habían algunas preguntas importantes sobre la revisión por pares que necesitaban ser examinadas con mayor detalle. Por ejemplo, ¿qué papel desempeña en nuestra moderna infraestructura digital de investigación y comunicación? ¿Se comporta a la altura de los altos estándares con los que se considera generalmente? ¿Cómo se puede aprovechar el poder y las prácticas de la web, particularmente los aspectos sociales de la Web 2.0, para pensar en modelos innovadores para la revisión por pares?

Hemos demostrado que ha habido una explosión en la innovación y la experimentación en la revisión por pares en los últimos cinco años. Esto ha sido impulsado por el advenimiento de las nuevas tecnologías, y una comprensión cada vez mayor de que existe un amplio margen para mejorar el proceso de revisión por pares. Al combinar los conocimientos y las experiencias de una amplia gama de disciplinas, tomamos una mirada introspectiva a la revisión por pares, que esperamos sea útil para futuros debates en el tema.

Creemos que hay tres rasgos fundamentales que sustentan cualquier sistema viable de revisión por pares: control de calidad y moderación, incentivos de desempeño y compromiso, y certificación y reputación. También creemos firmemente que cualquier nuevo sistema de revisión por pares debe ser capaz de demostrar que no sólo supera a los modelos actuales, sino que también evita o elimina tantos sesgos en los sistemas existentes como sea posible.

Control de calidad y moderación

El control de calidad es la función principal de la revisión por pares, y es lo que distingue la literatura académica de casi cualquier otro tipo. Típicamente esto se hace en un sistema cerrado, ligado a un local, concertado por pocos actores; a saber autores, revisores, y editores, siendo estos últimos el encargados de administrar el proceso. Un fuerte acoplamiento de revisión por pares a las revistas juega un papel importante en esto debido a la asociación común, aunque profundamente defectuosa, del prestigio del investigador con la marca de la revista. La cuestión aquí es que la “calidad” de la revisión por pares se basa en la confianza, en lugar de cualquier otra cosa sustantiva. Aunque, intuitivamente, la calidad de la revisión por pares en revistas más prestigiosas podría considerarse más alta que en las revistas más pequeñas, no podemos afirmarlo objetivamente debido a que simplemente no hay suficiente evidencia por causa de la opacidad del proceso.

Otras plataformas sociales de intercambio de conocimientos como Wikipedia, Stack Exchange and Reddit tienen comunidades auto gestionadas y estructuras de gobernanza (por ejemplo, moderadores) que representan modelos de alternativas posibles. En este caso los moderadores tienen la misma funcionalidad operativa que los editores de revistas en términos de mantenimiento y facilitan el proceso de participación. Comunidades individuales de investigación podrían elegir en forma transparente grupos de moderadores basados en la experiencia (por ejemplo automatizados a través de ORCID, usando el número de publicaciones previas como umbral), compromiso previo con la revisión por pares, y evaluación de su reputación. Diferentes comunidades podrían usar normas sociales y procedimientos específicos para gobernar el contenido y el compromiso, y auto organizarse en plataformas individuales y conectadas.

En dicho sistema, los objetos publicados pueden ser preprints, datos, software, o cualquier otro producto digital de investigación. El control de calidad podría ser proporcionado teniendo un sistema semi automatizado de revisión, pero administrado y de revisión abierta, con interacción pública, colaboración y refinamiento transparente a través del control de versiones. La moderación comunitaria y el crowdsourcing jugarían un papel importante, evitando comentarios subdesarrollados que no fueran constructivos y pudieran retrasar el progreso eficiente de la investigación.

Cuando los autores y moderadores consideran colectivamente que el proceso de revisión por pares ha sido suficiente para que un objeto haya alcanzado un nivel de calidad o aceptación decidido por la comunidad, la revisión está completa. Algunas revistas, tales como el Journal of Open Source Software, ya implementan este proceso con éxito. Aunque los roles editoriales tradicionales no están previstos en nuestra visión, reconocemos que todavía hay casos extremos potenciales en los que no se logra consenso y se requiere la participación de terceros. Esto puede lograrse, por ejemplo, mediante la elección improvisada de un supermoderador altamente calificado o árbitro, o un sistema parecido al F1000 de revisión por pares no continuo. Después de este proceso, los objetos pueden ser indexados, y la versión actualizada puede ser asignada a un identificador persistente tal como el DOI, así como una licencia apropiada que permita la máxima reutilización (incluyendo el envío a una revista tradicional) y la sustentabilidad del proceso.

La distinción importante aquí del modelo tradicional es la promoción activa de la participación inclusiva y la interacción de la comunidad, con calidad definida y controlada por un proceso de compromiso y digestión del contenido. Si se desea, estos objetos podrían constituir la base para la presentación de manuscritos a las revistas, tal vez incluso acelerándolos, ya que la evaluación de la calidad ya se habría completado. El papel de la revisión por pares se combinaría con el concepto de “unidad viva publicada” y con la difusión y validación de investigaciones independientes de las revistas.

Incentivos de desempeño y compromiso

Para motivar y alentar la participación con la revisión por pares, los incentivos aumentarán el compromiso. La reducción del umbral de entrada para diferentes comunidades de investigación empieza a hacer que la revisión abierta por pares sea más accesible y menos onerosa. Una de las razones más ampliamente aceptadas para llevar a cabo la revisión por pares es el altruismo académico o deber de la comunidad investigadora. Sin embargo, en la actualidad esto está desequilibrado y los investigadores reciben muy poco crédito o reconocimiento por sus esfuerzos. La vinculación directa a la certificación y reputación es el objetivo final de la mayoría de los sistemas de incentivos académicos.

Se pueden desarrollar nuevas formas de estimular la revisión por pares, cuantificando el compromiso con el proceso y vinculándolo con los perfiles académicos. Hasta cierto punto, esto ya se realiza en plataformas como Plublons o ScienceOpen donde los registros de individuos revisando para una revista en particular pueden ser integrados con ORCID. Plataformas como Reddit, Amazon y Stack Exchange usan la ludificación (gamification) y representan un modelo en el que los participantes reciben recompensas virtuales por comprometerse con la revisión. Estas actividades son evaluadas y clasificadas por la comunidad a través de puntajes de “deditos para arriba” y puntajes de utilidad. Un sistema de recompensas jerárquico basado en distintivos podría ser integrado en esto, incluyendo características por el contenido o características individuales tales como “Revisor dos mejores 5%”, “500 votos con éxito”, o lo que las comunidades individuales decidan que es mejor.

La distinción del proceso tradicional es que las revisiones altamente calificadas ganan más exposición, más escrutinio y reconocimiento. Esto crea el incentivo para comprometerse con el proceso en una manera que es más beneficiosa para la comunidad, la cual puede ser usada como una forma de establecer prestigio para los individuos y para el contenido.

Certificación y reputación

El proceso actual de revisión por pares es generalmente poco recompensado como una actividad académica. Las métricas de rendimiento proporcionan una forma de certificar la revisión por pares, y proporcionan una forma de incentivar a la participación. Como se señaló anteriormente, un proceso totalmente transparente e interactivo, combinado con una identificación del revisor, deja claro el nivel de compromiso y valor agregado de cada participante.

La certificación puede ser proporcionada por los contribuyentes en base a su participación en el proceso: evaluación comunitaria de sus contribuciones (por ejemplo, implementada en Amazon, Reddit, o Stack Exchange), combinada con su reputación como autores. En lugar de tener participantes anónimos o seudónimos, para que la revisión por pares funcione bien en este sistema abierto, se requiere identificación completa, para conectar la reputación en la plataforma con la historia de la autoría. En lugar de un formulario basado en una revista, la certificación se concede basándose en un compromiso continuo con el proceso de investigación y se revela a nivel de objeto e individuo.

La diferencia con el modelo tradicional aquí es que el logro de la certificación se lleva a cabo a través de un proceso evolutivo y continuo de compromiso comunitario y puede ser cuantificado. Modelos como Stack Exchange son ideales para candidatos para un sistema de ese tipo, y operan a través de un esquema simple y transparente de “votos para arriba” y “votos para abajo”, combinado con los distintivos de desempeño. Tales métricas de desempeño cuantitativas podrían estar fácilmente ligadas a la regulación de la reputación académica de los individuos. Como esto está desacoplado de las revistas, alivia todos los problemas reconocidos en los sistemas de clasificación basados en revistas y es totalmente transparente. Esto debería ser altamente atractivo no sólo para los investigadores, sino también para los responsables de la contratación, estabilidad en el cargo, promoción, financiación de becas, y evaluación de la investigación, y por eso podría llegar a ser un factor importante en el desarrollo de políticas futuras.

Desafíos y consideraciones futuras

Ninguna de las ideas propuestas anteriormente es radical, inalcanzable, o más allá de los medios técnicos y sociales actuales. Existen modelos de trabajo que demuestran la factibilidad potencial de tal sistema, como está ejemplificado por una enorme gama de plataformas nativas en el web, muchas de las cuales los investigadores ya están comprometidos. En cambio, lo que sugerimos aquí es la simple recombinación de los rasgos existentes de las plataformas sociales exitosas en una única plataforma hipotética híbrida.

Un desafío clave que nuestro sistema híbrido propone que tendrá que superar es la absorción simultánea de todo el ecosistema académico. En particular, esta propuesta implica un requisito para una comunicación estandarizada entre una gama de participantes claves. Los cambios reales ocurrirán cuando los elementos para este sistema puedan ser ocupados por comunidades específicas, pero permanezcan interoperables entre ellos. Identificar sitios en los que los cambios por etapas en la práctica son deseables para una comunidad es un paso importante. El aumento de la función – en la actualidad casi inexistente – y el reconocimiento de la revisión por pares en los procesos de promoción, contratación y estabilidad en el cargo podría ser un paso crítico para incentivar los cambios que hemos discutido. Como tal, esperamos que los financiadores de investigación en una gama de niveles deberían estar interesados en una puesta en común de conocimientos y recursos para construir una plataforma como un consorcio.

Al observar la creciente adopción de las tecnologías sociales por las comunidades digitales, podemos ver que hay un amplio margen y apetito por el desarrollo significativo y la adopción de nuevas iniciativas de revisión por pares propuestas en este documento. Tal iniciativa tiene el potencial de resolver muchos de los problemas técnicos y sociales asociados con la revisión por pares, y también conmover todo nuestro entero sistema de comunicación académica. Implementaciones de alta calidad de estas ideas en sistemas en los que las comunidades pueden elegir y adoptar, pueden actuar como estándares de facto que ayuden a construir prácticas consistentes y hacia la adopción. Esperamos ver desarrollos progresivos en este ámbito en el futuro cercano.

Nota de los autores: Este artículo refleja las opiniones de los autores y no la posición de LSE Impact Blog, ni la de London School Econonomics. Por favor, revise nuestra política de comentarios³ si tuviera alguna duda al publicar un comentario.

Notas

1. SMITH, R. Peer review: a flawed process at the heart of science and journals. J R Soc Med. [online]. 2006, vol. 99, no. 4, pp. 178-182 [viewed 11 September 2017]. DOI: 10.1258/jrsm.99.4.178. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1420798/

2. TENNANT J.P., et al. A multi-disciplinary perspective on emergent and future innovations in peer review [version 1; referees: 2 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 1151, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.12037.1. Available from: https://f1000research.com/articles/6-1151/v1

3. Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 11 September 2017]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/

Referencias

BREMBS, B., BUTTON, K. and MUNAFÒ, M. Deep impact: unintended consequences of journal rank. Front. Hum. Neurosci. [online]. 2013, vol. 7, ISSN: 1662-5161 [viewed 11 September 2017]. DOI: 10.3389/fnhum.2013.00291. Available from: http://journal.frontiersin.org/article/10.3389/fnhum.2013.00291/full

Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 11 September 2017]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/

CORBYN, Z. Unpaid peer review is worth £1.9bn [online]. Times Higher Education. 2008 [viewed 11 September 2017]. Available from: https://www.timeshighereducation.com/news/unpaid-peer-review-is-worth-19bn/402189.article

CURRY, S. Peer review is essential to good science – it’s time to credit expert reviewers [online]. 2017 [viewed 11 September 2017]. Available from: https://www.theguardian.com/science/2017/jun/01/peer-review-is-essential-to-good-science-its-time-to-credit-expert-reviewers

KIDWELL, M.C., et al. Badges to Acknowledge Open Practices: A Simple, Low-Cost, Effective Method for Increasing Transparency. PLOS Biology [online]. 2016, vol. 14, no. 5, pp. 1-15, ISSN: 1545-7885 [viewed 11 September 2017]. DOI: 10.1371/journal.pbio.1002456. Available from: http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002456

MAYDEN, K. D. Peer Review: Publication’s Gold Standard. J Adv Pract Oncol. [online]. 2012, vol. 3, no. 2, pp. 117–122 [viewed 11 September 2017]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4093306/

ROSS-HELLAUER, T. What is open peer review? A systematic review [version 1; referees: 1 approved, 3 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 588, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.11369.1. Available from: https://f1000research.com/articles/6-588/v1

SMITH, R. Peer review: a flawed process at the heart of science and journals. J R Soc Med [online]. 2006, vol. 99, no. 4, pp. 178-182 [viewed 11 September 2017]. DOI: 10.1258/jrsm.99.4.178. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1420798/

SWAINE, J. Donald Trump’s team defends ‘alternative facts’ after widespread protests [online]. The Guardian. 2017 [viewed 11 September 2017]. Available from: https://www.theguardian.com/us-news/2017/jan/22/donald-trump-kellyanne-conway-inauguration-alternative-facts

TENNANT J.P., et al. A multi-disciplinary perspective on emergent and future innovations in peer review [version 1; referees: 2 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 1151, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.12037.1. Available from: https://f1000research.com/articles/6-1151/v1

Enlaces externos

F1000 – <https://f1000.com/>

Journal of Open Source Software – <http://joss.theoj.org/>

ORCID – <https://orcid.org/>

Publons – <https://publons.com/home/>

Reddit – <https://www.reddit.com/>

ScienceOpen – <https://www.scienceopen.com/>

Stack Exchange – <https://stackexchange.com/>

Wikipedia – <https://www.wikipedia.org/>

Articulo original em inglés

http://blogs.lse.ac.uk/impactofsocialsciences/2017/09/11/we-have-the-technology-to-save-peer-review-now-it-is-up-to-our-communities-to-implement-it/

Traducido del original en inglés por Ernesto Spinak.