Por Ernesto Spinak
Imagen: 3dman_eu.
La Ciencia Abierta (Open Science) se fundamenta sobre tres ejes estratégicos: el Acceso Abierto, los Datos Abiertos y las Revisiones Abiertas (Open Access, Open Data; Open Peer Review). La propuesta de Revisiones Abiertas por Pares, una de las piedras fundamentales en esta agenda, viene produciendo diferentes reacciones y actitudes entre los editores, autores, revisores y editoriales y esto se suma a las iniciativas de servidores de preprints.
El arbitraje por pares, en la forma tradicional, generalmente es anónimo – simple o doble ciego; selectivo, con árbitros seleccionados por los editores, y confidencial. Este modelo ha sido criticado por largo tiempo por tener varios defectos significativos como se indican en la tabla siguiente.
| 1. Poco fidedigno | No siempre detecta errores, o puede haber inconsistencias entre los informes de los revisores. |
| 2. Toma demasiado tiempo | Ocasiona tiempos extensos entre el envío y la publicación. |
| 3. No se hacen responsables | Permite sesgos sociales y de publicación. |
| 4. Sin incentivo a los revisores | Los revisores no reciben créditos. |
| 5. Desperdicio de esfuerzo | El mismo manuscrito puede ser revisado muchas veces a medida que pasa por ciclos de envíos y rechazos. |
Debido a estos problemas, discutidos ya desde los años 80’s, es que aparecen periódicamente diversas iniciativas para cambiar el sistema de arbitraje por pares. (Para ampliar el tema puede leer en este blog ¿Cómo será el arbitraje por pares en el año 2030?1).
Una de las iniciativas más populares estos días es la Revisión Abierta por Pares (OPR, del inglés Open Peer Review).
OPR – revisión abierta por pares – es un término general para varias opciones superpuestas modelos de revisión o arbitraje de acuerdo con el espíritu de la Open Science, incluyendo la apertura de las identidades de los autores y revisores, la publicación de los informes del arbitraje, y una mayor participación del público en el proceso de revisión. Estos modelos han estado surgiendo desde finales de los años 90’s con tantas variantes y opiniones que Ross-Hellauer, en una publicación reciente, What is open peer review?2 analiza por lo menos 122 conceptos separados que podrían conformar al menos 22 combinaciones únicas de ese término. Veintidós definiciones diferentes y vienen más.
Comentario del autor de este post: tengo un amigo que dice que si fuera presidente de mi país por un día, se dedicaría a hacer leyes para definir palabras, porque la mayor parte de los problemas sin resolver se debe a que las personas usan las mismas palabras para decir cosas diferentes.
Veintidós definiciones para OPR… por lo menos. Esto evidencia que el concepto de “apertura” es un “paraguas”, que contiene varias facetas: apertura de los autores, apertura de los revisores, la participación abierta del público para poner comentarios, apertura de los manuscritos en servidores de preprints, etc.
Pues bien, ¿qué opinan los autores, revisores, editores, y todos los interesados sobre el modelo OPR? La respuesta a esas preguntas requeriría evaluar adecuadamente los puntos de vistas de todos los involucrados en las publicaciones académicas. Este fue el objetivo del estudio aparecido recientemente en PLoS ONE y que es el motivo del presente post: Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers3 patrocinado por OpenAIRE2020, una iniciativa de la Comisión Europea en pro de la Open Science. Las tablas y datos que siguen han sido tomados del referido artículo.
El estudio, realizado en septiembre/octubre de 2016 mediante cuestionario online, recopiló 3.062 respuestas de investigadores con experiencia en Open Science de todas las disciplinas científicas, e intentó determinar: cuáles son los niveles actuales de conocimiento de las diversas formas de OPR; qué es lo que realmente quieren los editores, autores y revisores; qué diferencias existen en las actitudes entre las diferentes disciplinas; cuáles son las barreras que se interponen en el camino de la adopción de tales modelos; y cuáles son los niveles actuales de experiencia entre las partes interesadas con OPR. Hasta la fecha nunca se había llevado a cabo un análisis sistemático de estas preguntas. Veamos algunos resultados.
Según la revisión bibliográfica mencionada que recopila las diversas variantes del término OPR, una lista organizada de sus facetas podría ser la que sigue:
|
Los autores y revisores son conscientes de la identidad del otro. |
|
Los informes de revisión se publican junto con el artículo relevante. |
|
La comunidad en general puede contribuir al proceso de revisión (calificados o no). |
|
Se permite y fomenta la discusión recíproca directa entre los autores y los revisores, y/o entre los revisores. |
|
Los manuscritos están disponibles inmediatamente (por ejemplo, a través de servidores de preprints como arXiv, bioRxiv, etc.) antes de cualquier procedimiento formal de revisión por pares. |
|
Revisar o comentar sobre la versión final de las publicaciones. |
|
La revisión se desvincula de la publicación porque es suministrada por una entidad organizacional diferente de la sede de publicación. |
Cada una de estas facetas a menudo son complementarias y se pueden combinar de varias maneras para producir un amplio continuo del significado de “apertura” en OPR. Cada uno de estos rasgos distintivos se teoriza para abordar una o más de las deficiencias del arbitraje tradicional enumeradas anteriormente. Pero no se pretende que ningún rasgo en particular resuelva todas las deficiencias y, a veces, sus objetivos pueden estar en conflicto. Siguiendo con la teoría detrás del OPR, podríamos resumir los beneficios y desventajas en la tabla siguiente que intenta responder a las críticas presentadas en la primera tabla sobre el arbitraje tradicional.
| 1. Poco fidedigno e inconsistencias | Las identidades abiertas y los informes abiertos, en teoría, generarían mejores revisiones. Alguna evidencia sugiere que la interacción abierta entre los revisores y los autores podría llevar a una mejora en la precisión de la revisión. |
| 2. Toma demasiado tiempo y es caro | Publicar los manuscritos abiertos antes de la revisión reduce el tiempo en que la investigación llega a estar disponible en forma pública, dado que superan el problema de la “cascada” (pasar por múltiples ciclos de revisión y rechazo en diferentes revistas). Podría reducir la mediación editorial, pero no está demostrado que produzca reducción de costos. Las identidades abiertas y los informes abiertos en realidad podrían agravar los problemas de demoras y gastos, ya que parece que los revisores invitados actualmente están menos inclinados a hacer revisiones bajo tales circunstancias. Finalmente, la interacción abierta (al necesitar más entrevistas entre los revisores y los autores, y una mayor mediación editorial) podría llevar a tiempos de revisión más largos. |
| 3. Falta de responsabilidad y riesgos de sesgos sociales y de publicación | Las identidades e informes abiertos pueden aumentar la responsabilidad a través de una mayor transparencia y hacer que los conflictos de interés sean más evidentes o sean evitados. La falta de anonimato de los revisores en la revisión de identidades abiertas podría trastornar el proceso al disuadir a los revisores de hacer fuertes críticas, especialmente contra colegas de mayor estatus. Las identidades abiertas eliminan las condiciones de anonimato para los revisores (simple ciego) o los autores y revisores (doble ciego) que tradicionalmente existen para contrarrestar los sesgos sociales (aunque no hay pruebas contundentes de que esto sea así). |
| 4. Sin incentivo a los revisores | Los informes abiertos vinculados a las identidades abiertas permiten una mayor visibilidad de las actividades de revisión por pares, lo que permite que el trabajo de revisión se mencione en otras publicaciones y en actividades de desarrollo profesional relacionadas con la promoción y la efectividad en los cargos. La participación abierta podría, en principio, aumentar los incentivos para la revisión por pares al permitir a los revisores seleccionar ellos mismos las obras que consideran que están calificados para juzgar; sin embargo, la experiencia hasta la fecha sugiere que los revisores tienen menos probabilidades de revisar bajo esta condición. |
| 5. Desperdicio de esfuerzo | Los informes abiertos hacen que la información académica actualmente invisible pero potencialmente útil esté disponible para su reutilización, además de proporcionar a los jóvenes investigadores una guía para ayudarlos hacer la revisión por pares. |
Analizando los resultados del estudio se puede decir que el 88,2% de los encuestados se manifiesta a favor del Acceso Abierto y 80,3% a favor de los Datos Abiertos, los cuales son altos respaldos sin duda. Sin embargo, el apoyo al OPR cae al 60,3% debido a que no hay consenso general sobre las diferentes facetas de la iniciativa.
Esto no significa que estén satisfechos con el sistema actual de revisión, aunque varía mucho en las diferentes disciplinas, lo que es positivo para las perspectivas del OPR. Pero hay que tener cuidado en no imponer una “solución única” sino que habría que adaptarla para contextos y disciplinas diferentes.
Si se consideran los resultados de la encuesta por separado para cada una de las facetas de las “22 definiciones del OPR”, se tiende a pensar que la mayoría de esos aspectos mejorarían, con la clara excepción de las identidades abiertas, donde el 50,8% (la mitad) de los encuestados creen que eso empeoraría la revisión por pares. En particular, podría empeorar la protección contra la influencia indebida, lo que hace que sea más difícil para los investigadores, en particular los más jóvenes, dar una respuesta sincera por temor a posibles represalias de los autores agraviados. En la tabla siguiente se muestra el grado de apoyo que tienen individualmente cada una de las facetas del OPR.
| Faceta | apoyo |
| Publicación de informes abiertos | 58,8 |
| Comentarios en la versión final del registro | 55% |
| Interacción entre autores y revisores resulta en mejores publicaciones | >75% |
| Participación de la comunidad en la revisión independientemente de las calificaciones | 45% |
| Participación de la comunidad en la revisión (selectiva) | 51% |
| Permitir a los revisores elegir si desean abrir o no sus identidades | 73,4% |
| En caso de identidad abierta obligatoria, si creen que los revisores sean menos propensos a emitir fuertes críticas | 62,5% |
La propuesta de abrir los manuscritos al público vía servidores de preprint, antes del proceso de revisión, tuvo respuestas divididas a favor y en contra, según las diversas disciplinas de investigación como se muestra en la tabla que sigue.
| Campo de investigación | favor | contra |
| Ciencias sociales | 54,5% | |
| Matemáticas y estadistica | 62,1% | |
| Leyes y ciencias políticas | 60% | |
| Computación, IT | 60% | |
| Otras | 52% | |
| Agricutura y alimentación | 62,8% | |
| Ciencias de la salud | 51,4% | |
| Química | 43,4% | |
| Total | 41% | 31% |
Mi opinión
Los resultados sugieren que las OPR se están moviendo al mainstream de la publicación científica donde los autores, revisores y editores tienen actitudes positivas, y un 60% de los encuestados cree que debería ser una práctica académica normal. Pero el apoyo para los diferentes rasgos de las OPR varía desde muy positivos hasta una visión mayoritariamente negativa a las identidades abiertas, donde se cree que esta práctica podría empeorar la revisión por pares. Esto último es especialmente sorprendente ya que las identidades abiertas son a menudo el rasgo distintivo de las OPR dentro de las múltiples definiciones existentes en la literatura revisada. También hay un elemento generacional donde los más jóvenes manifiestan un mayor apoyo a las OPR.
No debemos pasar por alto adicionalmente un detalle técnico importante y costoso. Si se implementa una mayor interactividad entre autores, revisores y comentarios del público, resulta que las plataformas de administración de manuscritos no están aún preparadas para soportar esa funcionalidad. Es posible entonces que las revistas se muestren reticentes a desarrollar nuevas plataformas tecnológicas porque incrementaría los tiempos y el overhead editorial requeridos para las OPR.
La originalidad de la encuesta es que nos muestra una “instantánea” de las opiniones de la comunidad científica sobre las Revisiones Abiertas por Pares capturada en octubre de 2016.
No sabemos cómo se desarrollarán estos apoyos en un ambiente tan dinámico como es la comunicación científica a nivel global, pero de seguro las soluciones de “talla única” no serán las apropiadas. América Latina está bien posicionada con el liderazgo de SciELO en el alineamiento de las revistas con las buenas prácticas de comunicación de la Open Science.
Y son tantas las definiciones, visiones y expectativas del concepto de OPR, que de seguro tampoco podrá ser resuelto por mi amigo aunque defina el término con una ley.
Notas
1. SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 16 February 2018]. Available from: http://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030/
2. Ross-Hellauer, T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, 588, ISSN: 2046-1402. DOI: 10.12688/f1000research.11369.1. Available from: https://doi.org/10.12688%2Ff1000research.11369.1
3. Ross-Hellauer, T., Deppe, A. and Schmidt, B. Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE [online]. 2017, vol.12, no.12, e0189311, ISSN: 1932-6203. DOI: 10.1371/journal.pone.0189311. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311
Referencias
SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 16 February 2018]. Available from: http://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030/
Ross-Hellauer, T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, 588, ISSN: 2046-1402. DOI: 10.12688/f1000research.11369.1. Available from: https://doi.org/10.12688%2Ff1000research.11369.1
Ross-Hellauer, T., Deppe, A., Schmidt and B. Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE [online]. 2017, vol.12, no.12, e0189311, ISSN: 1932-6203. DOI: 10.1371/journal.pone.0189311. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311
PACKER, A.L., et al. Los criterios de Indexación de SciELO se alinean con la comunicación en la ciencia abierta [online]. SciELO en Perspectiva, 2018 [viewed 18 February 2018]. Available from: http://blog.scielo.org/es/2018/01/10/los-criterios-de-indexacion-de-scielo-se-alinean-con-la-comunicacion-en-la-ciencia-abierta/
Enlaces externos
OpenAire2020 <https://www.openaire.eu/>
Sobre Ernesto Spinak
Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Pingback: Sobre as vinte e duas definições de revisão por pares aberta… e mais | SciELO em Perspectiva
Pingback: Perspectivas de la revisión por pares abierta: interrogante provocadora | SciELO en Perspectiva
Pingback: Revisión por pares – sobre las estructuras y los contenidos | SciELO en Perspectiva
Pingback: eLife prueba un enfoque innovador de evaluación por pares | SciELO en Perspectiva
Pingback: Innovaciones en Publicaciones Científicas: el Futuro de la Revisión por Pares y las Revistas | SciELO en Perspectiva
Pingback: ¿Las revistas científicas españolas hacia el acceso abierto, open peer review y altmetrics? | Boletín DIB: De interés para el bibliotecario.
Pingback: Revisiones por pares abiertas: ¿la publicación de los informes de evaluación influye en el comportamiento de los revisores? | SciELO en Perspectiva
Pingback: Sobre as vinte e duas definições de revisão por pares aberta… e mais | SciELO em Perspectiva
Pingback: Acelerando la comunicación científica vía preprints | SciELO en Perspectiva