Imagen: Nic McPhee.
Por Ernesto Spinak
A lo largo de la historia de la comunicación científica, (por lo menos desde el siglo 18 cuando la Royal Society nombró un Committee of Papers), el proceso de revisión por pares ha sido fundamental en la selección de manuscritos para asegurar que reunieran un conjunto de criterios de calidad. La práctica del arbitraje por pares, pese a las limitaciones y múltiples críticas, se ha mantenido estable por largo tiempo hasta la introducción de Internet.
Las posibilidades de comunicación online, junto con el movimiento de Acceso Abierto primero, y ahora de Ciencia Abierta, ha hecho surgir un sinnúmero de ideas acerca de cómo diseñar procedimientos de evaluación por pares más eficientes, rápidos, confiables, sin sesgos, superando las limitaciones económicas y de recursos humanos que son las críticas frecuentes del sistema. Sobre este tema hemos publicado en meses recientes dos posts relacionados. Uno que analiza ideas sobre cómo podría ser el arbitraje dentro de 10 o 15 años1, y otro sobre las más de veinte visiones diferentes que tienen los editores e investigadores sobre los arbitrajes abiertos2.
A los efectos de ordenar la discusión del tema, es interesante analizar una taxonomía de las variantes de la revisión por pares, tomada de un trabajo de Bo-Christer Björk3. Observe que en esta taxonomía no se consideran aspectos clásicos del arbitraje como el simple-ciego o doble-ciego, porque ninguna de las nuevas propuestas importantes parecen incorporarlos.
Dado que en los posts ya publicados y mencionados arriba se analizaron muchas variantes de revisiones por pares, en esta nota veremos con más detalle una propuesta diferente de la revisión de pares. El modelo que analizaremos, cuyo ejemplo son las “open access mega-journals” (OAMJs), realiza un arbitraje mínimo por parte del cuerpo editorial, y traslada a la etapa post publicación, a cargo del público, el resto de la evaluación (también podríamos considerarlo como revisión parcial). Es el modelo usado por PLoS ONE entre otros.
En las revistas convencionales el proceso de arbitraje tiene lugar antes de la publicación y se basa en un conjunto de criterios expresados de una manera u otra en las “instrucciones a los revisores” disponible en los sitios web de las revistas. En el proceso clásico de revisión por pares, estos criterios están constituidos por cuatro elementos:
- Novedad y originalidad: el trabajo hace un avance intelectual contribuyendo en una forma innovadora al conocimiento, sea por nuevos métodos, nuevos resultados empíricos, nuevas interpretaciones teóricas.
- Significado e importancia: el trabajo añade algo al corpus de conocimiento, produciendo un impacto que mejora el entendimiento o la práctica.
- Relevancia: el tema está dentro del interés de los lectores de la revista.
- Solidez y rigor (rigor técnico o científico) que tiene que ver con la precisión metodológica, coherencia e integridad, calidad de la argumentación, lógica en la interpretación de los datos.
Las nuevas formas de publicación incorporan enfoques alternativos del arbitraje y, como ya mencionamos, una de estas formas son las usadas por las OAMJs, entre las que se destacan PLoS ONE (el primero en su género) desde 2006, y Scientific Reports, lanzado por Nature en 2011. A estas dos iniciativas hay que sumar una decena de otras instituciones, entre ellas el American Institute of Physics (AIP Advances), BMJ Open, F1000 y PeerJ, cubriendo las ciencias biológicas. Los datos que se aportan en este post son tomados de las referencias 4 y 5, en particular “Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals (2018)”4, que es el estudio más exhaustivo hasta la fecha sobre los mega-journals, en el que se entrevistaron 31 editores senior que representan 16 organizaciones editoriales que publican OAMJs.
Las OAMJs tiene cinco características principales: grandes volúmenes de publicación, amplio alcance temático, modelo de publicación en acceso abierto, financiación mediante APC, y un enfoque novedoso del arbitraje por pares. El enfoque novedoso requiere que los editores y revisores solamente evalúen la solidez y rigor técnico (la estructura formal) y no tomen en cuenta ni la originalidad, ni la significación ni la relevancia (o sea el contenido). Es decir, de la tabla anterior, solamente consideran el ítem 4 no tomando en cuenta los primeros tres elementos. La evaluación de esos otros criterios lo trasladan “corriente abajo” para que sea juzgado por la comunidad académica luego que el artículo es publicado. Serán los indicadores a nivel de artículo (citaciones, descargas, y altmetrías) las herramientas usadas para la evaluación post publicación.
La separación de los tres criterios de contenido de la etapa de revisión ha sido altamente discutida en la publicación científica con opiniones a favor y en contra. Entre los argumentos a favor, está la idea de que al revisar solamente la estructura del artículo se les está cambiando el papel tradicional de porteros privilegiados (gatekeepers) a los editores de revistas. Los cuerpos editoriales y revisores ya no son más los únicos árbitros que deciden los límites de los paradigmas de la disciplina. Además, este nuevo tipo de arbitraje le da mayor eficiencia al proceso de publicación reduciendo el tiempo de la espiral de presentación-rechazo que tienen muchos artículos antes de conseguir ser publicados en alguna revista. Finalmente, también, podría considerarse una “democratización” de la ciencia. Como dijo Gary Ward CEO de PLOS, “… si el artículo está bien escrito y las conclusiones son coherentes, que sea la comunidad quien decida sobre el impacto”6.
Los resultados del estudio que citamos sugieren que los criterios basados solamente en la solidez formal y rigor del documento pueden influir en las decisiones editoriales y de hecho lo hacen. Pero los editores también consideran que las evaluaciones post publicación sobre la novedad, significación y relevancia todavía contienen aspectos de interpretación problemática. Si bien las mediciones altmétricas para la evaluación de un artículo post publicación son parte integrantes del modelo OAMJ, los editores no están seguros de cuán efectivas son en la práctica. En particular los editores tuvieron opiniones mezcladas sobre cuáles altmetrías podrían servir para medir la importancia o significación de un artículo.
Mi opinión
Hay que reconocer que, pese a las diferentes críticas a las limitaciones del proceso actual de revisión por pares, las actitudes y comportamientos sobre este tema están profundamente enraizados en el ADN de la comunidad científica y es difícil de cambiar.
No obstante la consigna “que la comunidad decida” es fuertemente atractiva (incluso políticamente correcta), y el intento de implementar este paradigma, hasta la fecha ha sido altamente controversial y permanece problemático.
Notas
1. SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 30 May 2018]. Available from: https://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030/
2. SPINAK, E. Sobre las veintidós definiciones de la revisión abierta por pares… y más [online]. SciELO en Perspectiva, 2018 [viewed 30 May 2018]. Available from: https://blog.scielo.org/es/2018/02/28/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas/
3. BJÖRK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087/20150202. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1087/20150202
4. SPEZI, V., et al. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2017-0092. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2017-0092
5. SPEZI, V., et al. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2016-0082. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2016-0082
6. ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https://sparcopen.org/our-work/innovator/plos-one/
Referências
ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https://sparcopen.org/our-work/innovator/plos-one/
BJÖRK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087/20150202. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1087/20150202
SPEZI, V., et al. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2017-0092. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2017-0092
SPEZI, V., et al. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2016-0082. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2016-0082
SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 30 May 2018]. Available from: https://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030/
SPINAK, E. Sobre las veintidós definiciones de la revisión abierta por pares… y más [online]. SciELO en Perspectiva, 2018 [viewed 30 May 2018]. Available from: https://blog.scielo.org/es/2018/02/28/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas/
WAKELING, S., et al. Open-Access Mega-Journals: A Bibliometric Profile. PLoS ONE [online]. 2016, vol. 11, no. 11, e0165359 [viewed 30 May 2018]. DOI: 10.1371/journal.pone.0165359. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165359
Sobre Ernesto Spinak
Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Pingback: Peer review – on structures and content | SciELO in Perspective
Durante el proceso de revisión por pares considero que se debe priorizar el tema relacionado con la reproducibilidad de los resultados, que condujeron a sus autores a los resultados expuestos a la comunidad cientifica.
Lea el comentario en portugués, por Roberto Gomes de Souza Berlinck:
https://blog.scielo.org/blog/2018/05/30/revisao-por-pares-sobre-as-estruturas-e-os-conteudos/#comment-34374
¿Y por qué tendría que cambiarse el actual sistema de revisión por pares? Está bien que haya otras opciones pero no habría porque desaparecer algo que funciona bien. Me parece muy bien estar atentos a lo que sucede en otras partes del mundo, pero antes de siquiera sugerir cambios hay que hacer análisis a profundidad y completos de nuestra realidad latinoamericana. No necesariamente tenemos que seguir los cambios propuestos en ciertas regiones del mundo en donde aparentemente el ideal es: ¡más rápido, más cantidad… !