{"id":2782,"date":"2018-05-30T15:00:33","date_gmt":"2018-05-30T18:00:33","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=2782"},"modified":"2018-05-30T15:03:16","modified_gmt":"2018-05-30T18:03:16","slug":"revision-por-pares-sobre-las-estructuras-y-los-contenidos","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2018\/05\/30\/revision-por-pares-sobre-las-estructuras-y-los-contenidos\/","title":{"rendered":"Revisi\u00f3n por pares \u2013 sobre las estructuras y los contenidos"},"content":{"rendered":"
\"\"<\/a>

Imagen: Nic McPhee<\/a>.<\/i><\/p><\/div>\n

Por Ernesto Spinak<\/strong><\/p>\n

A lo largo de la historia de la comunicaci\u00f3n cient\u00edfica, (por lo menos desde el siglo 18 cuando la Royal Society<\/em> nombr\u00f3 un Committee of Papers)<\/em>, el proceso de revisi\u00f3n por pares ha sido fundamental en la selecci\u00f3n de manuscritos para asegurar que reunieran un conjunto de criterios de calidad. La pr\u00e1ctica del arbitraje por pares, pese a las limitaciones y m\u00faltiples cr\u00edticas, se ha mantenido estable por largo tiempo hasta la introducci\u00f3n de Internet.<\/p>\n

Las posibilidades de comunicaci\u00f3n online, junto con el movimiento de Acceso Abierto primero, y ahora de Ciencia Abierta, ha hecho surgir un sinn\u00famero de ideas acerca de c\u00f3mo dise\u00f1ar procedimientos de evaluaci\u00f3n por pares m\u00e1s eficientes, r\u00e1pidos, confiables, sin sesgos, superando las limitaciones econ\u00f3micas y de recursos humanos que son las cr\u00edticas frecuentes del sistema. Sobre este tema hemos publicado en meses recientes dos posts relacionados. Uno que analiza ideas sobre c\u00f3mo podr\u00eda ser el arbitraje dentro de 10 o 15 a\u00f1os1<\/sup>, y otro sobre las m\u00e1s de veinte visiones diferentes que tienen los editores e investigadores sobre los arbitrajes abiertos2<\/sup>.<\/p>\n

A los efectos de ordenar la discusi\u00f3n del tema, es interesante analizar una taxonom\u00eda de las variantes de la revisi\u00f3n por pares, tomada de un trabajo de Bo-Christer Bj\u00f6rk3<\/sup>. Observe que en esta taxonom\u00eda no se consideran aspectos cl\u00e1sicos del arbitraje como el simple-ciego o doble-ciego, porque ninguna de las nuevas propuestas importantes parecen incorporarlos.<\/p>\n

Dado que en los posts ya publicados y mencionados arriba se analizaron muchas variantes de revisiones por pares, en esta nota veremos con m\u00e1s detalle una propuesta diferente de la revisi\u00f3n de pares. El modelo que analizaremos, cuyo ejemplo son las \u201copen access mega-journals<\/em>\u201d (OAMJs<\/strong>), realiza un arbitraje m\u00ednimo por parte del cuerpo editorial, y traslada a la etapa post publicaci\u00f3n, a cargo del p\u00fablico, el resto de la evaluaci\u00f3n (tambi\u00e9n podr\u00edamos considerarlo como revisi\u00f3n parcial). Es el modelo usado por PLoS ONE<\/em> entre otros.<\/p>\n

En las revistas convencionales el proceso de arbitraje tiene lugar antes de la publicaci\u00f3n y se basa en un conjunto de criterios expresados de una manera u otra en las \u201cinstrucciones a los revisores\u201d disponible en los sitios web de las revistas. En el proceso cl\u00e1sico de revisi\u00f3n por pares, estos criterios est\u00e1n constituidos por cuatro elementos:<\/p>\n

    \n
  1. Novedad y originalidad: el trabajo hace un avance intelectual contribuyendo en una forma innovadora al conocimiento, sea por nuevos m\u00e9todos, nuevos resultados emp\u00edricos, nuevas interpretaciones te\u00f3ricas.<\/li>\n
  2. Significado e importancia: el trabajo a\u00f1ade algo al corpus de conocimiento, produciendo un impacto que mejora el entendimiento o la pr\u00e1ctica.<\/li>\n
  3. Relevancia: el tema est\u00e1 dentro del inter\u00e9s de los lectores de la revista.<\/li>\n
  4. Solidez y rigor (rigor t\u00e9cnico o cient\u00edfico) que tiene que ver con la precisi\u00f3n metodol\u00f3gica, coherencia e integridad, calidad de la argumentaci\u00f3n, l\u00f3gica en la interpretaci\u00f3n de los datos.<\/li>\n<\/ol>\n

    Las nuevas formas de publicaci\u00f3n incorporan enfoques alternativos del arbitraje y, como ya mencionamos, una de estas formas son las usadas por las OAMJs, entre las que se destacan PLoS ONE<\/em> (el primero en su g\u00e9nero) desde 2006, y Scientific Reports<\/em>, lanzado por Nature<\/em> en 2011. A estas dos iniciativas hay que sumar una decena de otras instituciones, entre ellas el American Institute of Physics<\/em> (AIP Advances<\/em>), BMJ Open<\/em>, F1000 y PeerJ<\/em>, cubriendo las ciencias biol\u00f3gicas. Los datos que se aportan en este post son tomados de las referencias 4<\/sup> y 5<\/sup>, en particular \u201cLet the community decide? The vision and reality of soundness-only peer review in open-access mega-journals (2018)\u201d<\/em>4<\/sup>, que es el estudio m\u00e1s exhaustivo hasta la fecha sobre los mega-journals, en el que se entrevistaron 31 editores senior que representan 16 organizaciones editoriales que publican OAMJs.<\/p>\n

    Las OAMJs tiene cinco caracter\u00edsticas principales: grandes vol\u00famenes de publicaci\u00f3n, amplio alcance tem\u00e1tico, modelo de publicaci\u00f3n en acceso abierto, financiaci\u00f3n mediante APC, y un enfoque novedoso del arbitraje por pares. El enfoque novedoso requiere que los editores y revisores solamente eval\u00faen la solidez y rigor t\u00e9cnico (la estructura formal) y no tomen en cuenta ni la originalidad, ni la significaci\u00f3n ni la relevancia (o sea el contenido). Es decir, de la tabla anterior, solamente consideran el \u00edtem 4 no tomando en cuenta los primeros tres elementos. La evaluaci\u00f3n de esos otros criterios lo trasladan \u201ccorriente abajo\u201d para que sea juzgado por la comunidad acad\u00e9mica luego que el art\u00edculo es publicado. Ser\u00e1n los indicadores a nivel de art\u00edculo (citaciones, descargas, y altmetr\u00edas) las herramientas usadas para la evaluaci\u00f3n post publicaci\u00f3n.<\/p>\n

    La separaci\u00f3n de los tres criterios de contenido de la etapa de revisi\u00f3n ha sido altamente discutida en la publicaci\u00f3n cient\u00edfica con opiniones a favor y en contra. Entre los argumentos a favor, est\u00e1 la idea de que al revisar solamente la estructura del art\u00edculo se les est\u00e1 cambiando el papel tradicional de porteros privilegiados (gatekeepers<\/em>) a los editores de revistas. Los cuerpos editoriales y revisores ya no son m\u00e1s los \u00fanicos \u00e1rbitros que deciden los l\u00edmites de los paradigmas de la disciplina. Adem\u00e1s, este nuevo tipo de arbitraje le da mayor eficiencia al proceso de publicaci\u00f3n reduciendo el tiempo de la espiral de presentaci\u00f3n-rechazo que tienen muchos art\u00edculos antes de conseguir ser publicados en alguna revista. Finalmente, tambi\u00e9n, podr\u00eda considerarse una \u201cdemocratizaci\u00f3n\u201d de la ciencia. Como dijo Gary Ward CEO de PLOS, \u201c… si el art\u00edculo est\u00e1 bien escrito y las conclusiones son coherentes, que sea la comunidad quien decida sobre el impacto\u201d6<\/sup>.<\/p>\n

    Los resultados del estudio que citamos sugieren que los criterios basados solamente en la solidez formal y rigor del documento pueden influir en las decisiones editoriales y de hecho lo hacen. Pero los editores tambi\u00e9n consideran que las evaluaciones post publicaci\u00f3n sobre la novedad, significaci\u00f3n y relevancia todav\u00eda contienen aspectos de interpretaci\u00f3n problem\u00e1tica. Si bien las mediciones altm\u00e9tricas para la evaluaci\u00f3n de un art\u00edculo post publicaci\u00f3n son parte integrantes del modelo OAMJ, los editores no est\u00e1n seguros de cu\u00e1n efectivas son en la pr\u00e1ctica. En particular los editores tuvieron opiniones mezcladas sobre cu\u00e1les altmetr\u00edas podr\u00edan servir para medir la importancia o significaci\u00f3n de un art\u00edculo.<\/p>\n

    Mi opini\u00f3n<\/h3>\n

    Hay que reconocer que, pese a las diferentes cr\u00edticas a las limitaciones del proceso actual de revisi\u00f3n por pares, las actitudes y comportamientos sobre este tema est\u00e1n profundamente enraizados en el ADN de la comunidad cient\u00edfica y es dif\u00edcil de cambiar.<\/p>\n

    No obstante la consigna \u201cque la comunidad decida\u201d es fuertemente atractiva (incluso pol\u00edticamente correcta), y el intento de implementar este paradigma, hasta la fecha ha sido altamente controversial y permanece problem\u00e1tico.<\/p>\n

    Notas<\/h3>\n

    1. SPINAK, E. \u00bfC\u00f3mo ser\u00e1 el arbitraje por pares en el a\u00f1o 2030? [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 30 May 2018]. Available from: https:\/\/blog.scielo.org\/es\/2017\/07\/26\/como-sera-el-arbitraje-por-pares-en-el-ano-2030\/<\/a><\/p>\n

    2. SPINAK, E. Sobre las veintid\u00f3s definiciones de la revisi\u00f3n abierta por pares\u2026 y m\u00e1s [online]. SciELO en Perspectiva<\/em>, 2018 [viewed 30 May 2018]. Available from: https:\/\/blog.scielo.org\/es\/2018\/02\/28\/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas\/<\/a><\/p>\n

    3. BJ\u00d6RK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing<\/em> [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087\/20150202<\/a>. Available from: https:\/\/onlinelibrary.wiley.com\/doi\/abs\/10.1087\/20150202<\/a><\/p>\n

    4. SPEZI, V., et al<\/em>. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation<\/em> [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108\/JD-06-2017-0092<\/a>. Available from: https:\/\/www.emeraldinsight.com\/doi\/full\/10.1108\/JD-06-2017-0092<\/a><\/p>\n

    5. SPEZI, V., et al<\/em>. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation<\/em> [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108\/JD-06-2016-0082<\/a>. Available from: https:\/\/www.emeraldinsight.com\/doi\/full\/10.1108\/JD-06-2016-0082<\/a><\/p>\n

    6. ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https:\/\/sparcopen.org\/our-work\/innovator\/plos-one\/<\/a><\/p>\n

    Refer\u00eancias<\/h3>\n

    ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https:\/\/sparcopen.org\/our-work\/innovator\/plos-one\/<\/a><\/p>\n

    BJ\u00d6RK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing<\/em> [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087\/20150202<\/a>. Available from: https:\/\/onlinelibrary.wiley.com\/doi\/abs\/10.1087\/20150202<\/a><\/p>\n

    SPEZI, V., et al<\/em>. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation<\/em> [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108\/JD-06-2017-0092<\/a>. Available from: https:\/\/www.emeraldinsight.com\/doi\/full\/10.1108\/JD-06-2017-0092<\/a><\/p>\n

    SPEZI, V., et al<\/em>. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation<\/em> [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108\/JD-06-2016-0082<\/a>. Available from: https:\/\/www.emeraldinsight.com\/doi\/full\/10.1108\/JD-06-2016-0082<\/a><\/p>\n

    SPINAK, E. \u00bfC\u00f3mo ser\u00e1 el arbitraje por pares en el a\u00f1o 2030? [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 30 May 2018]. Available from: https:\/\/blog.scielo.org\/es\/2017\/07\/26\/como-sera-el-arbitraje-por-pares-en-el-ano-2030\/<\/a><\/p>\n

    SPINAK, E. Sobre las veintid\u00f3s definiciones de la revisi\u00f3n abierta por pares\u2026 y m\u00e1s [online]. SciELO en Perspectiva<\/em>, 2018 [viewed 30 May 2018]. Available from: https:\/\/blog.scielo.org\/es\/2018\/02\/28\/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas\/<\/a><\/p>\n

    WAKELING, S., et al<\/em>. Open-Access Mega-Journals: A Bibliometric Profile. PLoS ONE<\/em> [online]. 2016, vol. 11, no. 11, e0165359 [viewed 30 May 2018]. DOI: 10.1371\/journal.pone.0165359<\/a>. Available from: http:\/\/journals.plos.org\/plosone\/article?id=10.1371\/journal.pone.0165359<\/a><\/p>\n

     <\/p>\n

    Sobre Ernesto Spinak\"\"<\/a><\/h3>\n

    Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconom\u00eda, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestr\u00eda en \u201cSociedad de la Informaci\u00f3n\u201d por la Universidad Oberta de Catalunya, Barcelona \u2013 Espa\u00f1a. Actualmente tiene una empresa de consultor\u00eda que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de informaci\u00f3n.<\/p>\n","protected":false},"excerpt":{"rendered":"

    La revisi\u00f3n por pares es una parte constitutiva de la comunicaci\u00f3n cient\u00edfica. Sus modalidades son variadas: simple ciego, doble ciego, abiertas y, ahora tambi\u00e9n, las revisiones parciales. La revisi\u00f3n parcial, que s\u00f3lo valida la solidez t\u00e9cnica del documento, es una caracter\u00edstica de los mega-journals<\/i> de acceso abierto como PLoS ONE<\/i> y varios otros. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":8,"featured_media":2784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[7,55,50],"class_list":["post-2782","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-comunicacion-cientifica","tag-el-futuro-de-la-evaluacion-por-pares","tag-revision-por-pares"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t