{"id":1371,"date":"2015-01-22T08:24:21","date_gmt":"2015-01-22T11:24:21","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=1371"},"modified":"2016-01-11T16:05:55","modified_gmt":"2016-01-11T18:05:55","slug":"articulo-analiza-la-saturacion-de-los-revisores-por-pares","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2015\/01\/22\/articulo-analiza-la-saturacion-de-los-revisores-por-pares\/","title":{"rendered":"Art\u00edculo analiza la saturaci\u00f3n de los revisores por pares"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f3<\/strong><\/p>\n

\"Publons\"<\/a>El proceso de revisi\u00f3n por pares constituye la etapa clave del proceso editorial que otorga calidad y credibilidad a los art\u00edculos cient\u00edficos. En Brasil y en muchos pa\u00edses, sin embargo este sistema enfrenta tres dificultades mayores: la dificultad de encontrar buenos \u00e1rbitros, el tiempo de evaluaci\u00f3n y la calidad de las revisiones.<\/p>\n

El tema ha sido objeto de discusi\u00f3n en este blog en varias ocasiones y muchos autores proponen alternativas al modelo cl\u00e1sico de revisi\u00f3n doble ciego (en el cual las identidades de los autores y de los \u00e1rbitros solo es conocida por el editor de la revista), con la intenci\u00f3n de mejorar la calidad de los dict\u00e1menes y al mismo tiempo dar cr\u00e9dito p\u00fablico a los revisores. Uno de estos modelos tiene como premisa la publicaci\u00f3n conjunta del art\u00edculo seguido de los comentarios de los \u00e1rbitros. Este modelo tiene como objetivo frenar que los art\u00edculos falsos o falsificados escapen al control de los procesos de revisi\u00f3n y sean publicados.<\/p>\n

Con el aumento del n\u00famero de art\u00edculos y de revistas en todo el mundo, debido a la migraci\u00f3n de la publicaci\u00f3n impresa a la digital, el sistema acad\u00e9mico de revisi\u00f3n viene mostrando se\u00f1ales de colapso. Los \u00e1rbitros que proporcionan revisiones consistentes, de calidad y dentro del plazo solicitado, han sido sobrecargados con m\u00e1s art\u00edculos para revisar de los que pueden dar cuenta. En la opini\u00f3n de Martijn Arns, director e investigador del Research Institute Brainclinics<\/em>, en Mijmegen, Holanda, la consecuencia m\u00e1s peligrosa de este proceso de saturaci\u00f3n es que los art\u00edculos son enviados a revisores que no son especialistas en el \u00e1rea, lo que resulta en revisiones inadecuadas o superficiales, seg\u00fan el art\u00edculo publicado esta semana en Nature<\/em>1<\/sup>.<\/p>\n

En ese art\u00edculo, el autor manifiesta preocupaci\u00f3n respecto a la sustentabilidad y calidad del sistema de peer review<\/em>, atestiguado por su propia experiencia y la de sus colegas al recibir asesoramientos inadecuados, mostrando falta de comprensi\u00f3n del tenor del art\u00edculo por el \u00e1rbitro. El crecimiento del n\u00famero de revistas online en las \u00faltimas d\u00e9cadas ha contribuido a la sobrecarga mencionada de los \u00e1rbitros. Adem\u00e1s de eso, la pol\u00edtica editorial de parte de las revistas de acceso abierto consiste en la publicaci\u00f3n de art\u00edculos cuya metodolog\u00eda sea v\u00e1lida y que hayan \u201ccertificado su exactitud y validez, independientemente la evaluaci\u00f3n de su significado<\/em>\u201d. Esta recomendaci\u00f3n puede sonar a los \u00e1rbitros como una se\u00f1al para aprobar art\u00edculos s\u00f3lo basados en el an\u00e1lisis de las secciones de m\u00e9todos y estad\u00edstica, sin considerar las razones del estudio en su contexto m\u00e1s amplio.<\/p>\n

La motivaci\u00f3n impuesta por la cultura del \u2018publish or perish<\/em>\u2019 de la ciencia en estos d\u00edas ciertamente contribuye al aumento del n\u00famero de art\u00edculos. La revista de acceso abierto PloS ONE, por ejemplo, public\u00f3 m\u00e1s de 105 mil art\u00edculos desde 2006, y el editor Frontiers, m\u00e1s de 20 mil desde 2007. Si cada art\u00edculo fue evaluado por dos revisores, eso representa m\u00e1s de 250 mil \u00e1rbitros solamente para estos editores.<\/p>\n

Como la tasa de aumento de art\u00edculos (estimada en 113% entre 2000 y 2013 en la base Scopus) es muy superior al aumento del n\u00famero de investigadores (2,8% en la Uni\u00f3n Europea y 1,5% en los Estados Unidos), se concluye que la demanda de \u00e1rbitros tiende a aumentar. Una de las consecuencias de esta demanda aumentada es la asignaci\u00f3n de art\u00edculos a evaluadores que no son especialistas en el \u00e1rea, los cuales tienen capacidad de evaluar los m\u00e9todos y resultados, pero sin embargo no consiguen juzgar la relevancia y contribuci\u00f3n del trabajo en el \u00e1rea. Adem\u00e1s de eso, tambi\u00e9n corresponde a los peer reviewers<\/em> verificar si las citas a la literatura son adecuadas y el hecho de corroborar el razonamiento del autor. La cita de art\u00edculos obsoletos o inadecuados es perjudicial al avance de la ciencia, pues son perpetuadas ideas err\u00f3neas.<\/p>\n

Arns propone un modelo al cual denomin\u00f3 h\u00edbrido para asegurar la calidad del proceso de revisi\u00f3n por pares. Seg\u00fan este modelo, un tercio de los art\u00edculos que comprenden aquellos con resultados negativos, estudios metodol\u00f3gicos o confirmaci\u00f3n de experimentos previos, podr\u00edan ser publicados sin pasar por el peer review<\/em> y enviados a revisi\u00f3n pos-publicaci\u00f3n. Eso dejar\u00eda a los \u00e1rbitros con m\u00e1s tiempo para evaluar los art\u00edculos m\u00e1s relevantes, en los que la revisi\u00f3n pre-publicaci\u00f3n evita a los lectores incautos la exposici\u00f3n a \u2018curas milagrosas\u2019 o afirmaciones absurdas. Por lo tanto, se podr\u00eda prevenir que la expansi\u00f3n de las publicaciones online resulte en la saturaci\u00f3n de los \u00e1rbitros, con el consiguiente deterioro de la calidad de las revisiones.<\/p>\n

Como ya se mencion\u00f3, existen modelos que proponen el reconocimiento p\u00fablico de los evaluadores como forma de dar cr\u00e9dito a esta etapa importante del proceso de publicaci\u00f3n cient\u00edfica y tambi\u00e9n para mejorar la calidad de las revisiones.<\/p>\n

La startup <\/em>Publons2<\/sup> fue creada para registrar en un portal en Internet la contribuci\u00f3n de los peer reviewers<\/em> y alentar a los investigadores a publicar sus experiencias online como \u00e1rbitros. En nota en Nature<\/em> de octubre de 20143,<\/sup> Richard van Noorden relata la experiencia de la empresa creada en Nueva Zelanda en 2013 por Andrew R.H. Preston y Daniel Johnston. Nature<\/em> tambi\u00e9n escuch\u00f3 a dos usuarios del servicio, los investigadores Yogendra Kumar Mishra, que estudia nanomateriales en la Universidad de Kiel, Alemania y Malcom Jobling, un bi\u00f3logo marino en la Universidad de Troms\u00f8 en Noruega. Mishra y Jobling se destacan por su alto r\u00e1nking de revisiones publicadas en Publon recientemente.<\/p>\n

El nombre Publon significa la unidad fundamental de investigaci\u00f3n cient\u00edfica que justifica ser publicada, de la misma manera que el quantum<\/em> es la unidad fundamental de cualquier entidad f\u00edsica implicada en una interacci\u00f3n.<\/p>\n

Seg\u00fan Preston, la revisi\u00f3n por pares es un trabajo especializado y valioso, que es descartado despu\u00e9s de la publicaci\u00f3n del art\u00edculo, desperdiciando as\u00ed, ideas, sugerencias y comentarios. La finalidad de Publons es reunir y almacenar este contenido, promoviendo discusiones. Adem\u00e1s de eso, se trata de reconocer y convertir la revisi\u00f3n por pares en una medida de producci\u00f3n cient\u00edfica, as\u00ed como son las publicaciones y citas.<\/p>\n

El uso del portal es bastante simple: los investigadores crean su login<\/em> en la p\u00e1gina de Publons y registran sus trabajos de revisi\u00f3n de art\u00edculos, antes y\/o despu\u00e9s de la publicaci\u00f3n. Los textos de la revisi\u00f3n pre-publicaci\u00f3n no son revelados hasta que la revista autorice su publicaci\u00f3n en el formato ciego, doble ciego o abierto. En la opini\u00f3n de Preston, ser seleccionado por un editor para revisar un trabajo es la traducci\u00f3n del reconocimiento de este investigador como un especialista en el \u00e1rea, y este simple hecho merecer ser registrado y destacado. Muchos revisores registran esta experiencia en el CV y pueden usarla para, por ejemplo, solicitar ser parte de comit\u00e9s editoriales de revistas.<\/p>\n

Para tener una idea del volumen de revisiones realizados por los top reviewers<\/em>, Jobling revis\u00f3 m\u00e1s de 125 manuscritos solamente este a\u00f1o y registr\u00f3 39 revisiones en Publons en los \u00faltimos tres meses. Su promedio es de m\u00e1s de 100 manuscritos al a\u00f1o. Mishra revisa en promedio 5 art\u00edculos por mes, y registr\u00f3 22 en Publons en los \u00faltimos tres meses. El tiempo medio empleado para evaluar un art\u00edculo es variable, entre tres y doce horas, seg\u00fan Jobling, que declina tres veces m\u00e1s manuscritos de los que acepta revisar. Mishra declara que, al contrario de muchos colegas, revisa tambi\u00e9n art\u00edculos de revistas de bajo Factor de Impacto. El dice que el tiempo empleado en revisar art\u00edculos var\u00eda mucho, dependiendo del nivel del art\u00edculo y de la revistas a la que fue presentado.<\/p>\n

Publons asegura que muchas revisiones contabilizadas en el portal no son abiertas. As\u00ed, el cr\u00e9dito para el \u00e1rbitro se hace, sin embargo el texto de la revisi\u00f3n no se muestra. El portal tambi\u00e9n trabaja con revisiones abiertas, como las de las revistas Peer J<\/em> y GigaScience<\/em>, y de sitios como F1000<\/strong> que autom\u00e1ticamente importan las revisiones de sus art\u00edculos a Publons. En la opini\u00f3n de Jobling, las revisiones deben ser abiertas solo con consentimiento de la revista, de los autores y los revisores. Jobling mantiene sus revisiones an\u00f3nimas, en tanto que Mishra prefiere no publicarlas, solo las registra en Publons.<\/p>\n

En la opini\u00f3n de Jobling, sin embargo, el reconocimiento completo del trabajo de peer reviewer<\/em> todav\u00eda va a tardar. Preston, sin embargo, cree que el registro de revisiones pos publicaci\u00f3n est\u00e1 desarroll\u00e1ndose de forma promisoria y m\u00e1s revisores deben adherirse a la iniciativa, creando un perfil de revisores entre editoriales, en pro del reconocimiento p\u00fablico de este trabajo importante.<\/p>\n

Notas<\/h3>\n

1<\/sup> ARNS, M. Open access is tiring out peer reviewers. Nature<\/em>. 2014, vol. 515, n\u00ba 467, pp. 467. DOI: 10.1038\/515467a. Available from: http:\/\/www.nature.com\/polopoly_fs\/1.16403!\/menu\/main\/topColumns\/topLeftColumn\/pdf\/515467a.pdf<\/a><\/p>\n

2<\/sup> Publons. 2014. Available from: http:\/\/publons.com\/<\/a><\/p>\n

3<\/sup> VAN NOORDEN, R. The scientists who get credit for peer review. Nature<\/em>. 2014. DOI: 10.1038\/nature.2014. Available from: http:\/\/www.nature.com\/news\/the-scientists-who-get-credit-for-peer-review-1.16102<\/a><\/p>\n

Referencias<\/h3>\n

About us. Publons. 2014. Available from: http:\/\/publons.com\/about\/?utm_content=menu<\/a><\/p>\n

Al principio eran los plagios, ahora tambi\u00e9n los \u2018papers\u2019 autom\u00e1ticos falsos. <\/em>SciELO en Perspectiva. [viewed\u00a030 November 2014]. Available from: http:\/\/blog.scielo.org\/es\/2014\/03\/31\/al-principio-eran-los-plagios-ahora-tambien-los-papers-automaticos-falsos\/<\/a><\/p>\n

Art\u00edculo propone cuatro pilares para la comunicaci\u00f3n cient\u00edfica para promover la velocidad y la calidad de la ciencia. <\/em>SciELO en Perspectiva. [viewed\u00a030 November 2014]. Available from: http:\/\/blog.scielo.org\/es\/2013\/07\/31\/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia\/<\/a><\/p>\n

Cienciometr\u00eda de evaluadores \u2013 \u00bfser\u00e1n finalmente reconocidos?. <\/em>SciELO en Perspectiva. [viewed 30 November 2014]. Available from: http:\/\/blog.scielo.org\/es\/2014\/05\/14\/cienciometria-de-evaluadores-seran-finalmente-reconocidos\/<\/a><\/p>\n

F1000. 2014. Availale from: http:\/\/f1000research.com\/<\/a><\/p>\n

Guide for GigaScience reviewers. GigaScience<\/em>. 2014. Available from: http:\/\/www.gigasciencejournal.com\/about\/reviewers<\/a><\/p>\n

Pol\u00e9mico art\u00edculo en Science expone debilidades en la revisi\u00f3n por pares en una serie de revistas de acceso abierto. <\/em>SciELO en Perspectiva. [viewed\u00a030 November 2014]. Available from: http:\/\/blog.scielo.org\/es\/2013\/11\/05\/polemico-articulo-en-science-expone-debilidades-en-la-revision-por-pares-en-una-serie-de-revistas-de-acceso-abierto\/<\/a><\/p>\n

Policies & Procedures: Open Peer Review. Peer J.<\/em> 2014. Available from: http:\/\/peerj.com\/about\/policies-and-procedures\/#open-peer-review<\/a><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido de la versi\u00f3n en\u00a0<\/span>portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

La publicaci\u00f3n online caus\u00f3 el aumento significativo de revistas y de art\u00edculos a nivel mundial, sin embargo el n\u00famero de investigadores no aument\u00f3 en la misma proporci\u00f3n. As\u00ed, el proceso de revisi\u00f3n por pares, que otorga calidad y credibilidad a los art\u00edculos cient\u00edficos, se encuentra saturado y como consecuencia la calidad de las evaluaciones viene cayendo. Dos art\u00edculos en Nature<\/i> tratan sobre el tema, el primero propone un modelo h\u00edbrido para evaluar los art\u00edculos y el segundo informa de un servicio online para el registro y publicaci\u00f3n de las revisiones, con la finalidad de otorgar cr\u00e9dito y reconocimiento a los revisores. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":1372,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[29,7,40],"class_list":["post-1371","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-bibliometria","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t