Revisión por pares: mala con ella, peor sin ella

Por Lilian Nassi-Caló

Foto adaptada da original: Quinn Dombrowski.

La revisión por pares (peer review) de artículos científicos es la evaluación de resultados de investigación o propuestas de proyectos referentes a la competencia, significado y originalidad llevada a cabo por especialistas calificados que investigan y envían para publicación trabajos en la misma área (pares).

La ciencia avanza sobre la base del marco de los conocimientos acumulados por la humanidad y depende de la diseminación de resultados en revistas u otros tipos de publicaciones. Desde la creación de las primeras revistas científicas en el siglo XVII, los documentos enviados para publicación debían ser difundidos y presentados para la evaluación por los pares.

Desde entonces, sin embargo con mayor regularidad y énfasis después de la Segunda Guerra Mundial, la revisión por pares se ha empleado en la evaluación de los resultados de investigación, y la exclusión de esta etapa lleva al descrédito de la publicación y de los autores que en ella publican, al menos para la mayor parte de la comunidad científica internacional. Un estudio realizado en 2009 por la agencia británica Sense about Science¹ con más de 4 mil investigadores señala que el 84% de ellos considera que sin revisión por pares, la comunicación científica estaría totalmente sin control, comprometiendo la credibilidad de la información publicada.

Es difícil para alguien que no pertenece al medio académico comprender la complejidad de las etapas implicadas en la publicación científica. En muchos países, sin embargo, la sociedad civil está tomando conocimiento sobre la ciencia mediante la lectura de revistas en la Internet, y muestra signos de empezar a comprender la importancia de tener acceso a información certificada para formarse opinión y tomar decisiones sobre temas del día a día como tecnología, preservación ambiental, cambio climático, salud, derecho, economía, y muchos otros. Por lo tanto, el concepto de que la información pase por algún tipo de certificación para tener validez y confiabilidad se convierte intuitivo y cada vez más aceptado.

Varios estudios muestran que la evaluación por pares es vista como uno de los pilares – si no el más importante – de la comunicación científica. Los autores son unánimes al afirmar que la confianza implícita que acompaña la evaluación por pares ayuda a separar la paja del trigo en medio de la cantidad siempre creciente de literatura científica disponible, online o impresa. A pesar de las dificultades de pasar por el proceso de revisión, los autores son de la opinión de que el proceso mejora, de hecho, la calidad del manuscrito. Los revisores evalúan el manuscrito y hacen recomendaciones al editor de la revista si el artículo debe ser aceptado como está, revisado antes de la publicación o rechazado, evaluando calidad, originalidad e importancia, además de hacer sugerencias para mejorar. Esto hace que los investigadores deseen publicar en revistas arbitradas y que posean un mecanismo sólido de evaluación. Estos conceptos fueron resumidos por Donald Kennedy en un editorial de la revista Science en 2004², donde afirma que la revisión de un artículo científico generalmente implica la adición de calificaciones y limitaciones de las conclusiones.

La evaluación por pares, además, es particularmente importante para los investigadores jóvenes al inicio de la carrera, pues permite que en calidad de árbitros desarrollen habilidades metodológicas y de escritura, poder de síntesis y juicio crítico, resultando en un círculo virtuoso que forma mejores autores.

Las conclusiones sobre evaluación por pares a que llegaron los estudios no significa sin embargo que el proceso sea totalmente confiable y libre de errores. Por el contrario, la evaluación por pares, por definición, es un trabajo extremadamente especializado, puede llevar mucho tiempo, no es transparente o demasiado crítico, no está libre de sesgos y no puede detectar comportamientos anti éticos como plagio o resultados fabricados. Por lo tanto, surgen críticas y mecanismos alternativos para sustituirlo. Otras notas recientes en este blog analizan en detalle estos aspectos.

Un caso reciente llamó la atención de la comunidad científica internacional, cuando en noviembre de 2014 el reputado editor de casi tres centenares de revistas en acceso abierto con sede en el Reino Unido, BioMed Central, descubrió evidencias de intentos de manipulación del proceso de revisión por pares de varias revistas que publica. Después de un minucioso trabajo de investigación, se descubrió que 43 artículos habían sido publicados en base a revisiones falsas producidas por árbitros falsificados. Los artículos afectados están siendo retractados, de común acuerdo con las instituciones a las que pertenecen sus autores. Lo más importante, sin embargo, es descubrir y revelar el esquema detrás de los fraudes.

Al parecer, la manipulación de las opiniones contó con la intermediación de firmas que ofrecen servicios de revisión de idioma y asistencia previa a los autores para la presentación. No se sabe, sin embargo, hasta qué punto los autores de los artículos estaban conscientes de las revisiones falsas. Es posible que habiendo usado los servicios de estas agencias en buena fe terminaron perjudicados. BioMed Central, sin embargo, obtuvo de los autores los nombres de las agencias, que además de realizar servicios legítimos, ofrecen revisiones favorables mediante el pago de tasas.

El problema parece haber adquirido mayores proporciones, más allá de BioMed Central, dado el hecho de que la Comission on Publication Ethics (COPE) emitió una declaración³ afirmando que “ha tomado conciencia de las tentativas sistemáticas inapropiadas de manipular los procesos de revisión por pares de varias revistas en diferentes editoriales” COPE informa que estas revistas están revisando sus manuscritos para determinar cuáles artículos deben ser retractados.

La denominada “crisis de la revisión por pares” desencadenada por las noticias de fraude, mala conducta ética y también por el aumento del número de publicaciones y baja calidad de los revisores es, en la opinión de los especialistas del área, parte del proceso, y en vez de perjudicar la reputación, en verdad la fortalece.

La evaluación por pares, todavía, sigue siendo el mecanismo aprobado por la comunidad científica y, más recientemente, por otros sectores de la sociedad, como la que asegura la confiabilidad, calidad y originalidad de los documentos. La mala conducta ética por parte de algunos no debe socavar la reputación del proceso, que se basa fundamentalmente en la confianza entre editores, autores y revisores.

Será publicado en este espacio una serie de posts sobre el tema, que tiene por objetivo representar los puntos de vista de los actores de la cadena editorial sobre cómo fortalecer y mejorar el proceso; mostrar cómo trabajan las organizaciones, sociedades y otras instituciones para contribuir con la mejora de la evaluación mediante guías, tutoriales y manuales de buenas prácticas; nuevos productos y servicios disponibles a los editores, autores y evaluadores para tornar el proceso más justo y transparente; y entrevistas con editores y autores brasileros sobre el tema.

Notas

¹ Peer Review Survey 2009. Sense about Science. 2009. Available from: http://www.senseaboutscience.org/data/files/Peer_Review/Peer_Review_Survey_Final_3.pdf

² KENNEDY, D. Intelligence Science: Reverse Peer Review? Science. 2004, vol. 303, n°5666, p. 1945. DOI: 10.1126/science.303.5666.1945

³ COPE statement on inappropriate manipulation of peer review processes. Committee on Publication Ethics. Available from: http://publicationethics.org/news/cope-statement-inappropriate-manipulation-peer-review-processes

Referencias

350 años de publicación científica: desde el “Journal des Sçavans” y el “Philosophical Transactions” hasta SciELO. SciELO en Perspectiva. [viewed 22 March 2015]. Available from: http://blog.scielo.org/es/2015/03/05/350-anos-de-publicacion-cientifica-desde-el-journal-des-scavans-y-el-philosophical-transactions-hasta-scielo/

Artículo analiza la saturación de los revisores por pares. SciELO en Perspectiva. [viewed 22 March 2015]. Available from: http://blog.scielo.org/es/2015/01/22/articulo-analiza-la-saturacion-de-los-revisores-por-pares/

Cienciometría de evaluadores – ¿serán finalmente reconocidos?. SciELO en Perspectiva. [viewed 24 March 2015]. Available from: http://blog.scielo.org/es/2014/05/14/cienciometria-de-evaluadores-seran-finalmente-reconocidos/

Etica editorial – buenas y malas prácticas científicas. SciELO en Perspectiva. [viewed 14 January 2015]. Available from: http://blog.scielo.org/es/2014/09/10/etica-editorial-buenas-y-malas-practicas-cientificas/

Ética editorial: los arbitrajes fraudulentos. SciELO en Perspectiva. [viewed 14 January 2015]. Available from: http://blog.scielo.org/es/2015/02/20/etica-editorial-los-arbitrajes-fraudulentos/

MOYLAN, E. Innapropriate manipulation of peer review. BioMed Central blog. 2015. Available from: http://blogs.biomedcentral.com/bmcblog/2015/03/26/manipulation-peer-review/

NICHOLAS, D., and et al. Peer review: still king in the digital age. Learned Publishing. 2015, vol. 28, nº 1, pp. 15-21. DOI: 10.1087/20150104

PATEL, J. Who reviews the reviewers. BioMed Central blog. 2014. Available from: http://blogs.biomedcentral.com/bmcblog/2014/11/26/who-reviews-the-reviewers/

Peer Review and the Acceptance of New Scientific Ideas. Discussion paper from a Working Party on equipping the public with an understanding of peer review. Sense about Science. 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf

Revisión por pares: modalidades, pros y contras. SciELO en Perspectiva. [viewed 24 March 2015]. Available from: http://blog.scielo.org/es/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

Sense about Science. Peer Review and the Acceptance of New Scientific Ideas. London: Sense About Science, 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf

Sense about Science. The nuts and bolts. A guide for early career researchers. London: Sense About Science, 2012. Available from: http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf

Trust and Authority in Scholarly Communications in the Light of the Digital Transition. CICS/CIBER. 2013. Available form: http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.