Fortaleciendo la evaluación por pares: guías, turoriales y manuales de buenas prácticas

Por Lilian Nassi-Caló

Foto adaptada da original: Ian Hampton.

Un post recientemente publicado en este blog marca el 350º aniversario de la creación de las primeras revistas científicas que diseminaban las ideas de los filósofos, matemáticos, astrónomos, físicos, médicos, abogados y otros intelectuales del siglo XVII. El autor informa que “desde el comienzo había consenso entre los investigadores y estudiosos que los descubrimientos deberían diseminarse y presentarse abiertamente para la evaluación por sus pares. El ‘peer review’ es tan antiguo como las revistas científicas, y todavía más, vale la pena notar que en aquel tiempo el arbitraje no era un proceso anónimo ni ciego, sino abierto a todos los colegas, una especie de arbitraje y Acceso Abierto”.

La validación de los informes científicos antes de la publicación, por eso, es una práctica bien establecida cuya efectividad e importancia se reconoce por autores, editores, agencias de financiación y sociedades científicas alrededor del mundo con el fin de asegurar la originalidad, calidad, confiabilidad, integridad y consistencia de la literatura académica.

Las principales asociaciones editoriales alrededor del mundo, tales como WAME, Council of Science Editors, ICMJE, COPE, EASE, ASLPSP, y publishers como BioMed Central, Nature Publishing Group, Elsevier, Wiley-Blackwell, y muchas otras ofrecen en sus sitios web manuales y guías de buenas prácticas sobre arbitraje, con el fin de orientar a los investigadores, editores y revisores sobre cómo llevar a cabo en forma correcta, respetable y transparente el paso más importantes de la publicación de resultados de investigación.

A pesar de la amplia disponibilidad de recursos, el arbitraje todavía genera dudas y cuestionamientos en la comunidad científica, instituciones de investigación y sociedad civil, que financia mucha de la investigación a través del pago de impuestos. Lo que debería ser reconocido como el guardián de la buena ciencia, basada en conceptos sólidos y metodología apropiada, puede ser malinterpretado como una forma mediante la cual los intereses personales o corporativos pueden ser preservados, falta de transparencia, sesgos contra los avances o resultados negativos, u otras razones que no sean el bien común.

De acuerdo con el biólogo y Premio Nobel de Química en 2008, Martin Chalfie, de la Universidad de Columbia, el arbitraje es importante para calificar la calidad de la producción científica, sin embargo es necesario evitar que los buenos trabajos no sean retenidos en el escrutinio del arbitraje y no consigan ser publicados. Chalfie fue el descubridor, junto con otros dos científicos, de la Proteína Verde Fluorescente (Green Fluorescent Protein – GFP)¹. La proteína GFP de la medusa Aequoa victoria, descubierta en 1994, puede ser usada como un marcador de expresión de gene en procariotas y eucariotas, haciendo un ensayo muy simple y sensible.

Chalfie concedió una entrevista exclusiva a un semanario brasileño informando las dificultades que tuvo para publicar en Science el artículo que le permitió obtener el Premio Nobel. Chalfie cree que el arbitraje debería pasar por ajustes para hacer el proceso más eficiente y transparente. Considera que actualmente hay revisores que no evalúan el artículo enviado, sin más bien su visión ideal de ese artículo. La falta de consenso entre los revisores puede ser problemática debido a una opinión negativa, incluso entre muchas otras opiniones positivas que pueden hacer que el editor decline la publicación. Hay revistas tales como eLife que requieren que los revisores lleguen a un consenso entre ellos sobre los puntos que el autor debería revisar para conseguir que su artículo sea publicado. El editor de Genetics, por otra parte, cree que los editores deberían científicos líderes en el área, de modo que puedan medir la verdadera importancia de un artículo e incluso criticar la revisión de un científico renombrado.

Chalfie también menciona la necesidad de evaluar la calidad de un investigador examinando su trabajo y no el prestigio de las revistas en las que ha publicado, y cita la Declaration of Research Assesment (DORA)², como un movimiento contra la sobrevaloración del Factor de Impacto en la evaluación de la investigación.

Esta impresión negativa del ‘peer review’ ocurre, muy probablemente, debido a la falta de conocimiento sobre él y sus reglas de operación. Un estudio detallado llevado a cabo por el Grupo de Trabajo de la agencia británica Sense About Science, publicado en 2004³ muestra que debido a la falta de conocimiento sobre los principios del arbitraje por las personas fuera de la comunidad científica en ese país, hay un juicio errado sobre las prácticas de publicación científica. El término ‘evidencia científica’ a menudo se confunde con ‘política científica’. En la mayoría de los casos la preocupación y exageración sobre descubrimientos científicos están relacionados con resultados que se consideran de baja calidad o fabricados por los investigadores y especialistas.

El Grupo de Trabajo considera entones, que entender el arbitraje puede ayudar a las personas a leer sobre ciencia en una revista científica, en un periódico o en Internet, para argumentar sobre cómo se hizo este descubrimiento y por cuál escrutinio paso a la publicación.

Para nombrar unos pocos ejemplos de descubrimientos científicos que causan gran preocupación en la población en general es la afirmación de que la vacuna contra las paperas, el sarampión y la rubéola (vacuna triple) podría causar autismo en los niños; que la radiación electromagnética no ionizante emitida por los teléfonos celulares podría causar disturbios en el sueño y tumores cerebrales; que los alimentos de semillas genéticamente modificadas podrían ser dañinos a la salud; preocupación sobre los efectos dañinos de los pesticidas hallados en el alimento; y los riesgos que superan los beneficios de la terapia de reemplazo hormonal en las mujeres.

En opinión de los investigadores británicos, es una oportunidad perdida de la comunidad científica en revelar cómo los descubrimientos y avances científicos se comparten, especialmente considerando las horas de trabajo especializado y completo en que trabajan, y debido a que muchos de los resultados de descubrimientos tienen implicaciones serias que van desde la salud a la política global.

En América Latina, por otra parte, la cuestión deviene aún más dramática. Un estudio reciente sobre la percepción pública de la ciencia llevado a cabo en Argentina y presentado en FAPESP Week Buenos Aires⁴, muestra que a pesar de los esfuerzos para impulsar la comunicación científica en la región, los niveles de conocimiento sobre ciencia en la población en general es muy bajo. La encuesta fue realizada por el Consejo Nacional de Investigaciones Científica y Técnica (Conicet) en asociación con FAPESP, y confirmado por estudios realizados en Brasil por Ministério da Ciência, Tecnologia e Inovação (MCTI) y FAPESP, y otros países iberoamericanos por Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT).

En la opinión de Marcelo Knobel, profesor del Instituto de Física Gleb Wataghin, Unicamp, uno de los coordinadores del evento, “Las poblaciones de América Latina no saben ni siquiera si se hace ciencia, y menos aún en qué instituciones de sus países se lleva a cabo”. De hecho, en investigaciones recientes sobre la percepción pública de la ciencia en Brasil indican que solo el 14% de los encuestados puede nombrar una institución de investigación en el país.

RICYT concluyó que el nivel de conocimiento varía dependiendo del nivel de educación de los encuestados. Solo el 20% de los encuestados en Argentina indicaron que conocen una institución de investigación en el país, sin embargo entre los que tienen niveles de educación superior, este porcentaje llega al 70%. Esta percepción está relacionada al hecho de que solo 2-5% de las poblaciones de los países de la región visitan museos y centros de ciencia o leen sobre ciencia en los periódicos, revistas y en Internet.

Las poblaciones de los países desarrollados disponen en la prensa diaria, revistas y en la Web muchos contenidos sobre la ciencia escrita por periodistas científicos que traducen en términos simples los descubrimientos científicos recientes. Esta actividad está lejos de ser trivial, y requiere entrenamiento especializado, incluyendo cursos de grado en práctica periodística y ciencia. Es más, las principales revistas científicas mantienen páginas en las redes sociales y blogs donde comparten información científica digerida para consumidores no especialistas. En América Latina, esto sucede a mucho menor grado, y la población general lo considera difícil de entender, perdiendo así el interés. Naturalmente, la responsabilidad yace aquí con el vehículo de comunicación y no en el lector, que no dispone de profesionales adecuadamente preparados para ‘traducir’ el lenguaje científico en algo más simple, solo que no es trivial.

Pero, ¿qué tiene que ver todo esto con la revisión por pares? Los resultados presentados por el British Working Group señalaron que si los científicos prestaran atención al proceso a través del cual pasa su trabajo antes de ser publicado, debería animarse a la gente común a ser más exigentes sobre lo que leen, a buscar fuentes confiables y seguras sobre los temas de interés, más bien que creer en la primera información transmitida en una revista o en Internet. Puede parecer que estamos muy lejos de esa conciencia en nuestra región geográfica, pero es importante comenzar por este proceso.

Mucho se ha dicho y escrito sobre el ‘peer review’, pero hoy día hay muchas más organizaciones dedicadas a entender y mejorar el proceso, que desde hace mucho tiempo ha sido la prerrogativa de los editores. El previamente mencionado Sense about Science ha producido investigación, entrenamiento y material de política de arbitraje, tales como el documento escrito por el Grupo de Trabajo³ y el programa para jóvenes científicos que incluye talleres y guías para investigadores que inician su carrera⁵.

Los jóvenes investigadores han cuestionado su inclusión en el proceso de arbitraje, tales como evaluar sus desempeños como árbitros y qué se espera de ellos como autores y como revisores. A pesar de estos asuntos, su participación es muy productiva porque mientras evalúan ellos entienden cómo funciona la evaluación, sus limitaciones y el rol del árbitro en la sociedad, llegando a ser, así, mejores autores.

De hecho, 91% de los investigadores se someten a la revisión por pares porque creen que su trabajo posterior será mejorado por las sugerencias de los revisores, 85% de ellos declaran apreciar tener acceso a los trabajos de otras personas y ser capaces de mejorarlos, y 90% toma parte del proceso porque los hace sentirse miembros de la comunidad académica, actuando como guardianes por el bien de la calidad de la publicación en su área. Por otra parte, 56% de los consultados en la encuesta Sense about Science declaran que no tienen entrenamiento alguno sobre cómo debe ser un revisor.

En vista de este hecho y otras evidencias, en 2014 la European Cooperation Agency on Science and Technology (COST), financiada por la Unión Europea, formó un grupo multinacional para fortalecer la eficiencia, transparencia y confiabilidad en la revisión por pares mediante un enfoque multidisciplinario e intersectorial. La iniciativa, llamada New Frontiers of Peer Review (PEERE) agendada para durar cuatro años, apunta a examinar el arbitraje en diferentes áreas del conocimiento mediante investigación cualitativa y cuantitativa; evaluar las implicaciones de diferentes tipo de arbitraje por pares y explorar nuevos enfoques; incorporar investigadores y partes interesadas en compartir los datos y probar resultados; y finalmente definir cooperativamente una agenda conjunta para proponer una reforma del arbitraje por pares basada en evidencia. Los responsables por la iniciativa creen que el arbitraje por pares como proceso regulatorio de la ciencia puede ser mejorado y fortalecido, así sus resultados beneficiarán a la sociedad en conjunto. PEERE organiza eventos y talleres y proporciona documentos y manuales de buenas prácticas en su portal Web.

La red Enhancing the Quality and Transparency of Health Research (EQUATOR) apoya a editores e investigadores jóvenes que se enfrentan a las revisión por pares publicando manuales y guías de buenas prácticas. Especializada en ensayos clínicos y literatura de la salud, los manuales de EQUATOR también están disponibles en español, traducidos y apoyados por la Organización Panamericana de la Salud, y busca satisfacer la demanda de información de otros idiomas diferentes del inglés.

El compromiso y la participación de otros interesados en fortalecer la revisión por pares aparte de las editoriales y editores es muy beneficioso y debería traer mejoras significativos al proceso. Es un aprendizaje colectivo y continuo para el bien de la confiabilidad, transparencia y ética en la ciencia.

Notas

¹ CHALFIE, M. et al. Green fluorescent protein as a marker for gene expression. Science. 1994, vol. 263, nº 5148, pp. 802-805. DOI: http://dx.doi.org/10.1126/science.8303295.

² Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 26 April 2015]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

³ Sense about Science. Peer Review and the Acceptance of New Scientific Ideas. London: Sense About Science, 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf

⁴ ALISSON, E. El nivel de conocimiento sobre ciencia en la sociedad latinoamericana es dramáticamente bajo. In: FAPESP Week Buenos Aires, Buenos Aires, 2015. Available from: http://www.fapesp.br/week2015/buenosaires/el-nivel-de-conocimiento-sobre-ciencia-en-la-sociedad-latinoamericana-es-dramaticamente-bajo/

⁵ Peer Review, The nuts and bolts. A guide for early career researchers. Sense about Science 2012, London. Available from: http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf

Referencias

350 años de publicación científica: desde el “Journal des Sçavans” y el “Philosophical Transactions” hasta SciELO. SciELO en Perspectiva. [viewed 13 April 2015]. Available from: http://blog.scielo.org/es/2015/03/05/350-anos-de-publicacion-cientifica-desde-el-journal-des-scavans-y-el-philosophical-transactions-hasta-scielo/

ALISSON, E. El nivel de conocimiento sobre ciencia en la sociedad latinoamericana es dramáticamente bajo. In: FAPESP Week Buenos Aires, Buenos Aires, 2015. Available from: http://www.fapesp.br/week2015/buenosaires/el-nivel-de-conocimiento-sobre-ciencia-en-la-sociedad-latinoamericana-es-dramaticamente-bajo/

Authors & Referees: Peer-review policy. Nature Publishing Group. Available from: http://www.nature.com/authors/policies/peer_review.html

BEER, R. “É preciso uma revisão mais justa de artigos científicos”. Veja.com. 2015. Available from: http://veja.abril.com.br/noticia/ciencia/e-preciso-uma-revisao-mais-justa-de-artigos-cientificos

Best Practices for Peer Reviewer Selection and Contact to Prevent Peer Review Manipulation by Authors. World Association of Medical Editors (WAME). 2015. Available from: http://www.wame.org/about/policy-statements#Best Practices for Peer Reviewer Selection

CHALFIE, M. et al. Green fluorescent protein as a marker for gene expression. Science. 1994, vol. 263, nº 5148, pp. 802-805. DOI: http://dx.doi.org/10.1126/science.8303295.

COPE Ethical Guidelines for Peer Reviewers. Committee on Publication Ethics (COPE). Available from: http://publicationethics.org/files/u7140/Peer%20review%20guidelines.pdf

Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 26 April 2015]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

For Reviewers. Willey Blackwell. Available from: http://www.nurseauthoreditor.com/forreviewers.asp

How to serve as an effective referee in the peer review process. European Association of Science Editors (EASE). Available from: http://www.ease.org.uk/publications/ease-toolkit-authors/how-serve-effective-referee-peer-review-process

Peer Review, The nuts and bolts. A guide for early career researchers. Sense about Science 2012, London. Available from: http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf

Peer review. Elsevier. Available from: http://www.elsevier.com/reviewers/peer-review

Peer-review policy. BioMed Central. Available from: http://www.biomedcentral.com/editors/peerreview

Responsibilities in the Submission and Peer-Review Process. International Committee of Medical Journal Editors (ICMJE). Available from: http://www.icmje.org/recommendations/browse/roles-and-responsibilities/responsibilities-in-the-submission-and-peer-peview-process.html

Sense about Science. Peer Review and the Acceptance of New Scientific Ideas. London: Sense About Science, 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf

TRUDGETT, A. Reviewer Roles and Responsibilities. Council of Science Editors. 2012. Available from: http://www.councilscienceeditors.org/resource-library/editorial-policies/white-paper-on-publication-ethics/2-3-reviewer-roles-and-responsibilities/

Enlaces externos

FAPESP Week Buenos Aires – http://www.fapesp.br/week2015/buenosaires

New Frontiers of Peer Review (PEERE) – http://www.peere.org/

Rede EQUATOR – http://www.equator-network.org/

Sense about Science – http://www.senseaboutscience.org

The Association of Learned & Professional Society Publishers (ALPSP) – http://www.alpsp.org/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.