¿Podrían ser abiertas las evaluaciones de propuestas de financiamiento para la investigación?

Por Lilian Nassi-Caló

Foto: AJC1.

Recientemente han habido muchas discusiones, inclusive en este blog, sobre el proceso de revisión por pares, la etapa más importante del proceso de publicación de revistas científicas que confiere calidad y credibilidad a los artículos.

Muchos autores defienden la publicación de las opiniones en forma abierta, como comentarios a continuación del artículo, alegando que esta práctica puede ayudar a controlar fraudes en el proceso de evaluación, al mismo tiempo que permite el reconocimiento a los árbitros.

Más recientemente, los investigadores han discutido, también por este medio de las redes sociales, cuál sería el impacto de hacer el proceso de peer review más abierto y transparente. Además, la discusión fue ampliada para incluir la revisión de propuestas de financiamiento a la investigación (grants). Este tema despierta la atención tanto de la comunidad científica como de la sociedad civil. Para los investigadores, garantiza la equidad y objetividad del proceso, y al público en general (los contribuyentes), para garantizar que los proyectos sean aprobados en función del mérito y no por motivos políticos o para favorecer a terceros, aumentando la confianza de la sociedad en la investigación científica.

Un artículo de Chris Woolston en Nature¹ analiza la repercusión de dos trabajos recientemente publicados sobre la apertura del proceso de revisión de grants y más, la posibilidad de alteración de las propuestas después de la publicación de los resultados.

Los académicos tienen dificultades en entender por qué algunas propuestas de financiamiento de investigación son aprobadas, sin embargo otras no. Estudios señalan varias inconsistencias y baja reproducibilidad en el proceso de revisión de grants. Los árbitros atribuyen diferentes pesos a los aspectos de las propuestas tales como metodología, originalidad y viabilidad de los proyectos.

Para abordar estas disparidades, Daniel Mietchen, un biólogo evolutivo del Museo de Historia Natural de Berlín, Alemania, sostiene en la publicación PLoS Biology² , entre otras cosas, que las propuestas de financiación de investigación aprobadas deberían estar disponibles al público. Comentarios en Twitter que siguieron a la publicación, o bien apoyaron o bien desaconsejaron la iniciativa, por motivos diversos. El autor del estudio basa su hipótesis de que abrir las opiniones podría transformar la ciencia en su totalidad tomando como base el hecho de que los investigadores puedan comparar sus propuestas con las de sus colegas, además de abrir perspectivas de cooperación.

El estudio de Mietchen sigue de una investigación sobre transparencia en la financiación de proyectos escrito por David Gurwitz y colaboradores, también publicado en PLoS Biology³, realizada con 27 agencias de desarrollo en los cinco continentes. Los autores llegaron a la conclusión de que ninguna de ellas publica los resultados finales de propuestas aprobadas y 18 de ellas apenas publican los resúmenes de éstas. Generalmente las agencias publican extensos manuales con las reglas para obtener financiamiento, sin embargo, se abstienen de informar sobre las propuestas – aprobadas o no – o las decisiones sobre el financiamiento.

De la misma forma que el proceso de evaluación de manuscritos, el trabajo minucioso de revisión y grants es descartado en el momento en que la propuesta es aprobada o rechazada. Este tiempo empleado por los árbitros en un trabajo poco visible y reconocido, causa el llamado “cansancio de los evaluadores”, que son cada vez más requeridos teniendo a la vista el número creciente de proyectos para analizar. La disponibilidad abierta de las opiniones permitiría el reconocimiento público de este trabajo y ayudaría a los investigadores a preparar propuestas mejores.

Según los autores del artículo ya mencionado sobre la transparencia en la evaluación de proyectos, no habría necesidad de divulgar todos los detalles de los proyectos aprobados. Bastaría informar el resumen, impacto de la investigación, nombre de los revisores de la propuesta, resumen de las evaluaciones, valor del financiamiento concedido, tasa de aprobación de propuestas de la agencia en cuestión, e informe final. Sin embargo, incluso divulgando apenas una parte de los datos de la propuesta, existe cierto grado de preocupación de parte de los investigadores de que la apertura podría, de alguna forma, comprometer la legitimidad del proceso de evaluación. Los autores consideran, por otra parte, que la revisión por pares requerirá a la brevedad una nueva dimensión en su legitimidad que podría ser la apertura de las opiniones.

Otra preocupación se refiere a la confidencialidad de los contenidos de las propuestas. Gurwitz y colaboradores afirman que las agencias de financiación consultadas en su estudio prefieren mantener confidenciales ciertos datos de las propuestas hasta que los resultados de las investigaciones sean publicados, para evitar que investigadores inescrupulosos puedan plagiar ideas y proyectos, en un ambiente muy competitivo, como es el de la investigación científica.

Welcome Trust, una importante agencia de financiación de la investigación biomédica, publica actualmente breves resúmenes de muchos proyectos de investigación que aprueba. De acuerdo con el director científico Kevin Moses, no hay ninguna intención de ampliar la información, para respetar la confidencialidad de los investigadores y de sus proyectos.

La disponibilidad de las evaluaciones puede abrir el camino para otro tipo de evaluación, por ejemplo, la que se produce después de la publicación, como ejemplo de revisión anónima pos-publicación de artículos, como sugiere Hilda Bastian, editora de PloS Medicine y de PubMed Commons, una iniciativa que permite publicar comentarios sobre trabajos de PubMed después de su publicación. A su entender, los comentarios y críticas abiertas pueden mejorar la calidad de la investigación exponiendo errores y debilidades de forma eficiente. Lisa Langsetmo, una investigadora de osteoporosis en la McGill University en Montreal, Canadá, comparte las ideas de Bastian, sugiriendo dos etapas de revisión, siendo “la primera ciega y anónima y la segunda, pos-publicación, abierta y permanente”.

En Brasil, todavía prevalece el sistema ciego (doble o simple) de revisión por pares en artículos de revistas y propuestas de financiamiento de investigación, y la idea de abrir los comentarios de los árbitros todavía no despierta interés en la comunidad científica.

Notas

¹ WOOLSTON, C. What would happen if grant reviews were made public? Nature. 2015, vol. 517, nº 247. DOI: 10.1038/517247f

² MIETCHEN, D. The transformative nature of transparency in research funding. PLoS Biol. 2014, vol. 12, nº 12. DOI: 10.1371/journal.pbio.1002027.

³ GURWITZ, D., MILANESI, E., KOENIG T. Grant application review: The case of transparency. PLoS Biol. 2014, vol. 12, nº 12. DOI: 10.1371/journal.pbio.1002010.

Referências

Artículo propone cuatro pilares para la comunicación científica para promover la velocidad y la calidad de la ciencia. SciELO en Perspectiva. [viewed 14 January 2015]. Available from: http://blog.scielo.org/es/2013/07/31/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia/

Cienciometría de evaluadores – ¿serán finalmente reconocidos?. SciELO en Perspectiva. [viewed 14 January 2015]. Available from: http://blog.scielo.org/es/2014/05/14/cienciometria-de-evaluadores-seran-finalmente-reconocidos/

Etica editorial – buenas y malas prácticas científicas. SciELO en Perspectiva. [viewed 14 January 2015]. Available from: http://blog.scielo.org/es/2014/09/10/etica-editorial-buenas-y-malas-practicas-cientificas/

GURWITZ, D., MILANESI, E., KOENIG T. Grant application review: The case of transparency. PLoS Biol. 2014, vol. 12, nº 12. DOI: 10.1371/journal.pbio.1002010.

MIETCHEN, D. The transformative nature of transparency in research funding. PLoS Biol. 2014, vol. 12, nº 12. DOI: 10.1371/journal.pbio.1002027.

PubMed Commons: NLM lanza versión piloto que permite comentarios abiertos sobre artículos. SciELO en Perspectiva. [viewed 15 January 2015]. Available from: http://blog.scielo.org/es/2013/12/20/pubmed-commons-nlm-lanza-version-piloto-que-permite-comentarios-abiertos-sobre-articulos/

WOOLSTON, C. What would happen if grant reviews were made public? Nature. 2015, vol. 517, nº 247. DOI: 10.1038/517247f

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido de la versión en portugués por Ernesto Spinak.