¿Como evaluar las propuestas de ayuda a la investigación?

Por Lilian Nassi-Caló

Foto: Oliver Tacke.

La evaluación por pares de propuestas de ayuda a la investigación (grants) tiene como finalidad juzgar el mérito de proyectos e investigadores y permitir que se contemplen los mejores. El elevado número de candidatos y propuestas, sin embargo, está causando la saturación de los árbitros, que se encuentran inmersos en cantidades crecientes de proyectos, sin saber con certeza la mejor forma de juzgarlos.

En un post publicado anteriormente en este blog, se discutió sobre la posibilidad de hacer arbitrajes abiertos, como forma de ayudar a los investigadores a elaborar mejores propuestas, al mismo tiempo que permite el reconocimiento público de los árbitros y ayuda a prevenir el fraude en el proceso de evaluación. Esta alternativa viene de la experiencia exitosa de revistas que hacen disponibles los comentarios de los peer reviewers en forma abierta a continuación del artículo publicado.

Recientemente, Ewan Birney, director del European Molecular Biology Laboratory del European Bioinformatics Institute en Hinxton, Reino Unido, compartió en su Twitter que deseaba recibir sugerencias prácticas sobre cómo identificar los mejores candidatos entre centenares de presentaciones que había recibido para propuestas de apoyo a proyectos de investigación en su institución. Para su sorpresa, la comunidad científica respondió efusivamente con muchas sugerencias, que, a su vez, condujo a otros comentarios en Twitter. La experiencia se informó en una nota en Nature¹ que también está recibiendo comentarios en su página.

Birney² inició el debate en Twitter preguntado por criterios distintos del título de la revista para evaluar la competencias de los candidatos, cuyos artículos suman alrededor de 2.500 en total. La respuesta de Yoav Gilad³, genetista de la Universidad de Chicago, IL, EUA, aconsejó leer los 2.500 resúmenes o los artículos propiamente dichos, incluso si eso significase incluir más evaluadores en el procesos. Birney respondió que no creía que eso fuera factible, a pesar de ser correcto. Birney es partidario, como muchos, de que el título de la revista, o su Factor de Impacto (FI) no necesariamente refleja la calidad individual de los artículos. Además, su tarea es todavía más difícil pues incluye juzgar propuestas que no caen exactamente dentro de su área de especialización. “Incluso usando el prestigio de la revista como un indicador no sería de ayuda, porque todos los candidatos publican ‘bien’ “.

La discusión en Twitter siguió con la sugerencia de Stephen Curry⁴, biólogo estructural en el Imperial College de Londres, de solicitar a los candidatos identificar cuatro de sus publicaciones más relevantes y justificar la selección en un informe de solo una página. Richard Sever⁵, cofundador del repositorio de artículos de biomedicina del Cold Spring Harbor Laboratory (CSHL) bioRxive director asistente de publicaciones de CSHL, consideró buena la idea, haciendo una advertencia, sin embargo, que el método podría en verdad, seleccionar candidatos competentes en elaborar resúmenes de una página.

La mayor preocupación, según Birney, en usar métricas basadas en citaciones sugeridas por muchos investigadores, reside en el hecho de que éstas varían considerablemente entre disciplinas y no pueden ser comparables en una muestra heterogénea. Hugo Hilton⁶, inmunólogo en la University of Stanford, CA, EUA, expresó su preocupación como candidato de que los procesos de selección estén sujetos a criterios no totalmente claros y sesgos clásicos como el prestigio de las revistas donde publican los solicitantes. Vale la pena recordar la iniciativa Declaration on Research Assessment (DORA) de 2012⁷, en la que miembros de la American Society for Cell Biology se comprometieron a no usar el FI para evaluar a los investigadores en las solicitudes de ayuda, promociones en la carrera y contrataciones, exactamente para evitar distorsiones. Hasta el momento la Declaración fue firmada por más de 150 científicos prominentes y 80 organizaciones académicas.

Birney asegura que los árbitros deben tener cierto grado de autonomía al juzgar las propuestas y no habría ningún problema si todos ellos no siguieran exactamente los mismos procedimientos en sus evaluaciones. “Yo preferiría opiniones subjetivas y no sesgadas, con cinco criterios diferentes más que intentar unificar los criterios de forma de ponerse de acuerdo con las mismas respuestas”. Sin embargo, advierte que la transparencia en el proceso es esencial.

A pesar de estar consciente de los problemas en el uso del prestigio de las revistas como un indicador de la calidad, Birney cree que su uso es inevitable en virtud del volumen de propuestas y candidatos a evaluar. También asesora a los candidatos a resaltar sus logros de forma clara en la propuesta, en lugar de resaltar los títulos de las revistas en sus listas de publicaciones.

El artículo de Nature recibió una serie de comentarios, ofreciendo formas de acelerar los procesos de evaluación y llegar a listas cortas. También es posible para los usuarios registrados presentar sus puntos de vista sobre el tema⁸. ¡Participe usted también en la discusión!

Notas

1. CHAWLA, D.S. How to judge scientists’ strengths. Nature. 2015, volº 527, nº 279. DOI: 10.1038/527279f

2. Ewan Birney: http://twitter.com/ewanbirney

3. Yoav Gilad: http://twitter.com/Y_Gilad

4. Stephen Curry: http://twitter.com/Stephen_Curry

5. Richard Sever: http://twitter.com/cshperspectives

6. Hugo Hilton: http://twitter.com/Hilton_HG

7. SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed22 November 2015]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

8. <http://www.nature.com/foxtrot/svc/login?type=commenting>

Referencias

CHAWLA, D.S. How to judge scientists’ strengths. Nature. 2015, volº 527, nº 279. DOI: 10.1038/527279f

MALHOTRA, V. and MARDER, E. El placer de publicar – Publicado originalmente en la revista eLife en Enero/2015. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http://blog.scielo.org/es/2015/05/11/el-placer-de-publicar-publicado-originalmente-en-la-revista-elife-en-enero2015/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. ¿Podrían ser abiertas las evaluaciones de propuestas de financiamiento para la investigación?. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http://blog.scielo.org/es/2015/03/20/podrian-ser-abiertas-las-evaluaciones-de-propuestas-de-financiamiento-para-la-investigacion/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Artículo propone cuatro pilares para la comunicación científica para promover la velocidad y la calidad de la ciencia. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http://blog.scielo.org/es/2013/07/31/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Cienciometría de evaluadores – ¿serán finalmente reconocidos?. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http://blog.scielo.org/es/2014/05/14/cienciometria-de-evaluadores-seran-finalmente-reconocidos/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 22 November 2015]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. La revisión por pares como objeto de estudio. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http://blog.scielo.org/es/2015/04/24/la-revision-por-pares-como-objeto-de-estudio/

Enlaces externos

bioRxiv – <http://biorxiv.org/>

San Francisco Declaration on Research Assessment – <http://am.ascb.org/dora/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.