{"id":1911,"date":"2015-11-25T16:13:45","date_gmt":"2015-11-25T18:13:45","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=1911"},"modified":"2019-05-02T15:42:30","modified_gmt":"2019-05-02T18:42:30","slug":"como-evaluar-las-propuestas-de-ayuda-a-la-investigacion","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2015\/11\/25\/como-evaluar-las-propuestas-de-ayuda-a-la-investigacion\/","title":{"rendered":"\u00bfComo evaluar las propuestas de ayuda a la investigaci\u00f3n?"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f3<\/strong><\/p>\n

\"Foto:<\/a>

Foto: Oliver Tacke<\/a>.<\/p><\/div>\n

La evaluaci\u00f3n por pares de propuestas de ayuda a la investigaci\u00f3n (grants<\/em>) tiene como finalidad juzgar el m\u00e9rito de proyectos e investigadores y permitir que se contemplen los mejores. El elevado n\u00famero de candidatos y propuestas, sin embargo, est\u00e1 causando la saturaci\u00f3n de los \u00e1rbitros, que se encuentran inmersos en cantidades crecientes de proyectos, sin saber con certeza la mejor forma de juzgarlos.<\/p>\n

En un post publicado anteriormente en este blog, se discuti\u00f3 sobre la posibilidad de hacer arbitrajes abiertos, como forma de ayudar a los investigadores a elaborar mejores propuestas, al mismo tiempo que permite el reconocimiento p\u00fablico de los \u00e1rbitros y ayuda a prevenir el fraude en el proceso de evaluaci\u00f3n. Esta alternativa viene de la experiencia exitosa de revistas que hacen disponibles los comentarios de los peer reviewers<\/em> en forma abierta a continuaci\u00f3n del art\u00edculo publicado.<\/p>\n

Recientemente, Ewan Birney, director del European Molecular Biology Laboratory<\/em> del European Bioinformatics Institute <\/em>en Hinxton, Reino Unido, comparti\u00f3 en su Twitter que deseaba recibir sugerencias pr\u00e1cticas sobre c\u00f3mo identificar los mejores candidatos entre centenares de presentaciones que hab\u00eda recibido para propuestas de apoyo a proyectos de investigaci\u00f3n en su instituci\u00f3n. Para su sorpresa, la comunidad cient\u00edfica respondi\u00f3 efusivamente con muchas sugerencias, que, a su vez, condujo a otros comentarios en Twitter. La experiencia se inform\u00f3 en una nota en Nature<\/em>1<\/sup> que tambi\u00e9n est\u00e1 recibiendo comentarios en su p\u00e1gina.<\/p>\n

Birney2<\/sup> inici\u00f3 el debate en Twitter preguntado por criterios distintos del t\u00edtulo de la revista para evaluar la competencias de los candidatos, cuyos art\u00edculos suman alrededor de 2.500 en total. La respuesta de Yoav Gilad3<\/sup>, genetista de la Universidad de Chicago, IL, EUA, aconsej\u00f3 leer los 2.500 res\u00famenes o los art\u00edculos propiamente dichos, incluso si eso significase incluir m\u00e1s evaluadores en el procesos. Birney respondi\u00f3 que no cre\u00eda que eso fuera factible, a pesar de ser correcto. Birney es partidario, como muchos, de que el t\u00edtulo de la revista, o su Factor de Impacto (FI) no necesariamente refleja la calidad individual de los art\u00edculos. Adem\u00e1s, su tarea es todav\u00eda m\u00e1s dif\u00edcil pues incluye juzgar propuestas que no caen exactamente dentro de su \u00e1rea de especializaci\u00f3n. \u201cIncluso usando el prestigio de la revista como un indicador no ser\u00eda de ayuda, porque todos los candidatos publican \u2018bien\u2019 \u201c.<\/p>\n

La discusi\u00f3n en Twitter sigui\u00f3 con la sugerencia de Stephen Curry4<\/sup>, bi\u00f3logo estructural en el Imperial College<\/em> de Londres, de solicitar a los candidatos identificar cuatro de sus publicaciones m\u00e1s relevantes y justificar la selecci\u00f3n en un informe de solo una p\u00e1gina. Richard Sever5<\/sup>, cofundador del repositorio de art\u00edculos de biomedicina del Cold Spring Harbor Laboratory (CSHL) bioRxive director asistente de publicaciones de CSHL, consider\u00f3 buena la idea, haciendo una advertencia, sin embargo, que el m\u00e9todo podr\u00eda en verdad, seleccionar candidatos competentes en elaborar res\u00famenes de una p\u00e1gina.<\/p>\n

La mayor preocupaci\u00f3n, seg\u00fan Birney, en usar m\u00e9tricas basadas en citaciones sugeridas por muchos investigadores, reside en el hecho de que \u00e9stas var\u00edan considerablemente entre disciplinas y no pueden ser comparables en una muestra heterog\u00e9nea. Hugo Hilton6<\/sup>, inmun\u00f3logo en la University of Stanford<\/em>, CA, EUA, expres\u00f3 su preocupaci\u00f3n como candidato de que los procesos de selecci\u00f3n est\u00e9n sujetos a criterios no totalmente claros y sesgos cl\u00e1sicos como el prestigio de las revistas donde publican los solicitantes. Vale la pena recordar la iniciativa Declaration on Research Assessment<\/em> (DORA) de 20127<\/sup>, en la que miembros de la American Society for Cell Biology<\/em> se comprometieron a no usar el FI para evaluar a los investigadores en las solicitudes de ayuda, promociones en la carrera y contrataciones, exactamente para evitar distorsiones. Hasta el momento la Declaraci\u00f3n fue firmada por m\u00e1s de 150 cient\u00edficos prominentes y 80 organizaciones acad\u00e9micas.<\/p>\n

Birney asegura que los \u00e1rbitros deben tener cierto grado de autonom\u00eda al juzgar las propuestas y no habr\u00eda ning\u00fan problema si todos ellos no siguieran exactamente los mismos procedimientos en sus evaluaciones. \u201cYo preferir\u00eda opiniones subjetivas y no sesgadas, con cinco criterios diferentes m\u00e1s que intentar unificar los criterios de forma de ponerse de acuerdo con las mismas respuestas\u201d. Sin embargo, advierte que la transparencia en el proceso es esencial.<\/p>\n

A pesar de estar consciente de los problemas en el uso del prestigio de las revistas como un indicador de la calidad, Birney cree que su uso es inevitable en virtud del volumen de propuestas y candidatos a evaluar. Tambi\u00e9n asesora a los candidatos a resaltar sus logros de forma clara en la propuesta, en lugar de resaltar los t\u00edtulos de las revistas en sus listas de publicaciones.<\/p>\n

El art\u00edculo de Nature<\/em> recibi\u00f3 una serie de comentarios, ofreciendo formas de acelerar los procesos de evaluaci\u00f3n y llegar a listas cortas. Tambi\u00e9n es posible para los usuarios registrados presentar sus puntos de vista sobre el tema8<\/sup>. \u00a1Participe usted tambi\u00e9n en la discusi\u00f3n!<\/p>\n

Notas<\/h3>\n

1. CHAWLA, D.S. How to judge scientists\u2019 strengths. Nature<\/em>. 2015, vol\u00ba 527, n\u00ba 279. DOI: 10.1038\/527279f<\/a><\/span><\/p>\n

2. Ewan Birney: http:\/\/twitter.com\/ewanbirney<\/a><\/p>\n

3. Yoav Gilad: http:\/\/twitter.com\/Y_Gilad<\/a><\/p>\n

4. Stephen Curry: http:\/\/twitter.com\/Stephen_Curry<\/a><\/p>\n

5. Richard Sever: http:\/\/twitter.com\/cshperspectives<\/a><\/p>\n

6. Hugo Hilton: http:\/\/twitter.com\/Hilton_HG<\/a><\/p>\n

7. SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Declaraci\u00f3n recomienda eliminar el uso del Factor de Impacto en la evaluaci\u00f3n de la Investigaci\u00f3n<\/em>. SciELO en Perspectiva. [viewed22 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2013\/07\/16\/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion\/<\/a><\/p>\n

8. <http:\/\/www.nature.com\/foxtrot\/svc\/login?type=commenting<\/a>><\/p>\n

Referencias<\/h3>\n

CHAWLA, D.S. How to judge scientists\u2019 strengths. Nature<\/em>. 2015, vol\u00ba 527, n\u00ba 279. DOI: 10.1038\/527279f<\/a><\/span><\/p>\n

MALHOTRA, V. and MARDER, E. El placer de publicar \u2013 Publicado originalmente en la revista eLife en Enero\/2015<\/em>. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2015\/05\/11\/el-placer-de-publicar-publicado-originalmente-en-la-revista-elife-en-enero2015\/<\/a><\/p>\n

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. \u00bfPodr\u00edan ser abiertas las evaluaciones de propuestas de financiamiento para la investigaci\u00f3n?<\/em>. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2015\/03\/20\/podrian-ser-abiertas-las-evaluaciones-de-propuestas-de-financiamiento-para-la-investigacion\/<\/a><\/p>\n

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Art\u00edculo propone cuatro pilares para la comunicaci\u00f3n cient\u00edfica para promover la velocidad y la calidad de la ciencia<\/em>. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2013\/07\/31\/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia\/<\/a><\/p>\n

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Cienciometr\u00eda de evaluadores \u2013 \u00bfser\u00e1n finalmente reconocidos?<\/em>. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2014\/05\/14\/cienciometria-de-evaluadores-seran-finalmente-reconocidos\/<\/a><\/p>\n

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Declaraci\u00f3n recomienda eliminar el uso del Factor de Impacto en la evaluaci\u00f3n de la Investigaci\u00f3n<\/em>. SciELO en Perspectiva. [viewed\u00a022 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2013\/07\/16\/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion\/<\/a><\/p>\n

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. La revisi\u00f3n por pares como objeto de estudio<\/em>. SciELO en Perspectiva. [viewed 21 November 2015]. Available from: http:\/\/blog.scielo.org\/es\/2015\/04\/24\/la-revision-por-pares-como-objeto-de-estudio\/<\/a><\/p>\n

Enlaces externos<\/h3>\n

bioRxiv – <http:\/\/biorxiv.org\/<\/a>><\/p>\n

San Francisco Declaration on Research Assessment – <http:\/\/am.ascb.org\/dora\/<\/a>><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

La evaluaci\u00f3n por pares de propuestas de ayuda a la investigaci\u00f3n (grants<\/i>) tiene por objetivo juzgar el m\u00e9rito de los proyectos e investigadores y permitir que se contemplen los mejores. El director de una instituci\u00f3n del Reino Unido comparti\u00f3 en Twitter su dificultad en evaluar las innumerables propuestas recibidas y dio origen a un foro de discusi\u00f3n del cual emergieron ideas y sugerencias. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":1912,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[28,7,40,10,41],"class_list":["post-1911","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-agencia-de-apoyo-a-la-investigacion","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia","tag-factor-de-impacto","tag-politicas-publicas"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t