{"id":2387,"date":"2017-06-01T11:47:55","date_gmt":"2017-06-01T14:47:55","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=2387"},"modified":"2017-06-01T11:49:57","modified_gmt":"2017-06-01T14:49:57","slug":"la-miopia-de-los-indicadores-bibliometricos","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2017\/06\/01\/la-miopia-de-los-indicadores-bibliometricos\/","title":{"rendered":"La miop\u00eda de los indicadores bibliom\u00e9tricos"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f2<\/strong><\/p>\n

\"Imagen:<\/a>

Imagen: David Parkins<\/a>.<\/p><\/div>\n

La utilizaci\u00f3n de recursos bibliom\u00e9tricos para la evaluaci\u00f3n de la ciencia es una pr\u00e1ctica ubicua, a pesar de no existir una relaci\u00f3n inequ\u00edvoca entre citaciones y calidad, impacto o m\u00e9rito cient\u00edfico. Cuando se considera la innovaci\u00f3n \u2013 caracter\u00edstica inherente de la investigaci\u00f3n cient\u00edfica \u2013 la relaci\u00f3n est\u00e1 todav\u00eda m\u00e1s desconectada.<\/p>\n

Esta es la opini\u00f3n de investigadores de la Georgia State Univertity<\/em>, en Atlanta, GA, EUA, y del Departamento de Gesti\u00f3n Econ\u00f3mica, Estrategia e Innovaci\u00f3n de la Universidad de Lovaina, en B\u00e9lgica, de acuerdo con una publicaci\u00f3n reciente en Nature<\/em>1<\/sup>. Paula Stephan, Reinhilde Veuglers y Jian Wang, observaron que los especialistas que integran comit\u00e9s cient\u00edficos de instituciones de investigaci\u00f3n en varios pa\u00edses todav\u00eda usan ampliamente indicadores bibliom\u00e9tricos basados en citaciones \u2013 como el Factor de Impacto, \u00edndice h<\/em>, y citaciones medidas en Google Scholar \u2013 como proxies para evaluar la calidad e impacto de la investigaci\u00f3n de candidatos a contratar y la proyecci\u00f3n en la carrera. Iniciativas como la San Francisco Declaration on Research Assessment<\/em>2<\/sup> de 2012, y el Manifiesto de Leiden3<\/sup>, de 2015, no obstante su amplia repercusi\u00f3n y apoyo por parte de innumerables instituciones de investigaci\u00f3n y agencias de fomento en todo el mundo, en realidad poco cambiaron la forma de evaluaci\u00f3n de la ciencia y de los investigadores. Al final, los \u00edndices bibliom\u00e9tricos ofrecen una forma simple (en muchos casos, simplista) y conveniente de evaluar un gran n\u00famero de candidatos, propuestas o art\u00edculos.<\/p>\n

Las limitaciones del Factor de Impacto (FI) y de los indicadores similares de desempe\u00f1o de revistas en la funci\u00f3n de evaluar art\u00edculos individuales e investigadores son conocidas por todos. Seg\u00fan Stephan, incluso las agencias de fomento que no solicitan espec\u00edficamente informar el FI de la revistas en la lista de publicaciones, usan este indicador, as\u00ed como el n\u00famero de citaciones y el \u00edndice h<\/em> para ranquear propuestas. Los propios investigadores contribuyen a este c\u00edrculo viciosos. Cuando se les solicita identificar sus publicaciones m\u00e1s relevantes, ellos generalmente las seleccionan en base a los \u00edndices de citaciones, en lugar de atribuir a sus art\u00edculos su verdadera importancia acad\u00e9mica o un descubrimiento particularmente innovador.<\/p>\n

El art\u00edculo menciona el uso a gran escala de indicadores basados en citaciones para el progreso en la carrera y contratos. Adem\u00e1s de Italia, Rep\u00fablica Checa, Flandes (Noroeste de B\u00e9lgica) y China, los autores citan el programa Qualis del Ministerio de Educaci\u00f3n de Brasil, que usa el FI para definir la asignaci\u00f3n de recursos para la investigaci\u00f3n, lo que, en particular, penaliza a las revistas de Brasil. Se hace una excepci\u00f3n con el Research Excellence Framework<\/em> del Reino Unido, seg\u00fan los autores, una rara excepci\u00f3n que expl\u00edcitamente recomienda no usar el FI en las evaluaciones.<\/p>\n

La innovaci\u00f3n requiere tiempo<\/h3>\n

Los cient\u00edficos anhelan hacer descubrimientos innovadores, y en nombre de ellos, se dice que pueden incluso incurrir en pr\u00e1cticas anti \u00e9ticas y sobrestimar resultados preliminares. Stephen y colaboradores, sin embargo, creen que en verdad el uso excesivo de \u00edndices bibliom\u00e9tricos con ventanas cortas de medici\u00f3n (2-3 a\u00f1os) puede desalentar la publicaci\u00f3n de resultados innovadores. Para probar su hip\u00f3tesis, los autores analizaron las citaciones en el Web of Science<\/em> de m\u00e1s de 660 mil art\u00edculos publicados entre 2001-2015 categorizados en investigaci\u00f3n con alto, moderado y ning\u00fan grado de innovaci\u00f3n. Como proxy para el grado de innovaci\u00f3n, los investigadores evaluaron la lista de referencias de los art\u00edculos en b\u00fasqueda de padrones ins\u00f3litos de combinaci\u00f3n. De este an\u00e1lisis, los autores llegaron a la conclusi\u00f3n de que los art\u00edculos altamente innovadores tardan m\u00e1s tiempo para ser citados en comparaci\u00f3n a los medianamente innovadores y los innovadores. Entre los art\u00edculos altamente innovadores, se observaron dos tipos de comportamiento: o se convert\u00edan en art\u00edculos altamente citados \u2013 las citaciones comienzan a aumentar despu\u00e9s de 3-4 a\u00f1os y se mantienen en ritmo creciente hasta 15 a\u00f1os despu\u00e9s de la publicaci\u00f3n \u2013 o eran ignorados, en comparaci\u00f3n a los art\u00edculos con ning\u00fan grado de innovaci\u00f3n. Sin embargo, es importante notar que a los 3 a\u00f1os despu\u00e9s de la publicaci\u00f3n, la probabilidad de que un art\u00edculo altamente innovador est\u00e9 entre el 1% de los m\u00e1s citados es inferior a la probabilidad de los art\u00edculos sin ning\u00fan grado de innovaci\u00f3n. Esto llev\u00f3 a los autores a concluir que el sistema actual de evaluaci\u00f3n de la investigaci\u00f3n subestima trabajos que posiblemente tendr\u00e1n alto impacto en la evaluaci\u00f3n a largo plazo. Es importante tambi\u00e9n resaltar que los art\u00edculos que se revelaron de alto impacto en el transcurso del tiempo fueron publicados en revistas de menor FI. As\u00ed, Stephen y colaboradores1<\/sup> concluyen que \u201ccuanto m\u00e1s estamos ligados a indicadores bibliom\u00e9tricos de corto plazo, m\u00e1s lejos estamos de recompensar la investigaci\u00f3n de alto potencial para ir m\u00e1s all\u00e1 de las fronteras \u2013 y aqu\u00e9llos que lo hacen\u201d.<\/p>\n

Sin embargo, esta observaci\u00f3n no carece totalmente de precedentes. En 2014, un art\u00edculo de John Ioannidis4<\/sup> publicado tambi\u00e9n en Nature<\/em> busc\u00f3 investigar si, en la opini\u00f3n de los investigadores, su trabajo menos citado era su mejor trabajo. La investigaci\u00f3n objeto de un post en este blog5<\/sup>, en realidad trajo m\u00e1s cuestionamientos que respuestas, como por ejemplo, la dificultad en identificar precozmente un art\u00edculo innovador en base a indicadores bibliom\u00e9tricos con ventanas de 2-3 a\u00f1os, o cuando son citados por art\u00edculos de otras \u00e1reas menos afines. Pero, en la ocasi\u00f3n, una de las conclusiones del autor fue la necesidad de recurrir a otros \u00edndices adem\u00e1s de las m\u00e9tricas basadas en citaciones para complementar la evaluaci\u00f3n de la ciencia.<\/p>\n

Recomendaciones a la comunidad cient\u00edfica<\/h3>\n

Con el fin de alentar a los investigadores a emprender dominios m\u00e1s innovadores de la ciencia, es necesario fomentar un cambio de postura de la comunidad cient\u00edfica en su totalidad con el objetivo de restringir el uso indiscriminado de indicadores bibliom\u00e9tricos de corto plazo.<\/p>\n

Investigadores<\/strong> \u2013 restringir el uso de FI e \u00edndices basados en citaciones para orientar la selecci\u00f3n de temas y a d\u00f3nde enviar art\u00edculos. No incluir tales indicadores en CV y propuestas de ayuda para la investigaci\u00f3n.<\/p>\n

Agencias de fomento<\/strong> \u2013 Proporcionar m\u00faltiples formas para evaluar las publicaciones de investigadores e instituciones. Excluir medidas de citaciones y FI de las propuestas de ayuda a la investigaci\u00f3n, y no permitir que sean discutidas por los evaluadores. Incluir especialistas de otras \u00e1reas en los comit\u00e9s de evaluaci\u00f3n y peri\u00f3dicamente evaluar el desempe\u00f1o de los candidatos a las propuestas de ayuda a la investigaci\u00f3n usando ventanas de 5-10 a\u00f1os.<\/p>\n

Evaluadores<\/strong> \u2013 Buscar evaluar el trabajo dejando de lado las m\u00e9tricas, especialmente las de corto plazo.<\/p>\n

Editores<\/strong> \u2013 Buscar ignorar las m\u00e9tricas usadas para evaluar publicaciones. Proponer m\u00e9tricas que consideren un mayo intervalo de tiempo.<\/p>\n

Universidades<\/strong> – Adoptar como pr\u00e1ctica en los comit\u00e9s de evaluaci\u00f3n que los miembros realmente lean la investigaci\u00f3n de los candidatos y no solamente sus \u00edndices bibliom\u00e9tricos, a ejemplo de lo que se hace en el REF del Reino Unido. Al evaluar candidatos, enfatizar c\u00f3mo los investigadores abordan determinadas cuestiones propuestas. En este sentido de aplica la consideraci\u00f3n de Antonio Augusto P.Vidreira6<\/sup>, Profesor de Filosof\u00eda de la Ciencias de la UFRJ: \u201cDeber\u00eda causar sorpresa el hecho de que el uso de un indicador haga elegible a uno u otro autor por el hecho de que haya publicado en una revista de m\u00e1s alto FI, de que es m\u00e1s importante saber d\u00f3nde public\u00f3 que leer su trabajo\u201d.<\/p>\n

Los autores del estudio creen que \u201csi realmente la comunidad acad\u00e9mica desea crear evaluaciones m\u00e1s objetivas, todos los involucrados \u2013 desde investigadores en el inicio de su carrera hasta los presidentes de las agencias de fomento \u2013 deben usar indicadores cualitativos y cuantitativos de manera responsable, de forma de evitar el uso de indicadores que penalicen los investigadores que buscan romper fronteras\u201d.<\/p>\n

Notas<\/h3>\n

1. STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature<\/em> [online]. 2017, vol. 544, no. 7651, pp. 411-412 [viewed 14 May 2017]. DOI: 10.1038\/544411a<\/a>. Available from: http:\/\/www.nature.com\/news\/reviewers-are-blinkered-by-bibliometrics-1.21877<\/a><\/span><\/p>\n

2. The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http:\/\/www.ascb.org\/dora\/<\/a><\/p>\n

3. HICKS, D., et al<\/em>. Bibliometrics: The Leiden Manifesto for research metrics. Nature<\/em> [online]. 2015, vol. 520, n\u00ba 7548, pp. 429-431 [viewed 14 May 2017]. DOI: 10.1038\/520429a<\/a>. Available from: http:\/\/www.nature.com\/news\/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351<\/a><\/span><\/p>\n

4. IOANNIDIS, J. P. A., et al<\/em>. Bibliometrics: Is your most cited work your best? Nature<\/em> [online]. 2014, vol. 514, n\u00ba 7524, pp. 561-562 [viewed 14 May 2017]. DOI: 10.1038\/514561a<\/a>. Available from: http:\/\/www.nature.com\/news\/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess<\/a><\/span><\/p>\n

5.\u00a0NASSI-CAL\u00d2, L. Art\u00edculo investiga: \u00bfsu trabajo m\u00e1s citado es su mejor trabajo? [online]. SciELO en Perspectiva<\/i>, 2014 [viewed 01 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2014\/11\/24\/articulo-investiga-su-trabajo-mas-citado-es-su-mejor-trabajo\/<\/a><\/p>\n

6. Videira A. A. P. Declara\u00e7\u00e3o recomenda eliminar o uso do Fator de Impacto na avalia\u00e7\u00e3o de pesquisa [online]. Estudos de CTS \u2013 Estudos sociais e conceituais de ci\u00eancia, tecnologia e sociedade<\/em>, 2013 [viewed 14 May 2017]. Available from: http:\/\/estudosdects.wordpress.com\/2013\/07\/29\/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa\/<\/a><\/p>\n

Referencias<\/h3>\n

HICKS, D., et al<\/em>. Bibliometrics: The Leiden Manifesto for research metrics. Nature<\/em> [online]. 2015, vol. 520, n\u00ba 7548, pp. 429-431 [viewed 14 May 2017]. DOI: 10.1038\/520429a<\/a>. Available from: http:\/\/www.nature.com\/news\/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351<\/a><\/span><\/p>\n

IOANNIDIS, J. P. A., et al<\/em>. Bibliometrics: Is your most cited work your best? Nature<\/em> [online]. 2014, vol. 514, n\u00ba 7524, pp. 561-562 [viewed 14 May 2017]. DOI: 10.1038\/514561a<\/a>. Available from: http:\/\/www.nature.com\/news\/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess<\/a><\/span><\/p>\n

NASSI-CAL\u00d2, L. Art\u00edculo investiga: \u00bfsu trabajo m\u00e1s citado es su mejor trabajo? [online]. SciELO en Perspectiva<\/i>, 2014 [viewed 01 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2014\/11\/24\/articulo-investiga-su-trabajo-mas-citado-es-su-mejor-trabajo\/<\/a><\/p>\n

STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature<\/em> [online]. 2017, vol. 544, no. 7651, pp. 411-412 [viewed 14 May 2017]. DOI: 10.1038\/544411a<\/a>. Available from: http:\/\/www.nature.com\/news\/reviewers-are-blinkered-by-bibliometrics-1.21877<\/a><\/span><\/p>\n

The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http:\/\/www.ascb.org\/dora\/<\/a><\/p>\n

Videira A. A. P. Declara\u00e7\u00e3o recomenda eliminar o uso do Fator de Impacto na avalia\u00e7\u00e3o de pesquisa [online]. Estudos de CTS \u2013 Estudos sociais e conceituais de ci\u00eancia, tecnologia e sociedade<\/em>, 2013 [viewed 14 May 2017]. Available from: http:\/\/estudosdects.wordpress.com\/2013\/07\/29\/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa\/<\/a><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

La utilizaci\u00f3n de recursos bibliom\u00e9tricos para la evaluaci\u00f3n de la ciencia es una pr\u00e1ctica ubicua, a pesar de no existir una relaci\u00f3n inequ\u00edvoca entre citaciones y calidad, impacto o m\u00e9rito cient\u00edfico. Un estudio reciente establece que el uso indiscriminado de estos indicadores puede dificultar la publicaci\u00f3n de resultados innovadores de investigaci\u00f3n, retardando el desarrollo de la ciencia. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":2388,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[29,7,40,10,32],"class_list":["post-2387","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-bibliometria","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia","tag-factor-de-impacto","tag-politica-de-apoyo-a-la-investigacion"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t