Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación

La Declaración de San Francisco sobre la Evaluación de la Investigación, de diciembre de 2012, hace una llamada crítica contra el uso del Factor de Impacto (FI) en la evaluación de la investigación.

El FI fue ideado por Eugene Garfield, fundador del Institute for Scientific Information (ISI) en 1975. Su concepto, sin embargo, había sido diseñado por el autor en 1955, cuando comenzó la publicación del Science Citation Index (SCI). El indicador fue creado inicialmente para ayudar en la selección de revistas para ser indizadas en el SCI y mostró que, incluso con un pequeño número de artículos, pero que fuesen altamente citados, podrían ser seleccionadas. Nace así, el primer y más popular y controvertido ránking de impacto de revistas científicas que se ha creado. El ISI fue incorporado a la agencia internacional de noticias de Thomson Reuters en 1992, y desde entonces, el FI y la base de datos fuente del indicador, el Journal Citation Reports (JCR), son parte integral del producto Web of Knowledge

El uso del FI para medir el impacto de las revistas se ha convertido en universal desde su creación. Las razones van desde la facilidad para calcularlo, al hecho de que durante muchos años fue el único indicador bibliométrico disponible, estar disponible para un gran número de revistas principalmente de los países desarrollados y sirven para la clasificación y comparación de las revistas. Sin embargo, como el uso del FI se extrapoló del ámbito de las revistas y se hizo popular en los círculos académicos como fuente directa o indirecta de la evaluación de la calidad de la investigación, para promociones de la carrera, la concesión de fondos de investigación, evaluación de programas posgraduación y ranking de las universidades e instituciones de investigación, afloró la crítica con respecto a su uso y limitaciones. Las más comunes son:

• Lo que se tiene en cuenta en el numerador no siempre está en el denominador;
• El índice de citas de los artículos es lo que determina el FI de la revista, y no al revés; se observa una baja correlación entre el número de citas de artículos individuales con el FI de la revista;
• El indicador favorece las áreas que tienen citas de vida media corta (ciencias de la vida y las ciencias exactas) y desfavorece otras áreas;
• Los artículos de revisión reciben más citas que los artículos originales y algunos editores suelen preferir este tipo en sus revistas;
• Existe un claro predominio de las revistas en idioma inglés en la base, a pesar de los recientes esfuerzos para impulsar las revistas científicas que representan algunas regiones locales a través de su inclusión en el JCR.

La San Francisco Declaration on Research Assessment (DORA) es una iniciativa de científicos de la American Society for  Cell Biology que tiene como objetivo detener el uso del FI para la evaluación de la investigación científica. La Declaración, que ha recibido un amplio apoyo, recomienda que el FI no se debe utilizar en las evaluaciones relativas a la financiación, promociones profesionales y la contratación de académicos. El documento fue firmado por más de 150 destacados científicos y 75 organizaciones académicas, incluyendo la American Association for the Advancement of Science.

El uso aislado del FI en la evaluación académica es altamente destructivo, según los firmantes de DORA, puede prevenir a las revistas en publicar artículos en áreas o materias menos citadas, además de sobrecargar las revistas de alto impacto, con presentaciones a menudo inadecuadas.  Pero, la consecuencia más perniciosa para la ciencia es impedir que el progreso natural de la investigación, que, en la búsqueda de nuevos enfoques, puede dar lugar a períodos relativamente largos sin generar publicaciones. Los investigadores deben ser capaces de “disfrutar” de este periodo sin publicaciones y citas sin ser penalizado por ello.

Debería causar sorpresa el hecho de que el uso de un indicador torne a un autor u otro como elegible por el hecho de que haya publicado en una revista de mayor FI, como si fuera más importante saber dónde publicó su obra que la lectura de su trabajo. DORA destaca la necesidad de evaluar la investigación por sus propios méritos y no por la revista en que se publica.

Referencias

ALBERTS, B. Impact factor distortions. Science, 17 May 2013, vol. 340, nº 6134, p. 787.

BREMBS, B., BUTTON, K. and MUNAFÒ, M. Deep impact: unintended consequences of journal rank. Front. Hum. Neurosci., 2013, vol. 7, nº 291. [cited 13 July 2013]. Available from:  http://www.frontiersin.org/human_neuroscience/10.3389/fnhum.2013.00291/full

GARFIELD, E. The history and meaning of the journal impact fator. JAMA, 2006, vol. 295, p. 90-93.

HORTON, R. Science: a new generation. Lancet, February  2013, vol. 381, suppl . 1, p. S2-3. Available from:  doi:10.1016/S0140-6736(13)60445-6.

Impact Factor Shifting from Journal to Article. Just Publics @ 360. [viewed 13 July 2013]. Available from: http://justpublics365.commons.gc.cuny.edu/2013/07/05/impact-factor-shifting-from-journal-to-article/

LEE, C.H. Journal impact factor and individual article impact. Am J Emerg Med, March 2013, vol. 31, nº 3, p. 624-625.

MURPHY, E.J. Impact factor and science publishing: what impact should it have on selecting journals in which we publish? Lipids, May 2013, vol. 48, nº 5, p. 431-3.

SEGLEN, P.O.  Why the impact factor of journals should not be used for evaluating research. BMJ, February 1997, p. 314-497.

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.