Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa

A Declaração de São Francisco sobre Avaliação da Pesquisa de Dezembro de 2012 faz um chamado crítico contra o uso do Fator de Impacto (FI) na avaliação da pesquisa.

O FI foi idealizado por Eugene Garfield, o fundador do Institute for Scientific Information (ISI) em 1975. Seu conceito, entretanto, havia sido concebido pelo autor em 1955, quando teve início a publicação do Science Citation Index (SCI). O indicador foi inicialmente criado para auxiliar a seleção de periódicos a serem indexados no SCI, e mostrou que mesmo periódicos com pequeno número de artigos, mas que fossem altamente citados, poderiam ser selecionados. Nasce assim, o primeiro e mais popular e polêmico ranking de impacto de periódicos científicos. O ISI foi incorporado à agência internacional de notícias Thomson Reuters em 1992, e desde esta data, o FI e a base de dados fonte do indicador, o Journal Citation Reports (JCR), são parte integrante do produto Web of Knowledge.

O uso do FI para mensurar o impacto de periódicos tornou-se universal desde sua criação. As razões vão desde a facilidade para calculá-lo, o fato de ter sido durante muitos anos o único indicador bibliométrico disponível, estar disponível para um grande número de periódicos principalmente dos países desenvolvidos e servir para ranking e comparações entre periódicos. Entretanto, à medida que o uso do FI extrapolou o âmbito dos periódicos e se tornou popular nos meios acadêmicos como fonte direta e indireta de avaliação da qualidade da pesquisa, para promoções na carreira, concessão de recursos para pesquisa, avaliação de programas de pós-graduação e ranking de universidades e instituições de pesquisa, afloraram críticas quanto à sua usabilidade e limitações. As mais frequentes são:

• o que é levado em conta no numerador nem sempre está no denominador;
• o índice de citação dos artigos é que determina o FI do periódico, e não o contrário; observa-se baixa correlação do número de citações dos artigos individuais com o FI do periódico;
• o indicador privilegia áreas que têm vida média de citações curtas (ciências da vida e ciências exatas) e desfavorece outras áreas;
• artigos de revisão recebem mais citações do que artigos originais e alguns editores tendem a privilegiar este tipo de artigo em seus periódicos;
• há um claro predomínio de periódicos em língua inglesa na base, apesar dos esforços recentes de impulsionar periódicos que retratem a ciência local de algumas regiões por meio de sua inserção no JCR.

A San Francisco Declaration on Research Assessment (DORA) é  iniciativa dos cientistas da American Society for Cell Biology, tem por objetivo parar a utilização do FI para avaliação de pesquisa científica. A Declaração, que vem recebendo amplo apoio, recomenda que o FI não deva ser utilizado em avaliações relativas a financiamento, promoções na carreira e contratações de acadêmicos . O documento foi assinado por mais de 150 proeminentes cientistas e 75 organizações acadêmicas, entre elas a American Association for the Advancement of Science.

O uso isolado do FI na avaliação acadêmica é altamente destrutivo, segundo os signatários da DORA, pois pode impedir periódicos de publicar artigos de áreas ou assuntos menos citados, além de sobrecarregar periódicos de alto impacto com submissões muitas vezes inadequadas. Porém, a consequência mais nefasta para a ciência é impedir o progresso natural da pesquisa, que, na busca por novas abordagens, pode levar a períodos relativamente longos sem gerar publicações. Os pesquisadores devem poder “usufruir” deste período sem publicações e citações sem ser penalizados por isso.

Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de mais alto FI, de que é mais importante saber onde ele publicou do que ler seu trabalho. A DORA realça a necessidade de avaliar a pesquisa pelos seus próprios méritos e não pelo periódico em que é publicada.

Referências

ALBERTS, B. Impact factor distortions. Science, 17 May 2013, vol. 340, nº 6134, p. 787.

BREMBS, B., BUTTON, K. and MUNAFÒ, M. Deep impact: unintended consequences of journal rank. Front. Hum. Neurosci., 2013, vol. 7, nº 291. [cited 13 July 2013]. Available from:  http://www.frontiersin.org/human_neuroscience/10.3389/fnhum.2013.00291/full

GARFIELD, E. The history and meaning of the journal impact fator. JAMA, 2006, vol. 295, p. 90-93.

HORTON, R. Science: a new generation. Lancet, February  2013, vol. 381, suppl . 1, p. S2-3. Available from:  doi:10.1016/S0140-6736(13)60445-6.

Impact Factor Shifting from Journal to Article. Just Publics @ 360. [viewed 13 July 2013]. Available from: http://justpublics365.commons.gc.cuny.edu/2013/07/05/impact-factor-shifting-from-journal-to-article/

LEE, C.H. Journal impact factor and individual article impact. Am J Emerg Med, March 2013, vol. 31, nº 3, p. 624-625.

MURPHY, E.J. Impact factor and science publishing: what impact should it have on selecting journals in which we publish? Lipids, May 2013, vol. 48, nº 5, p. 431-3.

SEGLEN, P.O.  Why the impact factor of journals should not be used for evaluating research. BMJ, February 1997, p. 314-497.

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.