A miopia dos indicadores bibliométricos

Por Lilian Nassi-Calò

Imagem: David Parkins.

A utilização de indicadores bibliométricos para avaliação da ciência é uma prática ubíqua, a despeito de não existir uma relação inequívoca entre citações e qualidade, impacto ou mérito científico. Quando se considera a inovação – característica inerente da pesquisa científica – a relação é ainda mais desconexa.

Esta é a opinião de pesquisadores da Georgia State University, em Atlanta, GA, EUA, e do Departamento de Gestão Econômica, Estratégia e Inovação da Universidade de Leuven, na Bélgica, de acordo com uma recente publicação na Nature¹. Paula Stephan, Reinhilde Veuglers e Jian Wang observaram que especialistas que integram comitês científicos de instituições de pesquisa em vários países ainda utilizam largamente indicadores bibliométricos baseados em citações – como o Fator de Impacto, índice h, e citações aferidas pelo Google Scholar – como proxies para avaliar qualidade e impacto da pesquisa de candidatos a contratação e projeção na carreira. Iniciativas como a San Francisco Declaration on Research Assessment², de 2012, e o Manifesto de Leiden³, de 2015, embora de ampla repercussão e apoio por parte de inúmeras instituições de pesquisa e agências de fomento em todo o mundo, na realidade pouco mudaram a forma de avaliação da ciência e dos cientistas. Afinal, os índices bibliométricos proveem uma forma simples (em muitos casos, simplista) e conveniente de avaliar um grande número de candidatos, propostas ou artigos.

As limitações do Fator de Impacto (FI) e dos indicadores similares de desempenho de periódicos na função de avaliar artigos individuais e pesquisadores são conhecidas por todos. Segundo Stephan, mesmo agências de fomento que não solicitam especificamente informar o FI do periódico na lista de publicações, utilizam este indicador, bem como o número de citações e o índice h para ranquear propostas. Os próprios pesquisadores contribuem para este círculo vicioso. Ao serem solicitados a identificarem suas publicações mais relevantes, eles geralmente as selecionam com base nos índices de citações, ao invés de atribuir aos artigos sua verdadeira importância acadêmica ou uma descoberta particularmente inovadora.

O artigo menciona o uso em larga escala de indicadores baseados em citações para progressão na carreira e contratações. Ademais da Itália, República Checa, Flandres (Noroeste da Bélgica) e China, os autores citam o programa Qualis do Ministério da Educação do Brasil, que utiliza o FI para definir a alocação de recursos para a pesquisa, o que, em particular, penaliza os periódicos do Brasil. Ressalva é feita ao Research Excellence Framework do Reino Unido, segundo os autores, uma rara exceção que explicitamente recomenda não utilizar o FI nas avaliações.

A inovação requer tempo

Os cientistas anseiam fazer descobertas inovadoras, e em nome delas, diz-se que podem até incorrer em práticas antiéticas e superestimar resultados preliminares. Stephen e colaboradores, entretanto, acreditam que na verdade o uso excessivo de índices bibliométricos com janelas curtas de aferição (2-3 anos) pode desencorajar a publicação de resultados inovadores. Para testar sua hipótese, os autores analisaram as citações no Web of Science de mais de 660 mil artigos publicados entre 2001-2015 categorizados em pesquisa com alto, moderado e nenhum grau de inovação. Como proxy para grau de inovação, os pesquisadores avaliaram a lista de referências dos artigos em busca de padrões insólitos de combinação. Desta análise, os autores chegaram à concussão de que os artigos altamente inovadores levam mais tempo para serem citados em comparação aos medianamente inovadores e aos não inovadores. Entre os artigos altamente inovadores, dois tipos de comportamento foram observados: ou tornavam-se artigos altamente citados – as citações começam a aumentar após 3-4 anos e se mantém em ritmo crescente até 15 anos após a publicação – ou eram ignorados, em comparação aos artigos com nenhum grau de inovação. Porém, é importante notar que nos 3 anos após a publicação, a probabilidade de um artigo altamente inovador estar entre os 1% mais citados é inferior à probabilidade para artigos com nenhum grau de inovação. Isso levou os autores a concluir que o sistema atual de avaliação da pesquisa subestima trabalhos que possivelmente terão alto impacto na avaliação em longo prazo. É importante também ressaltar que artigos que se revelaram de alto impacto no decorrer do tempo foram publicados em periódicos de menor FI. Assim, Stephen e colaboradores¹ concluem que “quanto mais estamos ligados a indicadores bibliométricos de curto prazo, mais longe estamos de recompensar a pesquisa com alto potencial de ir além das fronteiras – e aqueles que o fazem”.

Entretanto, esta observação não é totalmente sem precedentes. Em 2014, um artigo de John Ioannidis⁴ publicado também na Nature procurou investigar se, na opinião dos pesquisadores, seu trabalho mais citado era seu melhor trabalho. A pesquisa, objeto de um post neste blog⁵, na verdade trouxe mais questionamentos do que respostas, como por exemplo, a dificuldade de identificar precocemente um artigo inovador com base em indicadores bibliométricos com janelas de 2-3 anos, ou quando são citados por artigos de outras áreas menos afins. Porém, na ocasião, uma das conclusões do autor foi a necessidade de se recorrer a outros índices além das métricas baseadas em citações para complementar a avaliação da ciência.

Recomendações à comunidade científica

A fim de encorajar os pesquisadores a empreender domínios mais inovadores da ciência, é necessário fomentar uma mudança de postura da comunidade científica como um todo com o objetivo de restringir o uso indiscriminado de indicadores bibliométricos de curto prazo.

Pesquisadores – Restringir o uso do FI e índices baseados em citações para orientar a escolha de tópicos e onde submeter artigos. Não incluir tais indicadores em CV e propostas de auxílio à pesquisa.

Agências de fomento – Prover múltiplas formas para avaliar as publicações de pesquisadores e instituições. Excluir medidas de citações e FI de propostas de auxílio à pesquisa, e não permitir que sejam discutidas pelos pareceristas. Incluir especialistas de outras áreas em comitês de avaliação e periodicamente avaliar o desempenho dos candidatos às propostas de auxílio à pesquisa utilizando índices com janelas de 5-10 anos.

Pareceristas – Buscar avaliar o trabalho deixando de lado as métricas, especialmente as de curto prazo.

Editores – Procurar ignorar as métricas usadas para avaliar publicações. Propor métricas que considerem maior intervalo de tempo.

Universidades – Adotar como prática nos comitês de avaliação que os membros realmente leiam a pesquisa dos candidatos e não apenas seus índices bibliométricos, a exemplo do que é feito no REF do Reino Unido. Ao avaliar candidatos, enfatizar como os pesquisadores abordam determinadas questões propostas. Neste sentido, aplica-se a consideração de Antônio Augusto P. Videira⁶, Professor de Filosofia da Ciência da UFRJ: “Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de FI mais alto, de que é mais importante saber onde ele publicou do que ler seu trabalho”.

Os autores do estudo acreditam que “se realmente a comunidade acadêmica deseja criar avaliações mais objetivas, todos aqueles envolvidos – desde pesquisadores em início de carreira até os presidentes das agências de fomento – devem usar indicadores qualitativos e quantitativos de forma responsável […] de forma a evitar o uso de indicadores que penalize os pesquisadores e projetos que tem o maior potencial para romper fronteiras”.

Notas

1. STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature [online]. 2017, vol. 544, no. 7651, pp. 411-412 [viewed 14 May 2017]. DOI: 10.1038/544411a. Available from: http://www.nature.com/news/reviewers-are-blinkered-by-bibliometrics-1.21877

2. The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http://www.ascb.org/dora/

3. HICKS, D., et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature [online]. 2015, vol. 520, nº 7548, pp. 429-431 [viewed 14 May 2017]. DOI: 10.1038/520429a. Available from: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351

4. IOANNIDIS, J. P. A., et al. Bibliometrics: Is your most cited work your best? Nature [online]. 2014, vol. 514, nº 7524, pp. 561-562 [viewed 14 May 2017]. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

5. NASSI-CALÒ, L. Artigo investiga: seu trabalho mais citado é seu melhor trabalho? [online]. SciELO em Perspectiva, 2014 [viewed 14 May 2017]. Available from: https://blog.scielo.org/blog/2014/11/24/artigo-investiga-seu-trabalho-mais-citado-e-seu-melhor-trabalho/

6. Videira A. A. P. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa [online]. Estudos de CTS – Estudos sociais e conceituais de ciência, tecnologia e sociedade, 2013 [viewed 14 May 2017]. Available from: http://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/

Referências

HICKS, D., et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature [online]. 2015, vol. 520, nº 7548, pp. 429-431 [viewed 14 May 2017]. DOI: 10.1038/520429a. Available from: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351

IOANNIDIS, J. P. A., et al. Bibliometrics: Is your most cited work your best? Nature [online]. 2014, vol. 514, nº 7524, pp. 561-562 [viewed 14 May 2017]. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

NASSI-CALÒ, L. Artigo investiga: seu trabalho mais citado é seu melhor trabalho? [online]. SciELO em Perspectiva, 2014 [viewed 14 May 2017]. Available from: https://blog.scielo.org/blog/2014/11/24/artigo-investiga-seu-trabalho-mais-citado-e-seu-melhor-trabalho/

STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature [online]. 2017, vol. 544, no. 7651, pp. 411-412 [viewed 14 May 2017]. DOI: 10.1038/544411a. Available from: http://www.nature.com/news/reviewers-are-blinkered-by-bibliometrics-1.21877

The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http://www.ascb.org/dora/

Videira A. A. P. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa [online]. Estudos de CTS – Estudos sociais e conceituais de ciência, tecnologia e sociedade, 2013 [viewed 14 May 2017]. Available from: http://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.