É possível normalizar métricas de citação?

Por Lilian Nassi-Calò

Foto: antony_mayfield.

A avaliação da ciência em geral e do desempenho de pesquisadores, periódicos, instituições e países, em particular, utiliza uma variedade de indicadores bibliométricos. A maioria deles é baseada em citações, ainda que recentemente, indicadores que consideram compartilhamento em mídias sociais vem ganhando momento e credibilidade por parte da academia e da sociedade.

A prática de citação de artigos científicos é influenciada por uma série de fatores e não é possível estabelecer uma relação direta e inequívoca entre citações e mérito científico, como seria desejável. De fato, estudos indicam que nem sempre o artigo mais citado de um autor representa seu melhor trabalho, em sua própria opinião.

Os indicadores bibliométricos representam, entretanto, muito mais do que uma indicação da visibilidade, relevância e impacto de artigos. Todo o perfil da carreira de um pesquisador pode ser resumido em um ou mais indicadores numéricos de produtividade e impacto da pesquisa que ele produz. Promoções na carreira, contratações, premiações, obtenção de auxílio a pesquisa e reputações podem depender de indicadores como o índice h ou do Fator de Impacto dos periódicos onde publicou, apesar de não ser recomendável fazê-lo, tendo em vista as particularidades e vieses destes indicadores, e como recomendam várias manifestações internacionais como o Manifesto de Leiden¹ e a San Francisco Declaration on Research Assessment².

É sabido que métricas de citações variam consideravelmente com a área do conhecimento, a idade da publicação, o tipo de documento e a cobertura da base de dados onde foram apuradas as citações. Um artigo da autoria de John Ioannidis, da Universidade Stanford, publicado no PLoS Biology³ avalia os prós e contras da normalização de métricas bem como os desafios deste exercício de bibliometria, que deve ser empreendido não apenas pelos especialistas desta ciência, mas por todos aqueles envolvidos nos processos de avaliação, e evidentemente, os avaliados. Serão analisados neste post os aspectos da normalização de métricas levantados no referido artigo.

A influência da área do conhecimento no volume de citações parece intuitiva, pois nem todas as disciplinas dispõem das mesmas oportunidades de citação. Sabe-se que artigos em ciências sociais, engenharias e humanidades atraem menos citações e estas têm uma meia vida de citações superior àquela de ciências da vida. E por isso consideram-se janelas de 3 a 5 anos para contar citações de artigos destas áreas, além das janelas de dois anos mais pertinente para artigos de ciências da vida. Por outro lado, periódicos da área da saúde que cobrem as ciências médicas em geral recebem mais citações do que periódicos dedicados a especialidades. O maior desafio reside, entretanto, em como definir as disciplinas para normalização, uma vez que elas não são entidades isoladas, mas se citam interdisciplinarmente. A definição de áreas do conhecimento pode ser feita usando taxonomias de categorias de periódicos ou por análise de citações. Não existe um método considerado ideal ou preciso para a definição de disciplinas, uma vez que a escolha dependerá do intervalo de tempo, da base utilizada para coletar citações e do tipo de artigo considerado, tornando, desta forma, a normalização uma tarefa bastante complexa.

O ano de publicação – ou idade – do artigo constitui, aparentemente, um fator de fácil normalização. Artigos publicados há dez anos tiveram mais tempo para acumular citações do que artigos publicado há um ano apenas. Assim, seria possível comparar apenas artigos publicados no mesmo ano, se não levarmos em conta a variação do mês da publicação. Neste sentido, a publicação continuada de artigos, prática cada vez mais adotada por periódicos online, tende a neutralizar este fator, pois permite expor os artigos à citação no momento em que forem aprovados para publicação.

A normalização por tipo de documento traz inúmeros desafios. É sabido que artigos de revisão atraem, em média, mais citações do que artigos originais, e outros tipos como cartas ao editor e editoriais tipicamente não atraem citações. Entretanto, um editorial de interesse pode gerar um grande número de citações, como ocorreu com um editorial sobre a responsabilidade social corporativa no mundo em desenvolvimento, publicada no periódico International Affairs⁴. A publicação de 2005 recebeu 667 citações segundo o Google Scholar na data de 14 de Outubro de 2016. Há ainda que considerar que artigos que trazem ideias realmente inovadoras e esbarram em céticos pareceristas podem ser mais bem disseminados por meio de comunicações não arbitrados, passíveis de citação, ou ainda na forma de preprints, sujeitos à avaliação por pares pós-publicação. A categorização de tipos de artigos, entretanto, pode não ser tão evidente como parece. É prerrogativa dos periódicos categorizar os artigos por tipo de publicação e, consequentemente, erros podem ocorrer. O termo “revisão” inclui revisão não sistemática de especialistas, revisões sistemáticas, e metanálises, entre outros. Estes diferem largamente quanto à credibilidade, valor científico, contribuição para a área e razões para ser citados. Muitos artigos de revisão merecem ser mais citados, pois tem um considerável valor agregado. Penalizar estes artigos em uma tentativa de normalização com artigos originais parece injusto. Por outro lado, existem ainda revisões de má qualidade, cujas citações que recebem são apenas uma medida de o quanto prejudicam a ciência.

A análise de citações depende fortemente da base bibliográfica utilizada para aferi-las. Existem bases de dados especializadas em uma determinada disciplina (PubMed, por exemplo) e bases multidisciplinares (Web of Science, Scopus e Google Scholar, por exemplo). As duas primeiras têm controles que restringem o que se indexa comparado com o Google Scholar que é mais exaustivo, e são também mais deficientes do que o buscador acadêmico na cobertura de ciências sociais e humanas. Assim, o índice h de um determinado autor, por exemplo, é usualmente maior no Google Scholar que nas outras bases. Neste aspecto, maior cobertura da base pode parecer desejável, porém dados irrelevantes cientificamente podem alterar os resultados e dificultar a normalização. Ademais da cobertura de dados, os recém-criados repositórios de preprints (bioRxiv, PsyArXiv, SocArXiv, ChemRxix) inspirados no pioneiro repositório em física e matemática – arXiv – possivelmente irão disputar citações com os artigos de periódicos, e será necessário considerá-los também na normalização.

Ademais dos fatores discutidos acima, outras variáveis podem ser consideradas no processo de normalização. Alguns índices de impacto – como o SCImago Journal Rank (Scopus) e o Eigenfactor (Web of Science) ponderam as citações recebidas pelo prestígio do periódico citante. A normalização de citações deveria fazer o mesmo? Outras questões pertinentes se referem à frequência da menção do trabalho pelo artigo citante, e se se trata de uma crítica favorável ou desfavorável. Se bem que citações negativas não sejam frequentes, porém difíceis de estimar – um artigo recente⁵ estima sua frequência em cerca de 2% – na área de ciências sociais estas citações têm certa relevância. Há controvérsias também sobre como lidar com autocitações em diferentes áreas.

Duas iniciativas que tem por objetivo a normalização de citações foram comparadas pelos autores do estudo em questão em fatores específicos. São eles o método Relative Citation Ratio (RCR)⁶ e o sistema de avaliação da produção científica utilizado no ranking universitário desenvolvido pela Universidade de Leiden, na Holanda. Ambos os sistemas, na avaliação de Ioannidis e colaboradores, realizam correções nos seguintes domínios: definição e caracterização de área do conhecimento; idade da publicação e tipo de documento. Por outro lado, os sistemas não ajustam as citações por fonte de citação; local da citação na fonte citante; multiplicidade de referências na fonte citante e contexto da citação (citação concordante ou negativa). Os autores alertam, entretanto que estes ajustes ou sua ausência não necessariamente implicam em maior validade dos resultados da análise de citações, mas simplesmente refletem os critérios dos respectivos sistemas. Alguns aspectos controversos ainda mereceram atenção, como a multi-autoria de artigos e a dificuldade em se atribuir o devido crédito a cada autor. Algumas abordagens para este tipo de correção foram citadas no artigo.

Da análise dos fatores a considerar em normalização de métricas de citação talvez emerjam mais dúvidas que certezas. É importante lembrar que é do interesse de todos aqueles envolvidos de alguma forma com avaliação da ciência procurar compreender seu significado e aplicabilidade nas diferentes situações.

Notas

1. Can we implement the Leiden Manifesto principles in our daily work with research indicators? Leiden Manifesto. Available from: http://www.leidenmanifesto.org/blog

2. Declaration on Research Assessment. Available from: http://am.ascb.org/dora/

3. IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol. 2016, vol. 14, nº 9, e1002542. DOI: 10.1371/journal.pbio.1002542.

4. BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff. 2005, vol. 81, nº 3, pp. 499-513. DOI: 10.1111/j.1468-2346.2005.00465.x

5. BALL, P. Science papers rarely cited in negative ways. Nature. 2015. DOI: 10.1038/nature.2015.18643

6. HUTCHINS, B.I., et al. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol. 2016, vol. 14, nº 9, e1002541. DOI: 10.1371/journal.pbio.1002541

Referências

BALL, P. Science papers rarely cited in negative ways. Nature. 2015. DOI: 10.1038/nature.2015.18643

BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff. 2005, vol. 81, nº 3, pp. 499-513. DOI: 10.1111/j.1468-2346.2005.00465.x

Can we implement the Leiden Manifesto principles in our daily work with research indicators? Leiden Manifesto. Available from: http://www.leidenmanifesto.org/blog

Declaration on Research Assessment. Available from: http://am.ascb.org/dora/

HUTCHINS, B.I., et al. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol. 2016, vol. 14, nº 9, e1002541. DOI: 10.1371/journal.pbio.1002541

IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol. 2016, vol. 14, nº 9, e1002542. DOI: 10.1371/journal.pbio.1002542.

IOANNIDIS, J.P.A., et al. Bibliometrics: Is your most cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561-562. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

NASSI-CALÒ, L. Artigo investiga: seu trabalho mais citado é seu melhor trabalho?. SciELO em Perspectiva. [viewed 25 September 2016]. Available from: https://blog.scielo.org/blog/2014/11/24/artigo-investiga-seu-trabalho-mais-citado-e-seu-melhor-trabalho/

NASSI-CALÒ, L. Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 25 September 2016]. Available from: https://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/

NASSI-CALÒ, L. Estudo propõe uma taxonomia de razões para citar artigos em publicações científicas. SciELO em Perspectiva. [viewed 25 September 2016]. Available from: https://blog.scielo.org/blog/2014/11/07/estudo-propoe-uma-taxonomia-de-razoes-para-citar-artigos-em-publicacoes-cientificas/

SPINAK, E. O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. [viewed 25 September 2016]. Available from: https://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/

Link externo

Leiden Ranking – <http://www.leidenranking.com/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.