Artigo investiga: seu trabalho mais citado é seu melhor trabalho?

Por Lilian Nassi-Calò

Foto: marco.arnhold.

Em post publicado recentemente no blog SciELO em Perspectiva¹, analisou-se um estudo que propõe uma divisão taxonômica de motivos para citar publicações em artigos científicos. Os autores sugerem que os motivos mais variados que autores têm para citar esta ou aquela publicação podem, independentemente da área do conhecimento, ser agrupados em quatro categorias principais e algumas subcategorias.

Nos últimos anos vem se observando inúmeras críticas quanto à utilização de indicadores de impacto baseados em citações para avaliar pesquisadores, projetos de pesquisa, contratações e promoções na carreira. As limitações do Fator de Impacto são inúmeras e hoje existem métricas alternativas em nível do artigo mais abrangentes e confiáveis que levam em conta medidas de download, compartilhamento em redes sociais e a cobertura na mídia impressa e online.

Entretanto, há cerca de meio século a cienciometria vem utilizando largamente métricas baseadas em citações. O Brasil, cujos periódicos indexados no Journal Citation Reports representam 1% do total deste índice, baseia seu sistema de avaliação da produção científica dos seus programas de pós-graduação principalmente no Fator de Impacto, medido na base Web of Science (Thomson Reuters).

Dois artigos publicados na edição desta semana da Nature abordam citações e o impacto científico. O primeiro deles, da autoria de Richard Van Noorden e colaboradores², analisa os 100 artigos mais citados de todos os tempos na base Science Citation Index (Web of Science, Thomson Reuters) quanto à sua contribuição à ciência. O número de citações destes 100 artigos varia de 305 mil a 12 mil e sua análise revela que boa parte destes artigos altamente citados refere-se a técnicas biológicas e bioquímicas, sendo que duas delas resultaram em prêmios Nobel. Também estão presente na lista top-100 artigos de bioinformática, filogenética (estudo de relações evolutivas entre espécies), estatística, teoria da densidade funcional (o estudo por meio de software do comportamento dos elétrons de um determinado material, que permite prever suas propriedades), e cristalografia. É digno de nota, entretanto, que um artigo que relata uma verdadeira inovação no conhecimento, talvez a maior do século XX na área de bioquímica, como é o caso da descoberta por Watson e Crick³ da estrutura da dupla hélice do DNA em 1953, que resultou no prêmio Nobel, recebeu relativamente poucas citações – cerca de 5 mil. Outro exemplo é o artigo de Farman, Gardiner e Shanlin⁴ que relata a descoberta do buraco na camada de ozônio de 1985, que recebeu apenas 1.871 citações.

O segundo artigo, da autoria de John Ioannidis e colaboradores⁵ relata um estudo que consistiu em entrevistar os autores mais produtivos em ciências biomédicas para relacionar seus dez artigos mais citados em seis modalidades. Com isso, os autores se propuseram a responder a perguntas como: Seriam os artigos mais citados os mais importantes? A ciência progride principalmente através da evolução ou da revolução? Seriam estes processos mutuamente excludentes ou complementares e qual deles é mais refletido por alto índice de citações? Seriam os resultados surpreendentes mais difíceis de publicar? O estudo traz muitas conclusões interessantes, entretanto, ao invés de responder às perguntas, traz ainda mais questionamentos.

A metodologia da pesquisa consiste em enviar aos 400 autores mais citados na área de ciências biomédicas no período de 1996-2011 questionários com perguntas sobre sua visão de seus 10 artigos publicados entre 2005-2008 mais citados, e solicitou-se que os pesquisadores relacionassem estes artigos em seis dimensões, atribuindo-lhes escores entre zero e 100, de acordo com sua influência e impacto. O restrito período de publicação previne o viés de que artigos muito citados e antigos tornam-se estereotipados, e frequentemente são tratados como canônicos, e os trabalhos mais recentes não terem tido tempo de acumular suficientes citações.

Cerca de 1/3 dos pesquisadores – 123 deles – responderam ao questionário, relacionando 1.214 artigos no total. O questionário solicitava aos autores relacionar seus trabalhos em seis categorias: Progresso Contínuo, Interesse Geral e Síntese Relevante – foram catalogados como Medidas de Evolução; as categorias Inovação Turbulenta e Surpresa – foram catalogadas como Medidas de Revolução; Dificuldade de Publicação não foi categorizada em nenhuma das duas, porém mostrou correlação principalmente com medidas de Revolução. Os pesquisadores tenderam a classificar seus artigos mais influentes nas primeiras três categorias e aos artigos com menos citações, as três últimas categorias. Para a maioria deles, os artigos mais influentes foram facilmente publicados, salvo algumas exceções. A média e mediana dos escores autoatribuídos pelos autores situou-se ao redor de 50 para as três primeiras categorias e de 20 a 40 nas três últimas categorias.

Apenas 20 pesquisadores (16%) indicaram que sua publicação mais relevante publicada em 2005-2008 não estava entre seus 10 artigos mais citados. Estes 20 artigos, entretanto, ainda situam-se entre os artigos citados no período. Cinquenta e dois artigos foram avaliados por ao menos dois autores, indicando coautoria. Houve concordância entre a categoria na qual o artigo foi ranqueado pelos dois coautores e no valor do escore apontado por ambos entre 74% a 86% nas seis dimensões, porém há que se levar em conta o tamanho limitado da amostra.

Os autores do estudo esperavam que os artigos fossem autoavaliados como sendo de caráter evolutivo ou revolucionário, porém não ambos. Isso não está totalmente de acordo com os resultados da pesquisa, uma vez que houve forte correlação entre os escores da categoria Interesse Geral e Medidas de Revolução e Evolução.

O estudo apresenta limitações, na visão dos seus autores. Primeiramente, apenas 30% dos autores responderam à pesquisa, e os demais poderiam ter dado escores maiores para Medidas de Revolução ou Evolução. Em segundo lugar, o período limitado da publicação, escolhido para dar uniformidade aos dados. Em terceiro, o fato de que os autores podem avaliar seu próprio trabalho mais positivamente do que outros. Um quarto fator é que a amostra é composta por pesquisadores cujo trabalho já foi amplamente aceito (e citado). Outros pesquisadores com ideias inovadoras que não tenham sido muito bem aceitas não estão incluídos neste grupo. Os autores acreditam que entre trabalhos medianamente citados a marca da evolução seja mais frequente.

A pesquisa reportada por Ioannidis e colaboradores reafirma a riqueza de informação que está contida em análise de citações e o quanto de cienciometria ainda deve ser estudado. Os autores especulam: Como identificar precocemente um artigo inovador? Este tipo de artigo faz conexões entre áreas do conhecimento que não são tipicamente feitas, ou são citados por trabalhos de outras áreas menos afins? Estas e muitas outras questões emergem deste estudo. Segundo seus autores, uma forma de respondê-las seria analisar os trabalhos que citam os artigos mais citados ou avaliar o perfil de artigos medianamente citados. Entretanto, de um fato os autores estão certos: é necessário recorrer a outros índices além das métricas baseadas em citações para complementar a avaliação da ciência.

Notas

¹Estudo propõe uma taxonomia de razões para citar artigos em publicações científicas. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2014/11/07/estudo-propoe-uma-taxonomia-de-razoes-para-citar-artigos-em-publicacoes-cientificas/

² VAN NOORDEN, R., and MAHER, B.N.R. The top 100 papers. Nature. 2014, vol. 514, nº 7524, pp. 550-553. DOI: 10.1038/514550a. Available from: http://www.nature.com/news/the-top-100-papers-1.16224

³ WATSON, J.D., and CRICK, F.H.C. Molecular Structure of Nucleic Acids: A Structure for Deoxyribose Nucleic Acid. Nature. 1953, vol. 171, nº 4356, pp. 737-738. DOI: 10.1038/171737a0. Available from: http://www.nature.com/nature/journal/v171/n4356/pdf/171737a0.pdf

⁴ FARMAN, J.C., GARDINER, B.G., and SHANKLIN, J.D. Large losses of total ozone in Antarctica reveal seasonal ClOx/NOx interaction. Nature. 1985, vol. 315, pp. 207-10. DOI: 10.1038/315207a0. Available from: http://www.nature.com/nature/journal/v315/n6016/pdf/315207a0.pdf

⁵ IOANNIDIS, J.P.A., et al. Bibliometrics: Is your most cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561-562. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

Referências

Altmetrics, Altmétricas, Altmetrias: novas perspectivas na visibilidade e no impacto das pesquisas científicas. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2013/08/14/altmetrics-altmetricas-altmetrias-novas-perspectivas-na-visibilidade-e-no-impacto-das-pesquisas-cientificas/

Crescimento dos demais: O aumento do impacto dos periódicos non-elite – Publicado originalmente no Google Scholar Blog em 08 de outubro de 2014. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2014/10/13/crescimento-dos-demais-o-aumento-do-impacto-dos-periodicos-non-elite-publicado-originalmente-no-google-scholar-blog-em-08-de-outubro-de-2014/

Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/

Downloads de artigos: Um indicador alternativo do impacto da pesquisa nacional e compartilhamento de conhecimento intersetorial – Publicado originalmente na newsletter Elsevier “Research Trends Issue 36″. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2014/03/24/downloads-de-artigos-um-indicador-alternativo-do-impacto-da-pesquisa-nacional-e-compartilhamento-de-conhecimento-intersetorial-publicado-originalmente-na-newsletter-elsevier-reseatch-tren/

Entrevista com Vincent Larivière. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2013/08/16/entrevista-com-vincent-lariviere/

IOANNIDIS, J.P.A., et al. Supplementary information to: Is your most-cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561–562. DOI: 10.1038/514561a. Available from: http://www.nature.com/polopoly_fs/7.21252.1414578313!/suppinfoFile/514561a_s1.pdf

O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/

Publicar ou perecer? O crescimento do autor fracionado… – Publicado originalmente na newsletter Elsevier “Research Trends Issue 38″. SciELO em Perspectiva. [viewed 01 November 2014]. Available from: https://blog.scielo.org/blog/2014/10/02/publicar-ou-perecer-o-crescimento-do-autor-fracionado-publicado-originalmente-na-newsletter-elsevier-research-trends-issue-38/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.