Artigos não citados e a dispersão de citações na literatura científica

Por Lilian Nassi-Calò

Imagem: PEREIRA, R.S., et al.

Estudos bibliométricos utilizam com frequência índices de impacto calculados com base em citações recebidas. As métricas assim obtidas são utilizadas na avaliação dos resultados de pesquisa, dos próprios pesquisadores, periódicos, instituições de pesquisa e programas de pós-graduação, mesmo diante de evidências de que não há correlação entre qualidade e número de citações, de que a inovação na ciência possa ser medida por indicadores quantitativos ou movimentos da comunidade científica em contrário ao uso destas métricas.

A bibliometria provê evidências de que citações e publicações obedecem à distribuição da lei da potência, como postulado por Bradford.¹ A interpretação da lei de Bradford/lei de Pareto em bibliometria foi utilizada por Eugene Garfield² ao criar o Science Citation Index, no Institute of Scientific Information, nos anos 1960. O índice SCI tinha o efeito de tornar fácil identificar os pesquisadores que produziam ciência de alto impacto e em quais periódicos esta ciência era publicada e, portanto, onde os pesquisadores que almejavam integrar o núcleo deveriam publicar. Posteriormente, Seglen³ mostrou um comportamento similar para a distribuição de citações entre os periódicos, mostrando que apenas 15% deles concentravam 50% das citações.

Esta base teórica sustentou durante décadas a noção de coleções-núcleo de periódicos relevantes, e de que as bibliotecas institucionais e seus orçamentos restritos melhor serviriam a seus pesquisadores se assinassem estas coleções, pois a pesquisa relevante de uma determinada área certamente estaria contida nestas páginas. Aliado à esta noção, havia o conceito de Merton⁴ de que cientistas tendem a recompensar os que os antecederam referenciando seus melhores e mais relevantes trabalhos. Estas práticas promoveram o aumento das citações em artigos já muito citados e em última análise explicam o uso de métricas de impacto baseadas em citações.

Em tempos de bases de dados bibliográficas de grande porte, periódicos e megajournals, é difícil crer em coleções-núcleo de periódicos, mesmo em nichos muito específicos de certas áreas do conhecimento. Pesquisadores têm ao seu dispor inúmeras formas para localizar – e citar – artigos e periódicos diversos, tanto recentes como antigos. É de se esperar que isso reduza a concentração de citações em um conjunto de periódicos de alto impacto apenas por serem de alto impacto.

Um artigo⁵ recentemente postado no servidor de preprints arXiv por pesquisadores do Canadá e da Dinamarca busca responder a questões sobre a concentração de citações. Permanecem concentradas em um restrito número de artigos, como postulava Garfield? Ou teriam se tornado mais descentralizadas em função das mudanças geopolíticas e tecnológicas que ocorreram no cenário da ciência, levando à distribuição mais descentralizada? Muitos fatores influenciam padrões de citação, como as variações das práticas de citação características de cada disciplina através do tempo.

Os autores exploram como abordagens baseadas em referências e baseadas em citações, artigos não citados, a expansão das bases de dados bibliométricas, as diferenças entre disciplinas e autocitações interferem na evolução da concentração de citações.

A base de dados do estudo utiliza publicações de 1980 a 2020 da Web of Science Core Collection,⁶ da qual dois conjuntos de dados foram utilizados. O primeiro considera todos os artigos publicados em periódicos que integraram a coleção durante todo o intervalo de tempo, bem como as referências citadas por estes artigos. O segundo conjunto de dados inclui todos os artigos e referências incluídos na coleção completa da WoS entre 1980 e 2020.

O estudo utiliza duas abordagens, baseada em citações e baseada em referências. A abordagem baseada em citações é um método prospectivo que considera todos os artigos publicados em um ano específico e conta as citações que eles recebem nos anos subsequentes. Abrange todos os artigos, inclusive aqueles que não receberam citações. Essa abordagem captura citações de diferentes períodos. No entanto, há um aumento bem documentado de citações ao longo do tempo, o que pode distorcer as comparações anuais das contagens de citações, e por isso foram realizadas normalizações.

Em contraste, a abordagem, baseada em referencias adota uma perspectiva retrospectiva. Considera todas as referências feitas por artigos de um determinado ano a artigos publicados anteriormente. Esta abordagem naturalmente exclui artigos não citados da análise.

Resultados do estudo

Ao comparar a concentração de citações por meio das abordagens baseada em citações e baseada em referências, com e sem a inclusão de artigos não citados, os resultados mostram que as duas abordagens produzem diferentes perspectivas sobre a evolução da concentração de citações. Ao incluir artigos não citados, a abordagem baseada em citações mostra uma tendência decrescente na concentração, enquanto a abordagem baseada em referências exibe um comportamento semelhante à abordagem baseada em citações e grandes desigualdades. A exclusão de artigos não citados reduz o intervalo do índice de Gini⁷ para ambas as abordagens sendo de 0,60-0,70 para 0,45-0,60 (abordagem baseada em referências), mas a diferença não é tão significativa para a abordagem baseada em citações.

A análise revela três períodos temporais distintos no comportamento da concentração de citações: uma queda de 5% e 8% entre 1980 e 1990, um período de estagnação ou aumento (entre 0% e 2,5%) entre 1990 e 2005/2010 e um período mais recente com tendências variadas. Estas variações levam a diferentes conclusões sobre se a concentração de citações está aumentando ou diminuindo ao longo do tempo. Cabe destacar que a inclusão de artigos não citados afeta significativamente as desigualdades de citação. O estudo destaca a importância de considerar artigos não citados na formação de padrões de citação e redução da concentração. O declínio na participação de artigos não citados ao longo do tempo indica que a o índice de Gini (desigualdade) deve continuar sua tendência de queda.

O artigo também explora o impacto das autocitações, a cobertura da base de dados WoS e as contribuições de diferentes regiões sobre a não citação. Ele conclui que o aumento da cobertura da base de dados e as contribuições nos anos mais recentes da Europa e da Ásia têm um efeito positivo na redução da concentração de citações. A análise dos artigos mais citados mostra uma tendência decrescente na concentração de citações para esses artigos, apoiando ainda mais a observação da abordagem baseada em citações. Por exemplo, os artigos 5% e 10% mais citados da WoS mostram uma redução da concentração de citações de 34% para 30% e de 50% para 44%, respectivamente, em um intervalo de citações de dois anos.

Em suma, o estudo enfatiza a importância de considerar os artigos não citados e sua influência na concentração de citações. Os autores sustentam que os artigos não citados devem ser incluídos na análise para fornecer uma compreensão mais abrangente dos padrões de citação. A abordagem baseada em citações, incluindo artigos não citados com normalização adequada, é considerada o método mais robusto para analisar a concentração de citações ao longo do tempo.

Cabe destacar que diferentes regiões desempenham diferentes papéis na contribuição da não citação, com decréscimo das taxas relativas de citação da América do Norte e impacto crescente da Europa e a Ásia nos padrões de citação. A inclusão de artigos não citados, ademais, leva a conclusões mais robustas sobre as tendências globais na concentração de citações, e o estudo de artigos citados individualmente ajuda a compreender as mudanças nas tendências ao longo do tempo.

Notas

1. A lei de Bradford estima resultados exponencialmente decrescentes na busca de referências em periódicos científicos. Uma formulação é que se os periódicos em uma determinada área são classificadas pelo número de artigos ‘n’ em três grupos, cada um com cerca de um terço de todos os artigos, então o número de periódicos em cada grupo será proporcional a 1:n:n². Em muitas disciplinas, esse padrão é chamado de distribuição de Pareto, e reza que um pequeno número de periódicos concentra a maior parte dos artigos de interesse em uma determinada disciplina. Isto é, para cada especialidade, bastaria identificar as “publicações essenciais” para esta área e ter acesso somente à estas; muito raramente seria preciso sair deste conjunto. BRADFORD, S.C. Sources of information on specific subjects. Engineering. 1934, vol. 137, pp. 85–86.

2. BORNMANN. L., et al. 2008. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Sci Environ Polit [online]. 2008, vol. 8, pp. 93-102 [viewed 26 July 2023]. https://doi.org/10.3354/esep00084. Available from: https://www.int-res.com/abstracts/esep/v8/n1/p93-102/

3. SEGLEN, P.O. Causal relationship between article citedness and journal impact. J. Am. Soc. Inf. Sci. [online]. 1994, vol. 45, pp. 1-11 [viewed 26 July 2023]. https://doi.org/10.1002/(SICI)1097-4571(199401)45:1<1::AID-ASI1>3.0.CO;2-Y. Available from: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/(SICI)1097-4571(199401)45:1%3C1::AID-ASI1%3E3.0.CO;2-Y

4. MERTON, R.K. The Sociology of Science: Theoretical and Empirical Investigations (4. Dr.). Chicago: University of Chicago Press, 1974.

5. KOZLOWSKI, D., ANDERSEN, J.P. and LARIVIÈRE, V. Uncited articles and their effect on the concentration of citations. arXiv [online]. 2023 [viewed 26 July 2023]. https://doi.org/10.48550/arXiv.2306.09911. Available from: https://arxiv.org/abs/2306.09911

6. Web of Science Core Collection Overview: https://webofscience.help.clarivate.com/Content/wos-core-collection/wos-core-collection.htm

7. Índice de Gini é uma medida de desigualdade. Em economia, o coeficiente ou índice de Gini (desenvolvido pelo estatístico italiano Corrado Gini em 1912) é a medida da dispersão estatística para representar a desigualdade de renda ou de riqueza de uma nação ou de um grupo social. Fonte: Gini coefficient – Wikipedia: https://en.wikipedia.org/wiki/Gini_coefficient

Referências

BORNMANN. L., et al. 2008. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Sci Environ Polit [online]. 2008, vol. 8, pp. 93-102 [viewed 26 July 2023]. https://doi.org/10.3354/esep00084. Available from: https://www.int-res.com/abstracts/esep/v8/n1/p93-102/

BRADFORD, S.C. Sources of information on specific subjects. Engineering. 1934, vol. 137, pp. 85–86.

GARFIELD, E. Citation analysis as a tool in journal evaluation. Science [online]. 1972, vol. 178, pp. 471-479 [viewed 26 July 2023]. https://doi.org/10.1126/science.178.4060.471. Available from: https://www.science.org/doi/10.1126/science.178.4060.471

HALLONSTEN, O. Stop evaluating science: A historical-sociological argument. Soc Sci Inform [online]. 2021, vol. 60, pp. 7-26 [viewed 26 July 2023]. https://doi.org/10.1177/0539018421992204. Available from: https://journals.sagepub.com/doi/10.1177/0539018421992204

KOZLOWSKI, D., ANDERSEN, J.P. and LARIVIÈRE, V. Uncited articles and their effect on the concentration of citations. arXiv [online]. 2023 [viewed 26 July 2023]. https://doi.org/10.48550/arXiv.2306.09911. Available from: https://arxiv.org/abs/2306.09911

MERTON, R.K. The Sociology of Science: Theoretical and Empirical Investigations (4. Dr.). Chicago: University of Chicago Press, 1974.

SEGLEN, P.O. Causal relationship between article citedness and journal impact. J. Am. Soc. Inf. Sci. [online]. 1994, vol. 45, pp. 1-11 [viewed 26 July 2023]. https://doi.org/10.1002/(SICI)1097-4571(199401)45:1<1::AID-ASI1>3.0.CO;2-Y. Available from: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/(SICI)1097-4571(199401)45:1%3C1::AID-ASI1%3E3.0.CO;2-Y

Links externos

arXiv: https://arxiv.org/

Gini coeficiente – Wikipedia: https://en.wikipedia.org/wiki/Gini_coefficient

Home | DORA: https://sfdora.org/

Web of Science Core Collection Overview: https://webofscience.help.clarivate.com/Content/wos-core-collection/wos-core-collection.htm