Artículos no citados y dispersión de citas en la literatura científica

Por Lilian Nassi-Calò

Imagen: PEREIRA, R.S., et al.

Los estudios bibliométricos utilizan con frecuencia índices de impacto calculados a partir de las citas recibidas. Las métricas así obtenidas se utilizan en la evaluación de resultados de investigación, de investigadores, revistas, instituciones de investigación y programas de posgrado, aún frente a la evidencia de que no existe correlación entre calidad y número de citas, que la innovación en ciencia se puede medir por indicadores cuantitativos o movimientos de la comunidad científica en contra del uso de estas métricas.

La bibliometría proporciona evidencia de que las citas y publicaciones obedecen a la distribución de la ley de potencias, como postula Bradford.¹ La interpretación de la ley de Bradford/ley de Pareto en bibliometría fue utilizada por Eugene Garfield² al crear el Science Citation Index, en el Instituto de Información Científica, en la década de 1960. El índice SCI tuvo el efecto de facilitar la identificación de los investigadores que producían ciencia de alto impacto y en qué revistas se publicaba esa ciencia y, por lo tanto, dónde debían publicar los investigadores que querían formar parte del núcleo. Posteriormente, Seglen³ mostró un comportamiento similar para la distribución de citas entre revistas, mostrando que solo el 15% de ellas concentraba el 50% de las citas.

Esta base teórica apoyó durante décadas la noción de colecciones centrales de revistas relevantes, y que las bibliotecas institucionales y sus presupuestos restringidos servirían mejor a sus investigadores si se suscribieran a estas colecciones, ya que la investigación relevante en un área determinada sin duda estaría contenida en estas páginas. Unido a esta noción estaba el concepto de Merton⁴ de que los científicos tienden a recompensar a quienes los precedieron haciendo referencia a su mejor y más relevante trabajo. Estas prácticas han promovido un aumento de las citas en artículos ya muy citados y, en última instancia, explican el uso de métricas de impacto basadas en citas.

En tiempos de grandes bases de datos bibliográficas, publicaciones periódicas y megarevistas, es difícil creer en colecciones núcleo de publicaciones periódicas, incluso en nichos muy específicos de ciertas áreas del conocimiento. Los investigadores tienen a su disposición numerosas formas de localizar y citar diversos artículos y revistas, tanto recientes como antiguos. Es de esperar que esto reduzca la concentración de citas en un conjunto de revistas de alto impacto simplemente porque son de alto impacto.

Un artículo⁵ publicado recientemente en el servidor de preprints arXiv por investigadores de Canadá y Dinamarca busca responder preguntas sobre la concentración de citas. ¿Siguen concentrados en un número restringido de artículos, como postula Garfield? ¿O se habrían vuelto más descentralizados debido a los cambios geopolíticos y tecnológicos que ocurrieron en la escena científica, lo que llevó a una distribución más descentralizada? Muchos factores influyen en los patrones de citación, como las variaciones en las prácticas de citación características de cada disciplina a lo largo del tiempo.

Los autores exploran cómo los enfoques basados en referencias y citas, los artículos no citados, la expansión de las bases de datos bibliométricas, las diferencias entre disciplinas y las autocitas interfieren en la evolución de la concentración de citas.

La base de datos del estudio utiliza publicaciones de 1980 a 2020 del Web of Science Core Collection,⁶ de las cuales se utilizaron dos conjuntos de datos. El primero considera todos los artículos publicados en revistas que formaron parte de la colección durante todo el período de tiempo, así como las referencias citadas por estos artículos. El segundo conjunto de datos incluye todos los artículos y referencias incluidos en la colección completa de WoS entre 1980 y 2020.

El estudio utiliza dos enfoques, basado en citas y basado en referencias. El enfoque basado en citas es un método prospectivo que considera todos los artículos publicados en un año específico y cuenta las citas que reciben en los años siguientes. Cubre todos los artículos, incluidos aquellos que no han recibido citas. Este enfoque captura citas de diferentes períodos. Sin embargo, existe un aumento bien documentado de las citas a lo largo del tiempo, lo que puede sesgar las comparaciones anuales de los recuentos de citas, por lo que se realizaron normalizaciones.

Por el contrario, el enfoque basado en referencias adopta una perspectiva retrospectiva. Considera todas las referencias hechas por artículos de un año determinado a artículos publicados anteriormente. Este enfoque naturalmente excluye del análisis los artículos no citados.

Resultados del estudio

Al comparar la concentración de citas usando enfoques basados en citas y referencias, con y sin la inclusión de artículos no citados, los resultados muestran que los dos enfoques producen diferentes perspectivas sobre la evolución de la concentración de citas. Al incluir artículos no citados, el enfoque basado en citas muestra una tendencia decreciente en la concentración, mientras que el enfoque basado en referencias exhibe un comportamiento similar al enfoque basado en citas y grandes desigualdades. La exclusión de artículos no citados reduce el rango del índice de Gini⁷ para ambos enfoques de 0,60-0,70 a 0,45-0,60 (enfoque basado en referencias), pero la diferencia no es tan significativa para el enfoque basado en citas), pero la diferencia no es tan significativa para el enfoque basado en citas.

El análisis revela tres periodos temporales distintos en el comportamiento de la concentración de citas: una caída del 5% y el 8% entre 1980 y 1990, un periodo de estancamiento o aumento (entre el 0% y el 2,5%) entre 1990 y 2005/2010 y un periodo más periodo reciente con tendencias variables. Estas variaciones conducen a diferentes conclusiones sobre si la concentración de citas aumenta o disminuye con el tiempo. Cabe señalar que la inclusión de artículos no citados afecta significativamente las desigualdades de citación. El estudio destaca la importancia de considerar los artículos no citados para formar patrones de citas y reducir la concentración. La disminución en la proporción de artículos no citados a lo largo del tiempo indica que el índice de Gini (desigualdad) debería continuar su tendencia a la baja.

En resumen, el estudio enfatiza la importancia de considerar los artículos no citados y su influencia en la concentración de citas. Los autores sostienen que los artículos no citados deben incluirse en el análisis para proporcionar una comprensión más completa de los patrones de citación. El enfoque basado en citas, incluidos los artículos no citados con una normalización adecuada, se considera el método más sólido para analizar la concentración de citas a lo largo del tiempo.

Cabe señalar que las diferentes regiones desempeñan diferentes roles en la contribución de la falta de citas, con tasas de citas relativas decrecientes para América del Norte y un impacto creciente de Europa y Asia en los patrones de citas. Además, la inclusión de artículos no citados conduce a conclusiones más sólidas sobre las tendencias globales en la concentración de citas, y el estudio de los artículos citados individualmente ayuda a comprender los cambios en las tendencias a lo largo del tiempo.

Notas

1. La ley de Bradford estima resultados exponencialmente decrecientes al buscar referencias en revistas científicas. Una formulación es que si las revistas en un campo determinado se clasifican por el número de artículos ‘n’ en tres grupos, cada uno con aproximadamente un tercio de todos los artículos, entonces el número de revistas en cada grupo será proporcional a 1:n :n². En muchas disciplinas, este patrón se denomina distribución de Pareto y significa que un pequeño número de revistas concentra la mayoría de los artículos de interés en una determinada disciplina. Es decir, para cada especialidad bastaría con identificar las “publicaciones imprescindibles” para esa área y tener acceso sólo a estas; muy rara vez necesitaría dejar este conjunto. SC Bradford. 1934. Fuentes de información sobre temas específicos. BRADFORD, S.C. Sources of information on specific subjects. Engineering. 1934, vol. 137, pp. 85–86.

2. BORNMANN. L., et al. 2008. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Sci Environ Polit [online]. 2008, vol. 8, pp. 93-102 [viewed 26 July 2023]. https://doi.org/10.3354/esep00084. Available from: https://www.int-res.com/abstracts/esep/v8/n1/p93-102/

3. SEGLEN, P.O. Causal relationship between article citedness and journal impact. J. Am. Soc. Inf. Sci. [online]. 1994, vol. 45, pp. 1-11 [viewed 26 July 2023]. https://doi.org/10.1002/(SICI)1097-4571(199401)45:1<1::AID-ASI1>3.0.CO;2-Y. Available from: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/(SICI)1097-4571(199401)45:1%3C1::AID-ASI1%3E3.0.CO;2-Y

4. MERTON, R.K. The Sociology of Science: Theoretical and Empirical Investigations (4. Dr.). Chicago: University of Chicago Press, 1974.

5. KOZLOWSKI, D., ANDERSEN, J.P. and LARIVIÈRE, V. Uncited articles and their effect on the concentration of citations. arXiv [online]. 2023 [viewed 26 July 2023]. https://doi.org/10.48550/arXiv.2306.09911. Available from: https://arxiv.org/abs/2306.09911

6. Web of Science Core Collection Overview: https://webofscience.help.clarivate.com/Content/wos-core-collection/wos-core-collection.htm

7. El índice de Gini es una medida de la desigualdad. En economía, el coeficiente o índice de Gini (desarrollado por el estadístico italiano Corrado Gini en 1912) es una medida de dispersión estadística para representar la desigualdad de ingresos o riqueza en una nación o grupo social. Fuente: Gini coefficient – Wikipedia: https://en.wikipedia.org/wiki/Gini_coefficient

Referencias

BORNMANN. L., et al. 2008. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Sci Environ Polit [online]. 2008, vol. 8, pp. 93-102 [viewed 26 July 2023]. https://doi.org/10.3354/esep00084. Available from: https://www.int-res.com/abstracts/esep/v8/n1/p93-102/

BRADFORD, S.C. Sources of information on specific subjects. Engineering. 1934, vol. 137, pp. 85–86.

GARFIELD, E. Citation analysis as a tool in journal evaluation. Science [online]. 1972, vol. 178, pp. 471-479 [viewed 26 July 2023]. https://doi.org/10.1126/science.178.4060.471. Available from: https://www.science.org/doi/10.1126/science.178.4060.471

HALLONSTEN, O. Stop evaluating science: A historical-sociological argument. Soc Sci Inform [online]. 2021, vol. 60, pp. 7-26 [viewed 26 July 2023]. https://doi.org/10.1177/0539018421992204. Available from: https://journals.sagepub.com/doi/10.1177/0539018421992204

KOZLOWSKI, D., ANDERSEN, J.P. and LARIVIÈRE, V. Uncited articles and their effect on the concentration of citations. arXiv [online]. 2023 [viewed 26 July 2023]. https://doi.org/10.48550/arXiv.2306.09911. Available from: https://arxiv.org/abs/2306.09911

MERTON, R.K. The Sociology of Science: Theoretical and Empirical Investigations (4. Dr.). Chicago: University of Chicago Press, 1974.

SEGLEN, P.O. Causal relationship between article citedness and journal impact. J. Am. Soc. Inf. Sci. [online]. 1994, vol. 45, pp. 1-11 [viewed 26 July 2023]. https://doi.org/10.1002/(SICI)1097-4571(199401)45:1<1::AID-ASI1>3.0.CO;2-Y. Available from: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/(SICI)1097-4571(199401)45:1%3C1::AID-ASI1%3E3.0.CO;2-Y

Enlaces externos

arXiv: https://arxiv.org/

Gini coeficiente – Wikipedia: https://en.wikipedia.org/wiki/Gini_coefficient

Home | DORA: https://sfdora.org/

Web of Science Core Collection Overview: https://webofscience.help.clarivate.com/Content/wos-core-collection/wos-core-collection.htm

Traducido del original en portugués por Ernesto Spinak.