¿Es posible normalizar las métricas de citas?

Por Lilian Nassi-Calò

Fotografía: antony_mayfield.

La evaluación de la ciencia en general y del desempeño de investigadores, revistas, instituciones y países, en particular, usa una variedad de indicadores bibliométricos. La mayoría de ellos está basada en citaciones, aunque recientemente, los indicadores que consideran la participación en las redes sociales están ganando impulso y credibilidad por parte de la academia y la sociedad.

La práctica de citación de artículos científicos se ve influida por una serie de factores, y no se puede establecer una relación directa e inequívoca entre las citaciones y el mérito científico, como sería deseable. De hecho, los estudios indican que no siempre el artículo más citado de un autor representa su mejor trabajo, en su propia opinión.

Los indicadores bibliométricos representan, sin embargo, mucho más que una indicación de la visibilidad, relevancia o impacto de artículos. Todo el perfil de la carrera de un investigador puede resumirse en uno o más indicadores numéricos de productividad e impacto de la investigación que produce. Promociones en la carrera, contratos, premios, obtención de ayuda a la investigación y reputación pueden depender de indicadores como el índice h o del Factor de Impacto de las revistas donde publicó, a pesar de que no se recomienda hacerlo, dadas las particularidades y las tendencias de estos indicadores, y según lo recomendado por varias declaraciones internacionales tales como el Manifiesto de Leiden¹ y la San Francisco Declaration on Research Assessment².

Se sabe que las métricas de citaciones varían considerablemente con el área de conocimiento, la edad de la publicación, el tipo de documento y la cobertura de la base de datos donde fueron registradas las citaciones. Un artículo de autoría de John Ioannidis, de la Universidad de Stanford, publicado en PloS Biology³ evalúa los pros y contras de la normalización de métricas así como los desafíos de este ejercicio de la bibliometría, que debe llevarse a cabo no solo por expertos de esta ciencia, sino por todos los que participan en los procesos de evaluación, y evidentemente los evaluados. En este post serán analizados los aspectos de la normalización de métricas que se plantean en el artículo referido.

La influencia del área de conocimiento en el volumen de las citaciones parece intuitivo, pues no todas las disciplinas disponen de las mismas oportunidades de citación. Se sabe que los artículos en ciencias sociales, ingenierías y humanidades atraen menos citaciones y estas tienen una vida media de citación superior a las ciencias de la vida. Es por eso que consideran ventanas de 3 a 5 años para contar citaciones de artículos de estas áreas a diferencia de las ventanas de dos años más pertinentes para artículos de ciencias de la vida. Por otro lado, las revistas del área de la salud que cubren las ciencias médicas en general reciben más citaciones que las revistas dedicadas a especialidades. El mayor desafío reside, sin embargo, en cómo definir las disciplinas para la normalización, dado que ellas no son entidades aisladas, sino que se citan interdisciplinariamente. La definición de áreas de conocimiento puede ser hecha usando taxonomías de categorías de revistas o por análisis de citaciones. No existe un método considerado ideal o preciso para la definición de disciplinas, ya que la selección dependerá del intervalo de tiempo, de la base de datos usada para recopilar las citaciones y del tipo de artículo considerado, convirtiendo de esta forma, la normalización en una tarea bastante compleja.

El año de publicación – o la edad – del artículo, aparentemente, es un factor de fácil estandarización. Los artículos publicados hace diez años tuvieron más tiempo para acumular citaciones que los artículos publicados hace apenas un año. Por lo tanto, sería posible comparar solo artículos publicados en el mismo año, si no tomamos en cuenta la variación del mes de publicación. En este sentido, la publicación continua de artículos, práctica cada vez más adoptada por las revistas online, tiene a neutralizar este factor, pues permite exponer a los artículos a las citaciones en el momento de su aprobación para publicación.

La normalización por tipo de documento trae muchos retos. Se sabe que los artículos de revisión atraen, en promedio, más citaciones que los artículos originales, y otros tipos como cartas al editor y editoriales no suelen atraer citaciones. Sin embargo, un editorial de interés puede generar un gran número de citaciones, como ocurrió con un editorial sobre la responsabilidad social corporativa en el mundo en desarrollo, publicada en la revista International Affairs⁴. La publicación de 2005 recibió 667 citaciones según Google Scholar en 14 de octubre de 2016. También hay que tener en cuenta que los artículos que traen ideas realmente innovadoras y tropiezan con evaluadores escépticos pueden ser mejor difundidos por medios de comunicación no arbitrados, pasibles de citación, o también en la forma de preprints, sujetos a la evaluación por pares post publicación. La categorización de tipos de artículos, sin embargo puede no ser tan obvia como parece. Es prerrogativa de las revistas categorizar los artículos por tipo de publicación y, en consecuencia, pueden ocurrir errores. El término “revisión”, incluye revisión no sistemática de especialistas, revisiones sistemáticas, y meta análisis entre otros. Estos difieren ampliamente en cuanto a credibilidad, valor científico, contribución al área y razones para ser citados. Muchos artículos de revisión merecen ser más citados pues tienen un considerable valor agregado. Penalizar estos artículos en una tentativa de normalización con los artículos originales parece injusto. Por otra parte, existen también revisiones de mala calidad, cuyas citaciones que reciben son apenas una medida de cuánto perjudican a la ciencia.

El análisis de citaciones depende fuertemente de la base bibliográfica usada para evaluarlas. Existen bases de datos especializadas en una determinada disciplina (PubMed, por ejemplo) y bases multidisciplinarias (Web of Science, Scopus y Google Scholar, por ejemplo). Las dos primeras tiene controles que restringen lo que se indexa comparado con Google Scholar que es más exhaustivo, y también son más deficientes que el buscador académico en la cobertura de las ciencias sociales y humanidades. Así, el índice h de un autor determinado, por ejemplo es generalmente más alto en Google Scholar que en las otras bases. En ese aspecto, una mayor cobertura de la base puede parecer deseable, sin embargo datos científicamente irrelevantes pueden alterar los resultados y dificultar la normalización. Además de la cobertura de datos, los recién creados repositorios de preprints (bioRxiv, PsyArXiv, SocArXiv, CheRxix) inspirados en el repositorio pionero en física y matemáticas – arXiv – posiblemente competirán en citaciones con las revistas, y será necesario considerarlos en la normalización.

Además de los factores mencionados anteriormente, pueden considerarse otras variables en el proceso de normalización. Algunos índices de impacto – como el SCImago Journal Rank (Scopus) y el Eigenfactor (Web of Science) ponderan las citaciones recibidas por el prestigio de la revista citante. ¿Debería hacer lo mismo la normalización de citaciones? Otras cuestiones pertinentes se refieren a la frecuencia de la mención del trabajo por el artículo citante, y si se trata de una crítica favorable o desfavorable. Aunque las citaciones negativas no son frecuentes, y difíciles de estimar – un artículo reciente⁵ estima su frecuencia en cerca del 2% – en el área de ciencias sociales estas citaciones tienen cierta relevancia. Hay controversias también sobre cómo tratar con las autocitas en las diferentes áreas.

Dos iniciativas que tienen como objetivo la normalización de citaciones fueron comparadas por los autores del estudio en relación de factores específicos. Esto son el método Relative Citation Ratio (RCR)⁶ y el sistema de producción científica utilizado en el ranking universitario desarrollado por la Universidad de Leiden, en Holanda. Ambos sistemas, en la evaluación de Ioannidis y colaboradores, realizan correcciones en los siguientes dominios: definición y caracterización del área de conocimiento; edad de la publicación y tipo de documento. Por otra parte, los sistemas no ajustan las citaciones por fuente de citación; lugar de la citación en la fuente citante; multiplicidad de referencias en la fuente citante y contexto de la citación (citación concordante o negativa). Los autores alertan, sin embargo, que esos ajustes o su ausencia no implican necesariamente una mayor validez de los resultados del análisis de citaciones, pero simplemente reflejan los criterios de los respectivos sistemas. Algunos aspectos controvertidos todavía merecen atención, como la múltiple autoría de artículos y la dificultad en atribuir el debido crédito a cada autor. Algunos enfoques para este tipo de correcciones fueron citados en el artículo.

En cuanto a los factores a considerar en la normalización de métricas de citación tal vez surjan más dudas que certezas. Es importante recordar que es del interés de todos los involucrados en alguna forma con la evaluación de la ciencia tratar de comprender su significado y la aplicabilidad en las diferentes situaciones.

Notas

1. Can we implement the Leiden Manifesto principles in our daily work with research indicators? Leiden Manifesto. Available from: http://www.leidenmanifesto.org/blog

2. Declaration on Research Assessment. Available from: http://am.ascb.org/dora/

3. IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol. 2016, vol. 14, nº 9, e1002542. DOI: 10.1371/journal.pbio.1002542.

4. BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff. 2005, vol. 81, nº 3, pp. 499-513. DOI: 10.1111/j.1468-2346.2005.00465.x

5. BALL, P. Science papers rarely cited in negative ways. Nature. 2015. DOI: 10.1038/nature.2015.18643

6. HUTCHINS, B.I., et al. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol. 2016, vol. 14, nº 9, e1002541. DOI: 10.1371/journal.pbio.1002541

Referencias

BALL, P. Science papers rarely cited in negative ways. Nature. 2015. DOI: 10.1038/nature.2015.18643

BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff. 2005, vol. 81, nº 3, pp. 499-513. DOI: 10.1111/j.1468-2346.2005.00465.x

Can we implement the Leiden Manifesto principles in our daily work with research indicators? Leiden Manifesto. Available from: http://www.leidenmanifesto.org/blog

Declaration on Research Assessment. Available from: http://am.ascb.org/dora/

HUTCHINS, B.I., et al. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol. 2016, vol. 14, nº 9, e1002541. DOI: 10.1371/journal.pbio.1002541

IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol. 2016, vol. 14, nº 9, e1002542. DOI: 10.1371/journal.pbio.1002542.

IOANNIDIS, J.P.A., et al. Bibliometrics: Is your most cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561-562. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

NASSI-CALÒ, L. Artículo investiga: ¿su trabajo más citado es su mejor trabajo?. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http://blog.scielo.org/es/2014/11/24/articulo-investiga-su-trabajo-mas-citado-es-su-mejor-trabajo/

NASSI-CALÒ, L. Estudio propone una taxonomía de razones para citar artículos en publicaciones científicas. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http://blog.scielo.org/es/2014/11/07/estudio-propone-una-taxonomia-de-razones-para-citar-articulos-en-publicaciones-cientificas/

NASSI-CALÒ, L. Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

SPINAK, E. Qué nos pueden dar las “métricas alternativas” o altmetrías. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http://blog.scielo.org/es/2014/08/07/que-nos-pueden-dar-las-metricas-alternativas-o-altmetrias/

Enlace externo

Leiden Ranking – <http://www.leidenranking.com/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.