Cómo se utilizan las Altmetrías para evaluar la producción científica en América Latina

Por Lilian Nassi-Calò

Imagen: William Warby.

Los lectores de este blog están familiarizados con las limitaciones y críticas del uso de indicadores bibliométricos basados en citas para evaluar revistas. Sobre todo, el impacto, la relevancia, la calidad y el rigor atribuidos a los resultados de las investigaciones publicadas en revistas con altas tasas de citación únicamente en base a estos indicadores.

Movimientos como la San Francisco Declaration on Research Assessment (DORA) y el Manifiesto de Leiden recomiendan utilizar índices como el Factor de Impacto solo para clasificar revistas, no investigadores, instituciones que otorgan recursos de investigación o programas de posgrado. A esto se suma el hecho de que las estimaciones indican que alrededor del 50% de los artículos publicados no son citados formalmente por otros autores, y su impacto en la comunidad científica no es nulo. Estos artículos son leídos, descargados, compartidos y citados a través de redes sociales, blogs, noticias, políticas públicas y otras formas de presencia en línea, recopilados y medidos en índices como Altmetric (alternative metric).

La velocidad con la que los artículos recién publicados se comparten en la web es uno de los puntos fuertes de las altmetrías en comparación con las métricas basadas en citas, que se cuentan dos o tres años después de la publicación. Además, los estudios indican que los artículos con alta presencia en las redes sociales son más difundidos y reciben más citas.

En la última década, numerosas revistas, incluidas las de la colección SciELO Brasil, comenzaron a incorporar el índice Altmetric en sus artículos, junto con otros índices basados en citas, como Dimensions, ScienceOpen y otros, que muestran a los lectores el “impacto alternativo” con actualizaciones diarias, es decir, cuánto se mencionó ese artículo en redes sociales (Twitter, Facebook, Instagram, LinkedIn, etc.), blogs, noticias, patentes, páginas de Wikipedia y otras menciones.

Los autores Spatti, Cintra, Bin y Ferreira Araújo realizaron un estudio altmétrico¹ para evaluar la presencia de la producción científica de América Latina en la web social utilizando la colección de revistas y artículos indexados en SciELO. El corte realizado por los autores en la colección comprende los siguientes países: Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, México, Paraguay, Perú, Uruguay y Venezuela. Los datos se extrajeron de la plataforma altmetric.com de Digital Science para artículos publicados entre 2015 y 2018. Este subconjunto incluye 1.211 revistas y 140.158 artículos.

La investigación arrojó que de las 1.211 revistas, 707 (58%) tenían artículos compartidos por redes sociales y menciones cubiertas por la plataforma Altmetric. De los 141.158 artículos, sin embargo, una fracción menor, 18.737 (13%) fueron mencionados en la web social.

Del total de estas menciones, 58.994 (media de 3,14 menciones/artículo), la gran mayoría, el 94,3%, fueron en redes sociales (Twitter, 73,8%; Facebook, 20,0%; y Google+, 0,4%;); 3,7% en sitios de noticias y blogs; 0,7% en documentos de póliza y patentes; y el 1,3 % de otras fuentes (Wikipedia, videos, publicaciones de preguntas y respuestas y sitios académicos de revisión por pares).

El hecho de que Twitter ocupe el primer lugar (73,8%) como la plataforma más utilizada para compartir artículos de investigación, seguida de lejos por Facebook (20,0%) en segundo lugar, era en cierto modo esperado, debido a que al ser la plataforma de más rápido crecimiento entre académicos para compartir y recomendar publicaciones, según estudios previos. Sin embargo, es necesario hacer una reserva sobre los datos de Facebook, ya que es posible que los datos de esta red social estén subestimados, ya que la búsqueda altmetric no tiene en cuenta las publicaciones en grupos cerrados o perfiles de acceso restringido, a diferencia de Twitter, cuyos datos son ampliamente capturados.

Un dato interesante obtenido por los autores del artículo se refiere al origen de los tuits sobre publicaciones latinoamericanas. Más de un tercio de ellos se originan fuera de América Latina. Este porcentaje es del 100% para artículos de Cuba y Bolivia, 63% para Argentina, 57% para Venezuela, 43% para Brasil, 36% para Chile, 29% para México y 24% para Costa Rica. Los demás países muestran porcentajes del orden del 10-15%. Los países de donde proceden la mayoría de los tuits son Reino Unido, España, Estados Unidos y Malasia.

Estos resultados llaman inmediatamente la atención sobre el idioma de las publicaciones, variable que puede influir en el rendimiento altmétrico de los artículos. De la muestra estudiada por los autores, el 57% de las menciones son a artículos en inglés, 24% en español y 18% en portugués, indicando una internacionalización de las publicaciones latinoamericanas. Cabe mencionar el caso de Brasil, donde el 70% de las menciones son a artículos en inglés, el 27% a artículos en portugués y el 3% en español. Estos datos están en línea con la política de internacionalización de SciELO,² que entró en vigor en 2014.

Los autores también destacan que la mayoría de los desarrollos y aplicaciones para la web, especialmente los de aplicación académica, son desarrollados por investigadores para publicaciones en idioma inglés, por lo que en las naciones no angloparlantes se producen sesgos en el seguimiento. de material en la web por dichas aplicaciones.

El estudio también evaluó el número promedio de menciones de artículos por revista en cada país de América Latina. Chile ocupa el primer lugar en porcentaje de revistas con el 81% de sus revistas presentes en Altmetric, seguido de Brasil (76%), Colombia (75%), Costa Rica (61%), Perú (60%) y México (50%). Brasil lidera el ranking del país con mayor porcentaje de artículos con mención (20%) y mayor promedio de artículos con mención por revista (44%). El buen resultado en Brasil posiblemente se deba a la política de SciELO de incentivar la difusión de las revistas en las redes sociales, que a partir de 2014 incluye en los Criterios de Selección y Permanencia de la Colección SciELO Brazil³ un plan de difusión que prevé la creación de un perfil de revista en redes sociales como Facebook y/o Twitter.

Para evaluar la influencia del área de conocimiento en la presencia web de los artículos, el estudio de Spatti et al.,¹ indicó que es necesario identificar un patrón de comportamiento según el área de conocimiento, especialmente para países con mayor participación. Brasil, al igual que Chile, Colombia y Ecuador, tienen fuertes publicaciones en el área de las ciencias biológicas y de la salud y de las ciencias humanas y sociales aplicadas, y es en esa área que las redes sociales, blogs y sitios de noticias, documentos de políticas y patentes y fuentes académicas. En cambio, en Chile, Venezuela, Argentina y Costa Rica predominan las revistas de Ciencias Biológicas y de la Salud, así como las menciones en la web social. En Perú, sin embargo, no hay diferencia entre las áreas para las menciones altmétricas.

El comportamiento altmétrico de los perfiles de países aquí analizados permite identificar tres indicadores para la caracterización de perfiles: penetración (cobertura altmétrica en términos de revistas y publicaciones); inserción (porcentaje de automención y mención latinoamericana) e internacionalización (porcentaje de mención no latinoamericana y artículos mencionados en inglés).

Con base en estos indicadores, fue posible identificar tres grupos. El primer grupo está formado únicamente por Brasil. Posee alta inserción evidenciada por el número de revistas y número de artículos ubicados en altmetric; alta inserción, con un porcentaje del 48% de automención; y alta internacionalización, con 43% de menciones no latinoamericanas y 70% de publicaciones mencionadas en inglés.

El segundo grupo lo conforman Chile, Colombia y Costa Rica, países cuyo comportamiento altmétrico muestra: penetración media (porcentaje de revistas con menciones superiores a la mediana de la región y porcentaje de artículos con menciones cercanas a la mediana de la región); alta inserción, con un porcentaje significativo de automenciones e internacionalización media, caracterizado por porcentajes entre 10-36% de menciones no latinoamericanas y 23-35% de artículos mencionados en inglés.

El tercer grupo, formado por Perú y México, tiene un perfil más moderado, con penetración media, caracterizado por el porcentaje de artículos y revistas con menciones cercanas a la mediana de los países; inserción media, con un porcentaje de automención de 27-44% y perfil internacional moderado, 14%-29% de menciones no latinoamericanas y 25-27% de menciones de artículos en inglés.

Un cuarto grupo lo forma solo Argentina, caracterizado por baja penetración e inserción, pero alta internacionalización, con un 63% de menciones no latinoamericanas. Finalmente, un quinto grupo incluye a Ecuador, Venezuela, Uruguay, Cuba, Bolivia y Paraguay, países con baja penetración y valores absolutos de publicaciones con mención por debajo de 100, lo que hace inviable un mayor análisis.

Es importante resaltar que el artículo de Spatti, et al.¹ se publicó en 2021, con datos de 2015 a 2018. Es de esperar que después de tres años se hayan producido cambios tanto en el perfil de los artículos publicados, en cuanto al porcentaje de internacionalización de las publicaciones, como en la difusión de los mismos. estos artículos a través de las redes sociales, lo que habría aumentado la penetración, inserción e internacionalización.

Las métricas alternativas, como señalan los autores del artículo, se interpretan mejor en comparación con las métricas basadas en citas y otras, como las medidas de uso y descarga. En este sentido, la evaluación de la ciencia producida y publicada en revistas latinoamericanas se beneficiaría mucho de nuevos análisis de esta naturaleza.

Notas

1 SPATTI, A.C., et al. Métricas alternativas para avaliação da produção científica latino-americana: um estudo da rede SciELO. Inf. Inf. [online]. 2021, vol. 26, no. 2, pp. 596-624 [viewed 09 February 2022]. http://doi.org/10.5433/1981-8920.2021v26n2p596. Available from: https://www.uel.br/revistas/uel/index.php/informacao/article/view/41474

2. PACKER, A. La internacionalización de las revistas fue el tema central de la IV Reunión Anual de SciELO [online]. SciELO en Perspectiva, 2014 [viewed 09 February 2022]. Available from: https://blog.scielo.org/es/2014/12/16/la-internacionalizacion-de-las-revistas-fue-el-tema-central-de-la-iv-reunion-anual-de-scielo/

3. Criterios SciELO Brasil: https://www.scielo.br/about/criterios-scielo-brasil

Referencias

ENKHBAYAR, A. and ALPERIN, J. P. Challenges of capturing engagement on Facebook for Altmetrics [online]. arXiv. 2018 [viewed 09 February 2022]. Available from: https://arxiv.org/abs/1809.01194

ORTEGA, J. S. Las revistas académicas con presencia en Twitter están más ampliamente diseminadas y reciben un mayor número de citas [Publicado originalmente en el blog LSE Impact of Social Sciences en Diciembre/2017] [online]. SciELO en Perspectiva, 2017 [viewed 03 February 2022]. Available from: https://blog.scielo.org/es/2017/12/14/las-revistas-academicas-con-presencia-en-twitter-estan-mas-ampliamente-diseminadas-y-reciben-un-mayor-numero-de-citas/

ORTEGA, J. S. The presence of academic journals on Twitter and its relationship with dissemination (tweets) and research impact (citations). Aslib Journal of Information Management [online]. 2017, vol. 69, no. 6, pp. 674-687, ISSN: 2050-3806 [viewed 09 February 2022]. https://doi.org/10.1108/AJIM-02-2017-0055. Available from: http://www.emeraldinsight.com/doi/abs/10.1108/AJIM-02-2017-0055

PACKER, A. La internacionalización de las revistas fue el tema central de la IV Reunión Anual de SciELO [online]. SciELO en Perspectiva, 2014 [viewed 09 February 2022]. Available from: https://blog.scielo.org/es/2014/12/16/la-internacionalizacion-de-las-revistas-fue-el-tema-central-de-la-iv-reunion-anual-de-scielo/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Entrevista con Atila Iamarino [online]. SciELO en Perspectiva, 2013 [viewed 09 February 2022]. Available from: https://blog.scielo.org/es/2013/11/29/entrevista-con-atila-iamarino/

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. Entrevista con Euan Adie, CEO de altmetric.com [online]. SciELO en Perspectiva, 2013 [viewed 04 February 2022]. Available from: https://blog.scielo.org/es/2013/08/29/entrevista-con-euan-adie-ceo-de-altmetric-com/

SPATTI, A.C., et al. Métricas alternativas para avaliação da produção científica latino-americana: um estudo da rede SciELO. Inf. Inf. [online]. 2021, vol. 26, no. 2, pp. 596-624 [viewed 09 February 2022]. http://doi.org/10.5433/1981-8920.2021v26n2p596. Available from: https://www.uel.br/revistas/uel/index.php/informacao/article/view/41474

The donut and Altmetric Attention Score [online]. Altmetric [viewed 09 February 2022]. Available from: https://www.altmetric.com/about-our-data/the-donut-and-score/
Enlaces externos
Criterios SciELO Brasil: https://www.scielo.br/about/criterios-scielo-brasil

The Leiden Manifesto for Research Metrics. http://www.leidenmanifesto.org/

The San Francisco Declaration on Research Assessment (DORA): https://sfdora.org/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.