Qué nos pueden dar las “métricas alternativas” o altmetrías

La prestigiosa revista española, El Profesional de la Información (EPI)¹, acaba de publicar en su número de julio/agosto cuatro artículos dedicados al tema de las “métricas alternativas” conocidas como “altmetrías”.

EPI es una revista especializada en las ciencias de la información que se publica desde 1992 en español y/o inglés, del tipo “híbrida” respecto al acceso abierto, y que para el grupo temático de idioma español está entre las primeras del mundo medidas por el factor de impacto tanto en el JCR como en Scopus. Tres de los cuatro artículos que comentaremos están en acceso abierto.

El número comienza con una introducción del mismo Euan Adie, fundador de Almetric.com, en el artículo de continuación se presentan las nuevas posibilidades de la altmetría para exploración de datos, siguen entonces reflexiones sobre el posible uso para la evaluación de la investigación, y se cierra el bloque de artículos con un estudio de caso aplicando las altmetrías a los autores de mayor impacto que escriben en la misma revista EPI.

Euan Adie², que abre el número de EPI con el artículo “Taking the alternative mainstream”³, fue uno de los panelistas invitados al Congreso de SciELO 15 Años con la conferencia Altmetrics en la práctica, Al igual que en su conferencia que presentó en São Paulo, el artículo comenta las razones que justifican el uso de la altmetría para medir la influencia que los trabajos científicos tienen en la sociedad, y considera que esas medidas son complementarias a la cuenta tradicional de citaciones, porque permiten usarse en contextos más amplios. Hay muchas clases de impacto, no solamente bibliométricos, pues la ciencia tiene repercusiones en la economía, la política, en colegas investigadores y el público en general.

Los principales interesados en estas métricas son los propios autores, lo cual tiene sentido, pues es de esperar que ellos quieran indicadores sobre si lo que han escrito está obteniendo la atención del público y en qué medida. Desde el punto de vista práctico, los editores de revistas académicas que proporcionan las altmetrías están dando un servicio personal a los autores.

El desafío de esta nueva herramienta es que los datos altmétricos son muy transitorios y difíciles de recopilar y, de momento, no se tienen interpretaciones claras. Falta un marco teórico de aceptación general.

El siguiente artículo “Altmétricas para la evaluación de la investigación y el análisis de necesidades de información”, aborda el tema principal que nos preocupa. Qué tan buenas son las herramientas que cuantifican la presencia en la Web social como complementos de las formas tradicionales de evaluación por impacto. El problema principal es de orden epistemológico. Es necesario también normalizar los procedimientos de recolección de datos, garantizar la consistencia de los indicadores de manera que sean comparables, y construir un marco conceptual de interpretación.

Los principales proveedores de servicios altmétricos son

• Altmetrics.com, de Macmillan Publishers; es el más importante proveedor con más de 4.000 clientes y que también usa SciELO para su colección de revistas brasileras,
• Impactstory.org, con ayudas de la Sloan Foundation,
• PlumAnalytics.com, recientemente adquirida por Ebsco,
• Hay también otros proveedores menores o en formación.

Las firmas Impactstory.org y Altmetrics.com están en un proceso de fusión por lo que en breve se tendrá disponible un proveedor con mucha mayor cobertura.

Los datos “en crudo” que se obtienen pueden interpretarse en cinco niveles o categorías:

• Las consultas recibidas (donwloads) como medida de difusión del artículo.
• La cantidad de veces que se incluye en un marcador social (CiteUlike, Mendeley) como medida de interés.
• Los comentarios en Twitter serían una medida de interés más intensa, inmediata y transitoria, también de interés social.
• Aumenta el interés si es recomendado por servicios especializados, como lo es en las áreas médicas el sitio Faculty of 1000.
• Finalmente, la medida tradicional del impacto, sigue siendo la citación desde otro documento.

Mendeley es una de las fuentes principales de datos altmétricos, con diferencias disciplinares. Pero la diferencia de las citas que siempre son acumulativas, la cobertura de Mendeley es variable pues los usuarios modifican sus bibliografías y borran aquellas que consideran obsoletas. No se dispone aún de estudios longitudinales que analicen la cobertura de las fuentes de datos altmétricos a lo largo del tiempo. Otro problema de las cifras de Mendeley es que más de la mitad de los usuarios son estudiantes de doctorado, seguidos a gran distancia por estudiantes de posgrado e investigadores. Esto significa que las cifras provenientes de Mendeley son aportadas por un grupo relativamente reducido y sesgado. La representación se reduce fuertemente en las ciencias sociales y a menos del 30% en las humanidades.

Los procedimientos de recopilación de datos de los agregadores no están normalizados, lo que requiere el establecimiento de normas como la que está siendo generada por NISO (2013)⁴. De modo que bajo el término “paraguas” altmetría se consideran una gran variedad de métricas e indicadores que intentan medir la difusión social en la Web de la investigación científica. Hacen falta estudios cualitativos sobre el uso de las herramientas como Twitter, Facebook y otros, que nos ayuden a conocer cómo usan los científicos y en qué medida las herramientas de la red social.

El tercer artículo de EPI, “New data, new possibilities: Exploring the insides of Altmetric.com”, reafirma los conceptos anteriores y presenta una tabla muy interesante con las 16 fuentes principales de información usadas por Altmetric.com para recopilar datos, a saber: Blogs, News, Reddit, Facebook, Google Plus, Pinterest, Twitter, Stack Exchange, CiteUlike, Connotea, Mendeley, F1000, YouTube, LinkedinGroups, Reserach Highlights, Misceláneos.

Altmetrics.com informa que hace los mayores esfuerzos para resolver ambigüedades, pero todavía se está muy lejos de llegar a la exahustividad, precisión y corrección de la información. De todas maneras estas técnicas se aplican solamente a las fuentes en inglés, no así en otros idiomas como el español. También es importante mencionar la omisión de redes sociales como Academia.edu o ResearchGate, que son usadas por muchos investigadores. De acuerdo al estudio en EPI que comentamos, cinco fuentes (Twitter, Mendeley, Facebook, CiteULike y blogs) dan cuenta del 95% de la información relevada, dejando a las restantes una presencia solamente marginal.

El artículo final de altmetría en EPI, “Presencia en redes sociales y altmétricas de los principales autores de la revista El Profesional de la Información”, analiza la presencia e impacto de los 47 autores que más han publicado en EPI en el período 2009-2013, sus perfiles públicos en Google Scholar Profiles, Linkedin y Mendeley, confirmando las reales dificultades que implican el cálculo de altmetrías tanto a nivel de autor como artículo, sin contar el problema de detección de afiliaciones, la falta de estandarización en los títulos etc.

Mi reflexión

Las altmetrías son herramientas en fase experimental que tienen todavía dos temas a resolver. El primero es técnico, referido a la recopilación de datos con mejor cobertura, en diversos idiomas, y poder resolver ambigüedades. Esto podrá lograrse una vez que existan estándares internacionales aceptados, de la misma manera que se han obtenido en otras métricas como Counter para la medición del uso de recursos electrónicos.

El segundo problema es más complejo y tiene que ver con la epistemología, es decir qué base teórica puede establecerse para interpretar los datos obtenidos por algoritmos de máquinas y deducir de allí indicadores consistentes, creíbles e innovadores. Si analizamos la historia del desarrollo de la bibliometría y cienciometría clásica, llevó cerca de 20 años de discusiones teóricas por eminentes especialistas para llegar a una base consensuada de herramientas e interpretaciones, pese a lo cual, el más famoso indicador que es el Factor de Impacto, todavía sigue levantando suspicacias y resistencias.

Notas

¹ El Profesional de la Información. 2014, vol. 23, nº 4, July-August. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/issue.asp?referrer=parent&backto=journal,1,96;homemainpublications,1,1;

² Euan Adie – http://www.scielo15.org/euan-adie/

³ Taking the alternative mainstream –http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1

⁴ NISO to Develop Standards and Recommended Practices for Altmetrics. 20 junio 2013 – http://www.niso.org/news/pr/view?item_key=72efc1097d4caf7b7b5bdf9c54a165818399ec86

Referencias

ADIE, E. Taking the alternative mainstream. EPI. 2014, vol. 23, nº 4, pp. 349-351. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1;

BORREGO, A. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. EPI. 2014, vol. 23, nº 4, pp. 352-358. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,2,12;journal,1,96;homemainpublications,1,1;

GARCÍA, NR., et al. New data, new possibilities: Exploring the insides of Altmetric.com. EPI. 2014, vol. 23, nº 4, pp. 359-366. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,3,12;journal,1,96;homemainpublications,1,1;

SALINAS, DT., and GUISADO, YM. Presencia en redes sociales y altmétricas de los principales autores de la revista El profesional de la información. EPI. 2014, vol. 23, nº 4, pp. 367-372. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,4,12;journal,1,96;homemainpublications,1,1;

Enlaces externos

Faculty of 1000 – http://f1000.com/

Counter. http://www.projectcounter.org/

Sobre Ernesto Spinak

Colaborador del SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.