Discutiendo indicadores en la financiación de la investigación: ¿qué papel desempeñan los indicadores altmétricos? [Publicado originalmente en el blog Europe of Knowledge en Diciembre/2017]

Por Grischa Fraumann

De todos modos, las altmetrías o métricas alternativas están ganando impulso en la educación superior. Esta publicación se basa en mi tesis de maestría que explora el uso de las altmetrías con un enfoque en la financiación de la investigación. Las altmetrías rastrean y cuentan las menciones de productos académicos en las redes sociales, sitios de noticias, documentos de políticas y sitios de marcadores sociales. Luego, los proveedores de datos altmétricos agregan el número de menciones. Esto permite observar cuántas veces la investigación se ha visto, discutida, seguida, compartida y descargada.

Siguiendo esta línea de pensamiento, uno podría relacionar estas menciones con el impacto o la atención del público en general o en la sociedad fuera de la comunidad científica. Como tal, todos los que tengan una conexión a Internet podrán interactuar con productos académicos en línea, incluso si solo una fracción de la cantidad total de usuarios lo hace. Sin embargo, es importante tener en cuenta que estas menciones no se correlacionan con la calidad de un producto académico, en su mayoría visualizan una comunidad de atención, es decir, los usuarios de Internet que se involucran de algún modo u otro con un resultado académico, como el artículo de una revista. Las altmetrías son una innovación con potencial para un mayor desarrollo.

Siguiendo este desarrollo, las altmetrías han alcanzado los niveles más altos en los debates políticos europeos, y se han debatido, por ejemplo, durante el Open Science Mutual Learning Exercise (MLE) por el Horizon 2020 Policy Support Facility. Las MLE se llevan a cabo en el Joint Research Centre Research and Innovation Observatory (RIO) y están destinadas a proporcionar ejemplos de mejores prácticas de los Estados miembros de la Unión Europea (UE) y los países asociados. Se pueden encontrar pruebas adicionales en los grupos de expertos de alto nivel de la UE que asesoran a la Comisión Europea, entre otros, sobre ciencia, investigación e innovación. Desde 2016 hasta 2017, las altmetrías se han discutido en varios informes de estos órganos asesores de alto nivel.

Resultados claves

Para este estudio, en primer lugar, se hicieron entrevistas a los representantes de una organización financiadora de la investigación y a los formuladores de políticas. En segundo lugar, se invitó a los revisores de una organización financiadora de investigación e investigadores registrados en un sistema de altmetrías institucional a realizar una encuesta en línea. En general, los encuestados y entrevistados desconocen el uso de las altmetrías. Los datos también sugieren que algunos de los encuestados son muy conscientes de los debates sobre las altmetrías. Si uno sigue de cerca los debates internacionales sobre el uso de las altmetrías, podría sorprender que el concepto no se use en esta muestra. Se esperaba que más encuestados estuvieran al tanto del uso de las altmetrías. En particular, si las altmetrías se debaten en debates de alto nivel sobre políticas en la política de investigación de la UE, los investigadores deberían estar conscientes de ello, ya que esto también podría afectar su carrera académica en cierta medida.

Recomendaciones

Como se discutió anteriormente, las altmetrías parecen estar en aumento en documentos de política y otras iniciativas internacionales, como en el nivel de la política de la UE. A su vez, los hallazgos que podrían extraerse de esta muestra de partes interesadas sugieren que las altmetrías aún no están ampliamente difundidas. De hecho, eran desconocidas para la gran mayoría de los participantes del estudio. Además, los hallazgos de las entrevistas también mostraron que diferentes tipos de organización, disciplinas académicas y categorías adicionales deben tratarse de manera diferente. Como se ha demostrado en varios estudios técnicos, las altmetrías aún no están listas para su uso rutinario en las evaluaciones de investigación, y se deben abordar varios desafíos. Sin embargo, a través de las altmetrías, es posible hacer un cierto impacto en la sociedad visible o visualizar la atención. Cómo se interpreta y se contextualiza este impacto es esencial.

Además, algunos entrevistados sugirieron que las altmetrías podrían desempeñar un papel más importante al informar sobre investigaciones financiadas en lugar de demostrar el impacto en las solicitudes de financiamiento de investigación. Se presentaron críticas por algunos encuestados sobre las altmetrías. Además, las altmetrías solo deben verse como una medida complementaria en comparación con los recuentos de citas y, especialmente, la revisión por pares. Por ejemplo, el impacto de compartir un conjunto de datos de investigación puede hacerse visible de manera oportuna en comparación con el recuento de citas de un artículo de revista. El contexto de los datos de las altmetrías y los puntajes agregados deberían analizarse, como lo sugirieron varios expertos. Como se mencionó anteriormente, los hallazgos del estudio para esta muestra de partes interesadas en fondos de investigación indican que las altmetrías son en su mayoría desconocidas. Esto debería considerarse si los formuladores de políticas proponen el uso de altmetrías.

Esta publicación de blog se basa en la tesis de maestría del autor, “Valuation of altmetrics in research funding”¹.

Nota

1. FRAUMANN, G. Valuation of altmetrics in research funding. Tampere: University of Tampere, 2017. http://tampub.uta.fi/bitstream/handle/10024/101653/GRADU-1498478872.pdf?sequence=1&isAllowed=y

Referencias

BORNMANN, L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics [online]. 2014, vol. 8, no. 4, pp. 895–903 [viewed 11 may 2018]. DOI: 10.1016/j.joi.2014.09.005. Available from: http://doi.org/10.1016/j.joi.2014.09.005

CWTS Research Line in Altmetrics [online]. CWTS. 2017 [viewed 11 may 2018]. Available from: https://www.cwts.nl/research/working-groups/societal-impact-of-research/altmetrics

ERDT, M., et al. Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media. Scientometrics [online]. 2016, vol. 109, no. 2, pp. 1117–1166 [viewed 11 may 2018]. DOI: 10.1007/s11192-016-2077-0. Available from: http://doi.org/10.1007/s11192-016-2077-0

EUROPEAN COMMISSION. Europe’s future – open innovation, open science, open to the world: reflections of the Research, Innovation and Science Policy Experts (RISE) High Level Group. Brussels: European Commission, 2017.

EUROPEAN COMMISSION. Mutual Learning Exercise on Open Science: Altmetrics and Rewards under the Horizon 2020 Policy Support Facility (PSF). Second Workshop on “How to use Altmetrics in a context of Open Science [online]. RIO – H2020 | Research and Innovation Observatory – Horizon 2020 Policy Support Facility. 2017 [viewed 11 may 2018]. Available from: https://rio.jrc.ec.europa.eu/sites/default/files/Agenda MLE Open Science_Meeting 31 May 2017_Helsinki.pdf

FRAUMANN, G. Valuation of altmetrics in research funding. Tampere: University of Tampere, 2017.

HOLMBERG, K. Altmetrics for information professionals: Past, present and future. Waltham: Chandos Publishing, 2016.

LIU, J. and ADIE, E. New perspectives on article-level metrics: Developing ways to assess research uptake and impact online. Insights: The UKSG Journal [online]. 2013, vol. 26, no. 2, pp. 153–158 [viewed 11 may 2018]. DOI: 10.1629/2048-7754.79. Available from: http://doi.org/10.1629/2048-7754.79

PIWOWAR, H. Altmetrics: Value all research products. Nature [online]. 2013, vol. 493, no. 7431, 159 [viewed 11 may 2018]. DOI: 10.1038/493159a. Available from: http://doi.org/10.1038/493159a

PRIEM, J., et al. (2010). Altmetrics: a manifesto [online]. 2010 [viewed 11 may 2018]. Available from: http://www.altmetrics.org/manifesto

ROBINSON-GARCÍA, et al. New data, new possibilities: exploring the insides of Altmetric.com. El Profesional de La Informacion [online]. 2014, vol. 23, no. 4, pp. 359–366 [viewed 11 may 2018]. DOI: 10.3145/epi.2014.jul.03. Available from: http://doi.org/10.3145/epi.2014.jul.03

THELWALL, M., et al. Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS ONE [online]. 2013, vol. 8, no. 5, e64841 [viewed 11 may 2018]. DOI: 10.1371/journal.pone.0064841. Available from: http://doi.org/10.1371/journal.pone.0064841

Enlace externo

Grischa Fraumann <https://www.researchgate.net/profile/Grischa_Fraumann2>

Articulo original em inglés

https://era.ideasoneurope.eu/2017/12/15/discussing-indicators-research-funding-role-altmetrics-play/

Traducido del original en inglés por Ernesto Spinak.