Estudio analiza el uso de las redes sociales en la evaluación del impacto científico

Por Lilian Nassi-Caló

Foto: Jason Howie.

En los últimos años, el uso de las redes sociales en la comunicación científica viene aumentando en gran escala, y han sido creadas plataformas específicas para la interacción e intercambio de información entre investigadores. A pesar el interés creciente de la comunidad académica en las redes sociales como forma de interacción e intercambio de información, se sabe poco al respecto del perfil de uso de estas herramientas, y acerca de cómo las medidas tradicionales de impacto científico basadas en citaciones (índices off-line, impacto off-line) se correlacionan con las nuevas medidas de impacto (índices online, impacto online).

Un estudio presentado en la 47^th Hawaii International Conference on System Sciences (HICSS) en 2014¹ por investigadores de la Universidad St. Gallen, en Suiza, evaluaron si y cómo el impacto científico puede ser medido mediante el análisis de datos de los medios sociales, y cómo este enfoque se relaciona con las métricas tradicionales. Según los autores, las medidas de centralidad de la red2 basadas en los medios sociales no habían sido consideradas en el contexto de la evaluación de impacto. Los resultados del trabajo exploratorio, realizado en una única institución, con un número pequeño de investigadores, indica que estas medidas presentan correlación con métricas tradicionales de impacto y pueden ser usadas para complementarlas.

Los Sitios de redes sociales (SRS) se definen como “servicios basados en la Web que permiten a los individuos (1) construir un perfil público o semi público dentro de un sistema limitado; (2) articular una lista de usuarios con quien se comparte una conexión, y (3) visualizar y recorrer su lista de conexiones y aquellas hechas por otras personas dentro del sistema”. Ejemplos de SRS son Academia.edu, ResearchGate, y Mendeley, pues son sitios destinados a la comunidad científica y, además de las funciones mencionadas, también permiten cargar y compartir artículos, apoyar el trabajo de colegas o encontrar literatura relacionada.

Tradicionalmente, el impacto científico se mide por métricas bibliográficas, como ser las publicaciones y citas en revistas arbitradas. Entre estos, están el Factor de Impacto (Web of Knowledge), el Scimago Journal Rank (Scopus, Elsevier), y el Índice h, los dos primeros enfocados en la publicación y el último en el investigador individual. Estas métricas incorporan numerosas fallas y limitaciones, como ha sido ampliamente discutido en la comunidad científica, inclusive en este blog. Las medidas de citaciones efectivamente reflejan el mérito del trabajo y su capacidad de pasar por el proceso editorial y de revisión por pares. Sin embargo, el impacto de una publicación también se refiere al grado de influencia que ella ejerce y, en este caso, las citaciones constituyen apenas una parte de la medida de esta influencia en la comunidad científica y en la sociedad. En ciertas disciplinas, otras formas de publicación como libros (en artes y humanidades), informes y manuales técnicos (ingeniería), presentaciones y anales de congresos (matemáticas, ciencias de la computación) suplantan los artículos de revistas, sin embargo no son detectados por la bibliometría tradicional. Además, estas métricas fomentan una cultura de autocitación y carteles de citación, descuidando su contexto, o sea, cómo y por qué ciertos artículos son citados.

A pesar de las limitaciones, las métricas tradicionales también poseen ventajas: permiten comparaciones entre revistas, disciplinas e instituciones, y son fáciles de calcular y de comprender. Sin embargo, hay un consenso de que el impacto científico no puede ser evaluado solo por las citaciones. Los autores demuestran mediante este estudio que el surgimiento de Internet como espacio para la comunicación científica, complementa el análisis del impacto científico, enriqueciendo y diversificando su evaluación.

Existen actualmente en desarrollo métricas alternativas de impacto científico basadas en los medios sociales como, por ejemplo, Altmetric, que parece ser muy prometedora. Las redes sociales almacenan mucha información y promueven conexiones entre comunidades de investigadores e interesados en general. El análisis de estas interacciones permite evaluar el impacto de publicaciones en un aspecto más amplio que las métricas tradicionales. Además, la altmetría y webometría (métricas basadas en la Web) pueden ser aplicadas a nivel del artículo, de la revista o del investigador individual. Altmetric fue adoptado por SciELO Brasil para acompañar el desempeño de los artículos en las redes sociales.

El Manifiesto Altmetrics hace una compilación de los objetivos y alcance de esta iniciativa. Sus autores definen que el impacto está formado por cuatro pilares: uso (acceso y descarga); arbitraje por pares (opinión de especialistas): citaciones; y el compuesto altmétrico (almacenamiento, links, bookmarks e intercambio). La gran ventaja, afirman, está en la rapidez con que un artículo es evaluado mediante los medios sociales. En vez de esperar dos años o más para contar citaciones, en apenas una semana los intercambios vía Twitter, Facebook, Linkedin y otros, pueden prever el impacto específico de un artículo, y no de la revista donde fue publicado.

El estudio de Hoffmann y colaboradores incluyó 55 académicos de una escuela pública de administración de la Universidad de St. Gallen, en Suiza. Los autores obtuvieron acceso al ResearchGate de los investigadores de esta institución entre setiembre de 2012 y febrero de 2013 y evaluaron tres indicadores para analizar las relaciones entre impacto científico online (medio sociales) y off-line (citaciones):

1. Antigüedad: cargo formal, distinciones, premios, participación en comités editoriales
2. Impacto de publicaciones: medidas bibliométricas clásicas como índice h y factor de impacto de las revistas, además del impacto online en SRS, como intercambios, descargas y bookmarks.
3. Centralidad de la red: medida de cuánto un investigador está conectado a otros miembros de la comunidad científica, una indicación de su importancia e influencia.

Los resultados obtenidos pueden ser resumidos de la siguiente forma:

• Al usar ResearchGate para trabajo en red, los investigadores tienden a seguir más a sus colegas de la institución que a establecer nuevos contactos;
• En las redes formadas por los académicos, los profesores asistentes ocupan las posiciones más centrales (esto es, establecen más conexiones con mayor número de colegas), seguidos por los profesores titulares, doctorados y postdosctorados;
• La actividad online (comunicación online) de los académicos se correlaciona fuertemente con las medidas de centralidad, pero no con el impacto off-line o la antigüedad;
• Las medidas de impacto online y off-line están fuertemente relacionadas. Sin embargo, si bien las medidas off-line está relacionadas con la antigüedad, el impacto online está relacionado con la centralidad de las posiciones que los actores ocupan en la red;
• La antigüedad está correlacionada con las medidas de centralidad, o sea, el capital social off-line se expresa también en el universo online.

La evaluación del desempeño de la investigación científica, de instituciones y de revistas hasta hace poco tiempo se basó casi exclusivamente en medidas bibliométricas, principalmente las citaciones. En la medida en surgen nuevas herramientas tecnológicas, se han propuesto métricas alternativas para evaluar el impacto científico. El presente estudio señala las limitaciones de las métricas tradicionales, tales como hacer caso omiso a los aspectos de las interacciones entre los actores de las redes, y la formación del capital social para miembros individuales. Como los medios sociales facilitan el análisis de red de los investigadores, sería de esperar que las medidas de centralidad de la red pudieran proporcionar datos sobre la evaluación del impacto científico.

Este estudio llevó a la conclusión de que los académicos de la universidad suiza usan las redes sociales más en el aspecto de Facebook que en el enfoque de Twitter, o sea, ellos no siguen a muchos de sus colegas, prefiriendo interactuar con su comunidad de contactos off-line, como colegas de la misma institución, o con quienes mantienen colaboración. Así, las redes sociales tienen como finalidad corroborar, más que la de establecer contactos.

Como era de esperar, los académicos al comienzo de la carreras – y por lo tanto más jóvenes – ocupan posiciones más centrales en las redes de relacionamiento y son más activos en las comunidades online, posiblemente en virtud de su deseo de proyección en la carrera y de establecer fuertes redes de colaboración, lo que puede resultar en mayor impacto en el futuro. En lo que se refiere al impacto de las publicaciones, la puntuación en altmetrics encuentra correlación con la antigüedad, más que con las métricas off-line tradicionales, como el índice h.

Este estudio contribuye al debate – apenas iniciado – sobre la evaluación del impacto científico y la altmetría. En esta pequeña muestra, el impacto online se correlaciona mejor con la antigüedad que con el impacto off-line, y el impacto online está fuertemente relacionado con la centralidad en la red. Así, las métricas basadas en las redes de relacionamiento podrían contribuir para elucidar la dinámica de las medidas de impacto científico online y off-line.

De acuerdo con los autores del manifiesto “la altmetría está en sus fases iníciales; muchas preguntas todavía no fueron respondidas. Sin embargo, dada la crisis enfrentada por los filtros existentes y la rápida evolución en la comunidad científica, la velocidad, la riqueza y la amplitud de la altmetría vale la pena invertir en esta iniciativa” (traducción libre) (PRIEM et al 2010).

Notas

¹ HOFFMANN, C.P., LUTZ, C., and MECKEL, M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. In: 47th Hawaii International Conference on System Science, Hilton Waikoloa Village, 2014. DOI: 10.1109/HICSS.2014.202

² Centralidad, en análisis de redes, se refiere a indicadores que identifican a los vértices más importantes dentro de un grafo. Las aplicaciones incluyen la identifcación de persona(s) más influyente(s) en una red social, nodos de infraestrutura en las redes de internet o redes urbanas, además de otras.
Fuente: Centrality. Wikipedia. [viewed 26 January 2015]. Available from: http://en.wikipedia.org/wiki/Centrality

Referencias

Altmetrics, Altmétricas, Altmetrías: nuevas perspectivas sobre la visibilidad y el impacto de la investigación científica. SciELO en Perspectiva. [viewed 31 January 2015]. Available from: http://blog.scielo.org/es/2013/08/14/altmetrics-altmetricas-altmetrias-nuevas-perspectivas-sobre-la-visibilidad-y-el-impacto-de-la-investigacion-cientifica/

Artículo investiga: ¿su trabajo más citado es su mejor trabajo?. SciELO en Perspectiva. [viewed 26 January 2015]. Available from: http://blog.scielo.org/es/2014/11/24/articulo-investiga-su-trabajo-mas-citado-es-su-mejor-trabajo/

BIK, H.M, and GOLSTEIN, M.C. An Introduction to Social Media for Scientists. PLoS Biol. 2013, vol. 11, nº 4. DOI: 10.1371/journal.pbio.1001535

BOYD, D., and ELLISON, N.B. Social Network Sites: Definition, History, and Scholarship. Journal of Computer-Mediated Communication. 2007, vol. 13, nº 1, pp. 210–230. DOI: 10.1111/j.1083-6101.2007.00393.x

Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 23 January 2015]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

Descargas de artículos: un indicador alternativo del impacto de la investigación nacional y el intercambio intersectorial de conocimientos – Publicado originalmente en la newsletter Elsevier “Research Trends Issue 36″. SciELO en Perspectiva. [viewed 26 January 2015]. Available from: http://blog.scielo.org/es/2014/03/24/descargas-de-articulos-un-indicador-alternativo-del-impacto-de-la-investigacion-nacional-y-el-intercambio-intersectorial-de-conocimientos-publicado-originalmente-en-la-newsletter-elsevier-reseatc/

El ascenso de los otros: el creciente impacto de las revistas non-elite – Publicado originalmente en el Blog Google Scholar el 08 de octubre 2014. SciELO en Perspectiva. [viewed 26 January 2015]. Available from: http://blog.scielo.org/es/2014/10/13/el-ascenso-de-los-otros-el-creciente-impacto-de-las-revistas-non-elite-publicado-originalmente-en-el-blog-google-scholar-el-08-de-octubre-2014/

Entrevista con Euan Adie, CEO de altmetric.com. SciELO en Perspectiva. [viewed 31 January 2015]. Available from: http://blog.scielo.org/es/2013/08/29/entrevista-con-euan-adie-ceo-de-altmetric-com/

Entrevista con Vincent Larivière. SciELO en Perspectiva. [viewed 26 January 2015]. Available from: http://blog.scielo.org/es/2013/08/16/entrevista-con-vincent-lariviere/

Estudio propone una taxonomía de razones para citar artículos en publicaciones científicas. SciELO en Perspectiva. [viewed 26 January 2015]. Available from: http://blog.scielo.org/es/2014/11/07/estudio-propone-una-taxonomia-de-razones-para-citar-articulos-en-publicaciones-cientificas/

HOFFMANN, C.P., LUTZ, C., and MECKEL, M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. In: 47th Hawaii International Conference on System Science, Hilton Waikoloa Village, 2014. DOI: 10.1109/HICSS.2014.202

PRIEM, J. Scholarship: Beyond the paper. Nature. 2013, vol. 495, nº 7442, pp. 437–440. DOI: 10.1038/495437a

PRIEM, J., and et al. Altmetrics: a manifesto. Altmetrics.org, 2010, pp. 1–5. Available from: http://altmetrics.org/manifesto/

Qué nos pueden dar las “métricas alternativas” o altmetrías. SciELO en Perspectiva. [viewed 31 January 2015]. Available from: http://blog.scielo.org/es/2014/08/07/que-nos-pueden-dar-las-metricas-alternativas-o-altmetrias/

Enlaces externos

Academia.edu – <http://www.academia.edu>

Altmetric – <http://www.altmetric.com/>

Mendeley – <http://www.mendeley.com/>

ResearchGate – <http://www.researchgate.net/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido de la versión en portugués por Ernesto Spinak.