Descargas de artículos: un indicador alternativo del impacto de la investigación nacional y el intercambio intersectorial de conocimientos – Publicado originalmente en la newsletter Elsevier “Research Trends Issue 36”

Por Andrew Plume y Judith Kamalski

A la fecha, el surgimiento  de métricas alternativas como indicadores complementarios para evaluar el valor y el impacto de los artículos de investigación se han centrado principalmente a nivel del artículo y/o del autor. Sin embargo, tales indicadores – que pueden incluir las menciones en los medios sociales, la cobertura en la prensa tradicional y los medios de comunicación en línea y la cuenta de descargas del texto completo – rara vez han sido aplicados anteriormente a niveles más altos de agregación, tales como los campos de investigación, revistas, instituciones o países. En particular, el uso de las cuentas de descargas de artículos (también conocidos como estadísticas de uso del artículo) no se han utilizado de esta manera debido a la dificultad en la agregación de las cuentas de descargas de artículos a través de múltiples plataformas de publishers para obtener una visión holística. Mientras que el significado de una descarga, que se define como el evento en que un usuario visualiza el  HTML de texto completo de un artículo, o descarga el PDF del texto completo de un artículo desde una plataforma de texto completo de revista, sigue siendo un tema de debate, generalmente se considera que representa una indicación de interés del lector y/o impacto de la investigación.

Como parte del informe International Comparative Performance of the UK Research Base: 2013, encargado por el Department for Business, Innovation and Skills (BIS) del Reino Unido, se usaron los datos de descarga en dos maneras diferentes para abrir perspectivas que no eran posibles a partir de los indicadores más tradicionales basados en las citas. En el informe los datos de descarga fueron usados junto con los datos de citas en las comparaciones internacionales para ofrecer una perspectiva diferente sobre el impacto de la investigación nacional y también se utilizaron para dar una visión única del intercambio de conocimientos entre autores y lectores en dos segmentos entrelazados del panorama, el que realiza la investigación y el que consume la investigación: el sector académico y el sector corporativo.

Comparando el impacto de la  investigación nacional usando un novedoso indicador derivado de los recuentos de descarga de artículos

El impacto de citas es por definición un indicador rezagado: es necesario leer los artículos recién publicados, después de lo cual podrían influir en los estudios que serán, están siendo o han sido llevados a cabo, que a continuación se escriben en manuscritos, que son arbitrados por pares, publicados, y finalmente incluidos en índices de citas como Scopus y SciELO. Sólo después que se hayan completados estos pasos pueden contabilizarse sistemáticamente las citaciones a artículos anteriores. Típicamente, una ventana de citación de tres a cinco años siguientes a ese año, si la publicación se ha demostrado que proporciona resultados fiables. Por esta razón, la investigación de descargas se ha convertido en una alternativa atractiva, ya que es posible comenzar a contabilizarse las descargas de los textos completos inmediatamente después de la publicación en línea y derivar indicadores sólidos en meses en lugar de años.

Si bien existe un cuerpo considerable de literatura sobre el significado de las citas y los indicadores derivados de éstas, la llegada relativamente reciente de los indicadores derivados de las descargas significa que no hay un claro consenso sobre la naturaleza del fenómeno que se mide por el recuento de descargas. Una pequeña cantidad de investigaciones han llegado a la conclusión, sin embargo, que el recuento de descargas podría ser un predictor débil de la subsiguiente cuenta de citas al nivel de artículo.

Para obtener una perspectiva diferente sobre el impacto nacional de investigación, se ha desarrollado un nuevo indicador llamado impacto de descarga ponderado por campo (FWDI) siguiendo los mismos principios aplicados al cálculo del impacto de citas ponderado por campo (FWCI: una métrica Snowball). El impacto de una publicación, tanto si se mide a través de las citas o de las descargas, se normaliza para los comportamientos específicos de las disciplinas. Debido a que los artículos de revistas a texto completo residen en una variedad de sitios Web de publishers y agregadores, no hay una base de datos central con estadísticas disponibles de descargas para análisis comparativos; en su lugar se usó la plataforma ScienceDirectde Elsevier de artículos de revistas a texto completo (que representa aproximadamente el 16% de los artículos indexados en Scopus) bajo el supuesto que el comportamiento de descargas entre los países no difiere sistemáticamente entre las plataformas en línea. Sin embargo, hay una diferencia importante entre FWCI y FWDI en este respecto: el cálculo de FWCI refiere a todos los artículos publicados en revistas cubiertas por Scopus, mientras que FWDI refiere a todos los artículos publicados solamente en revistas Elsevier. El efecto de tales diferencias será verificado en una próxima investigación. En el enfoque actual, una descarga se define como el evento donde un usuario mira el texto completo HTML de un artículo o descarga el PDF en texto completo de un artículo en ScienceDirect; la vista solamente del resumen de un artículo o múltiples visitas de texto completo en HTML o vistas o descargas del PDF del mismo artículo durante la misma sesión, no se incluyen de acuerdo con el Código de Práctica COUNTER.

En la Figura 1 se muestra una comparación del FWCI (derivado de los datos de Scopus) y FWDI en 2012 a través de 10 de  los más importantes campos de investigación  para países seleccionados. El primer punto a notar en la comparación es que, típicamente, el  FWDI es más consistente a través de los campos y entre países. Es posible que esta observación pueda reflejar una convergencia subyacente de FWDI entre campos y entre los países debido a un mayor grado de universalidad en el comportamiento de descarga (es decir, el interés del lector o la intención de leer un artículo expresado por la descarga del artículo) que en el comportamiento de citación, pero esto no es posible discernirlo del análisis de estos indicadores por sí mismos y se mantiene sin probar.

No obstante, FWDI parece ofrecer una visión complementaria interesante del impacto de la investigación de un país; por ejemplo los valores FWCI y FWDI relativamente redondeados y consistentes a través de los campos para potencias establecidas de investigación tales como Reino Unido, EE.UU., Japón, Italia, Francia, Alemania y Canadá contrasta con los patrones mucho menos uniformes del FWCI a través de los campos de investigación para las naciones emergentes como Brasil, Rusia, India y China, para las cuales el FWCI es típicamente más bajo y más variable a través de los campos de investigación que el FWDI. Esta observación sugiere que para estos países el interés de los lectores expresado mediante la descarga de artículos no se convierte en citaciones a una tasa alta. Una vez más, esto apunta a la idea de que los usuarios descargan (y por implicación, leen) ampliamente en toda la literatura pero citan más selectivamente, y pueden reflejar diferencias en cuanto a la facilidad (y sentido) de descargar versus citar. Otra explicación posible radica en el hecho de que, dependiendo del país, pueda ser más fuerte o más débil el solapamiento entre las comunidades que leen y las que citan. Un tercer aspecto que puede ser relevante aquí es la cobertura regional. Las publicaciones de estos países con una débil relación entre descargas y citaciones pueden ser descargadas preferentemente por autores de esos mismos países, sólo para ser citados después en las revistas locales que no están cubiertas extensamente en Scopus como revistas en idioma inglés.

Figura 1 — Impacto de citación ponderado por campo (FWCI) e Impacto de descarga ponderado por campo (FWDI) para países seleccionados en diez campos de investigación en 2012. Para todos los campos de investigación, un impacto 1,0 de descarga o citación ponderado por campo es igual a la media mundial para ese campo de investigación en particular. Note que el eje máximo se incrementa para Italia (a 2,5). Fuente: Scopusy ScienceDirect.

Examinando la autoría y la actividad de descarga de artículos por autores y usuarios corporativos y académicos como un novedoso  indicador de intercambio intersectorial de conocimiento

El intercambio de conocimientos es una transferencia bidireccional de ideas e información; en términos de políticas de investigación se centra normalmente en un intercambio de conocimientos entre la academia y la industria como un canal entre la inversión del sector público en investigación y la comercialización por el  sector privado, conduciendo en última instancia al crecimiento económico. El intercambio de conocimientos es un fenómeno complejo y multidimensional, la esencia del cual no puede ser capturada en su totalidad con un enfoque basado en indicadores, y puesto que el conocimiento reside en las personas y no en los documentos, mucho del conocimiento es tácito o difícil de articular. A pesar de esto, todavía son necesarios indicadores significativos de intercambio de conocimiento para la elaboración de políticas basadas en la evidencia. Para este fin, una vista singular del intercambio de conocimientos entre autores y lectores en la academia y con afiliaciones corporativas puede derivarse del análisis de descargas de artículos del sector con al menos un autor corporativo, y el sector de la autoría de los artículos descargados por los usuarios corporativos.

Dentro del contexto del informe International Comparative Performance of the UK Research Base: 201‘ este análisis se hizo sobre la base de los artículos de autores corporativos del Reino Unido y usuarios corporativos en el Reino Unido. Una vez más, se usaron los datos de ScienceDirect bajo el supuesto de que el comportamiento de descargas a través de los sectores (académico y corporativo en este análisis) no difiere sistemáticamente en las diferentes plataformas en línea.

En la Figura 2 se presenta una vista de la participación de descargas de artículos con al menos un autor con afiliación corporativa (derivada de Scopus) por el sector de descargas (como se define en ScienceDirect) en dos períodos de tiempo consecutivos que no se superponen. Las descargas de artículos del Reino Unido con uno o más autores con una afiliación corporativa por usuarios en otros sectores del Reino Unido indican un fuerte flujo de conocimientos intrasectorial en el país.El 61,7% de todas las descargas de artículos con autores corporativos en el período 2008-12 proviene de usuarios en el sector académico (vea Figura 2), un incremento del 1,1% sobre la participación equivalente del 60,6% para el período de 2003-7. Los usuarios en el sector corporativo representaron el 35,2% de las descargas de los artículos de autores corporativos en el período 2008-12, una disminución de -1,0% sobre la participación del 36,2% en el período 2003-07. Tomados en conjunto, estos resultaron indican un uso alto y creciente de investigación de autores corporativos por parte del sector académico.

Figura 2 — Porcentaje de las descargas de artículos con al menos un autor corporativo por el sector que descarga, 2003-07 y 2008-12. Fuente: Scopus y ScienceDirect.

En la Figura 3 se muestra una vista de la participación de descargas de artículos por usuarios del sector corporativo (como se define en ScienceDirect) por afiliación de autores (derivado de Scopus) en los mismos dos períodos de tiempo. Las descargas de artículos del Reino Unido por usuarios del sector corporativo del Reino Unido también sugieren un incremento del flujo de conocimientos intersectorial en el país. Aproximadamente el 52,6% de todas las descargas por usuarios corporativos en el período 2008-12 fue de artículos con uno o más autores con una afiliación académica, y 32,5% fue de artículos con uno o más autores corporativos (vea la Figura 3). Ambas participaciones se han incrementado (por 1,3% y 2,1% respectivamente) sobre las participaciones equivalentes para el período 2003-07, mientras que la participación de artículos con al menos un autor con afiliación médica descargado por usuarios corporativos se ha reducido de un período al siguiente. Tomados en conjunto, estos resultados indican un uso alto y creciente de investigación con autores académicos del Reino Unido por el sector corporativo del Reino Unido.

Figura 3 — Porcentaje de descargas de artículos por sector corporativo, 2003-07 y 2008-12. Los porcentajes suman 100% no obstante que la coautoria de algunos artículos entre sectores derivaron porcentajes de duplicados en la cuenta total de descargas a través de todos los sectores. Fuente: Scopus y ScienceDirect.

Descargas de artículos como un novedoso indicador: conclusión

En el informe ‘International Comparative Performance of the UK Research Base: 2013’, los datos de descarga se usaron junto con los datos de citación en comparaciones internacionales para ayudar a descubrir nuevas percepciones en el desempeño del sistema nacional de investigación del Reino Unido en el contexto internacional.

Sin embargo, algunas cuestiones metodológicas permanecen sin respuesta. Claramente, la suposición de que los comportamientos de descarga no difieren entre plataformas requiere ponerse a prueba en investigaciones futuras. El análisis de relaciones entre FWCI Y FWDI muestra cómo esto difiere de un país a otro. Los ejemplos proporcionados de la descargas de publicaciones de diferentes sectores están centrados solamente en el Reino Unido, y deben complementarse con análisis sobre otros países.

Prevemos que los enfoques descritos en este artículo, ahora bastante novedosos, un día se convertirán en un lugar común en los paquetes de herramientas de aquellos involucrados en las evaluaciones de desempeño  de la investigación a nivel mundial, en beneficio de la investigación, los investigadores y la sociedad.

Referencias

MOED, H.F. Statistical relationships between downloads and citations at the level of individual documents within a single journal. Journal of the American Society for Information Science and Technology. 2005, v. 56, pp. 1088-1097.

SCHLOEGL, C., and GORRAIZ, J. Comparison of citation and usage indicators: The case of oncology journals. Scientometrics. 2010, v. 82, pp. 567-580.

SCHLOEGL, C., and GORRAIZ, J. Global usage versus global citation metrics: The case of pharmacology journals. Journal of the American Society for Information Science and Technology. 2011, v. 62, pp. 161-170.

MOED. H.F. Citation Analysis in Research Evaluation. Dordrecht: Springer. 2005. pp. 81.

CRONIN, B. A hundred million acts of whimsy? Current Science. 2005, v. 89, pp. 1505-1509.

BORNMANN, L., and DANIEL, H. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation. 2008, v. 64, pp. 45-80.

KURTZ, M.J., and BOLLEN, J. Usage Bibliometrics. Annual Review of Information Science and Technology. 2010, v. 44, pp. 3-64.

See http://www.snowballmetrics.com/.

Enlaces externos

Metricas alternativas – http://www.researchtrends.com/issue-35-december-2013/towards-a-common-model-of-citation-some-thoughts-o

International Comparative Performance of the UK Research Base: 2013 – http://info.scival.com/research-initiatives/BIS2013

Scopus – http://www.scopus.com/

Snowball metric – http://www.snowballmetrics.com/

Science Direct – http://www.sciencedirect.com/

Código de Práctica COUNTER – http://www.projectcounter.org/code_practice.html

Artículo original en Inglés

http://www.researchtrends.com/issue-36-march-2014/article-downloads/

Traducido del original en inglés por Ernesto Spinak.