Downloads de artigos: Um indicador alternativo do impacto da pesquisa nacional e compartilhamento de conhecimento intersetorial – Publicado originalmente na newsletter Elsevier “Research Trends Issue 36”

Por Andrew Plume e Judith Kamalski

Hoje em dia, o surgimento de métricas alternativas como indicadores complementares para avaliar o valor e o impacto de artigos de pesquisa centrou-se principalmente no nível do artigo e/ou do autor. Entretanto, tais métricas – que podem incluir menção nas mídias sociais, cobertura na mídia tradicional impressa e na online, e contagem de download de textos completos – raramente foram aplicadas anteriormente para níveis mais elevados de agregação como temas de pesquisa, periódicos, instituições ou países. Em particular, o uso de contagens de downloads de artigos (também conhecidos como estatísticas de uso de artigos) não foi utilizado desta forma devido à dificuldade de agregação de contagens de downloads de artigos em várias plataformas de publishers para obter uma visão holística. Enquanto o significado de um download, definido como o evento em que o usuário visualiza o HTML do texto completo de um artigo ou o download do PDF do texto completo de um artigo a partir de uma plataforma de texto completo de artigo de periódico, continua  uma questãocontroversa, é geralmente considerado como representando uma indicação do interesse do leitor e/ou do impacto da pesquisa.

Como parte do relatório ”Desempenho International Comparativo da Base de Pesquisa do Reino Unido: 2013″, encomendado pelo Departamento Britânico para Negócios, Inovação e Habilidades (Department of Business, Innovation and Skills, BIS), dados de downloads foram usados ​​de duas diferentes maneiras para explicar o que não seria possível a partir de indicadores mais tradicionais, baseados em citação. Neste relatório, publicado em dezembro de 2013, dados de downloads foram usados ​​juntamente com dados de citação em comparações internacionais de modo a oferecer uma perspectiva diferente sobre o impacto da pesquisa nacional, e também foram usados ​​para fornecer uma visualização exlusiva do intercâmbio de conhecimento entre autores e leitores em dois segmentos distintos porem interconectados do cenário de realização e consumo da pesquisa: os setores acadêmico e empresarial.

Comparando o impacto da pesquisa nacional utilizando um indicador inédito derivado da contagem de downloads de artigos

Impacto baseado em citação é, por definição, um indicador defasado: artigos recém-publicados precisam ser lidos, após o qual podem influenciar os estudos que serão, são ou foram executados, os quais são, então, escritos na forma de manuscrito, submetidos à revisão por pares, publicados e, finalmente, incluídos em um índice de citação, como o Scopus e o SciELO. Somente após estas etapas serem concluídas as citações de artigos anteriores podem ser sistematicamente contadas. Normalmente, uma janela de citação de três a cinco anos após o ano de publicação fornece resultados confiáveis. Por esta razão, a contagem de downloads tornou-se uma alternativa atraente, uma vez que é possível iniciar a contagem de downloads de textos completos de artigos em texto  imediatamente após a publicação on-line e derivar indicadores robustos em períodos de meses ao invés de anos.

Embora haja um considerável volume de literatura sobre o significado das citações e dos indicadores delas derivados, o advento relativamente recente dos indicadores derivados de downloads denota que não há um consenso claro sobre a natureza do fenômeno que é medido pelo contagem de downloads. Um pequeno número de estudos concluiu, no entanto, que a contagem de downloads pode ser um preditor débil   das contagens subsequentes  de citações  em nível de artigo.

Para obter uma perspectiva diferente sobre o impacto da pesquisa nacional, um indicador inédito denominado field weighted download impact  – FWDI (impacto de downloads ponderado por campo) foi desenvolvido de acordo com os mesmos princípios aplicados ao cálculo do  field-weighted citation impact –  FWCI, uma métrica Snowball (impacto de citação ponderado por campo). O impacto de uma publicação, seja ele medido através de citações ou de downloads, é normalizado para comportamentos específicos das disciplinas. Uma vez que artigos de periódicos em texto completo estão presentes em uma variedade de websites de publishers e agregadores, não há nenhuma base de dados central de estatísticas de downloads disponível para análise comparativa; em vez disso, a plataforma de artigos de periódicos de texto completo ScienceDirect da Elsevier (que representa cerca de 16 % dos artigos indexados na Scopus ) foi usada com o pressuposto de que o comportamento dos downloads entre os países não difere sistematicamente entre plataformas online. No entanto, há uma diferença importante entre FWCI e FWDI a este respeito: o cálculo do FWCI relaciona-se com todos os artigos-alvo publicados em periódicos cobertos pela Scopus, enquanto o FWDI está relacionado aos artigos-alvo publicados apenas em periódicos Elsevier. O efeito dessas diferenças será testado em pesquisa futura. Na abordagem atual, um download é definido como o evento em que um usuário visualiza o texto completo em HTML de um artigo ou faz o download do texto completo em PDF de um artigo do  ScienceDirect; visualizações apenas do resumo do artigo e múltiplas visualizações do HTML do texto completo ou downloads do PDF do mesmo artigo durante a mesma sessão do usuário não são consideradas, de acordo com o Código de Prática do COUNTER.

Uma comparação da FWCI (derivado de dados Scopus) e FWDI em 2012 através dos 10 mais importantes campos de pesquisa para países selecionados é mostrada na Figura 1. O primeiro ponto digno de nota sobre a comparação é que, tipicamente, o FWDI é mais consistente através dos campos e entre os países. É possível que essa observação possa refletir uma convergência subjacente do FWDI entre os campos e através dos  países, devido a um maior grau de universalidade no comportamento dos downloads (ou seja: o interesse do leitor ou a intenção de ler um artigo expresso pelos downloads dos artigos) do que no comportamento de citação, mas isso não é possível discernir a partir da análise destes próprios indicadores e ainda não foi testado.

Entretanto, o FWDI parece oferecer uma visão complementar interessante do impacto da pesquisa de um país; por exemplo, os valores arredondados e consistentes de FWCI e FWDI através dos campos para países que são potências estabelecidas em pesquisa, tais como o Reino Unido, EUA, Japão, Itália, França, Alemanha e Canadá contrastam com os padrões muito menos uniformes do FWCI através dos campos de pesquisa para as nações emergentes em pesquisa como Brasil, Rússia , Índia e China, para os quais FWCI é geralmente menor e mais variável através dos campos de pesquisa do que em FWDI . Esta observação sugere que para estes países o interesse do leitor expresso por meio de downloads de artigos não é convertido  em citações a uma taxa muito elevada. Mais uma vez, isso aponta para a ideia de que o usuário faz downloads (e, por implicação, lê) amplamente através da literatura, porém cita mais seletivamente, e isso pode refletir diferenças na facilidade (e significado) de fazer downloads versus citar. Outra possível explicação reside no fato de que, dependendo do país, pode haver sobreposição mais fraca ou mais forte entre as comunidades de leitores e citantes. Um terceiro aspecto que pode ser relevante aqui é a cobertura regional. Publicações destes países com um elo fraco entre downloads e citações podem ser preferencialmente baixadas por autores destes mesmos países, apenas para ser citadas depois em periódicos locais que não são tão amplamente cobertos pelo Scopus como o são periódicos de língua inglesa.

Figura 1 – Impacto por citação ponderado pelo campo (FWCI) e impacto por download ponderado pelo campo (FWDI) para países selecionados em dez campos de pesquisa em 2012. Para todos os campos  de pesquisa, uma citação ponderada pelo campo ou um impacto por download ponderado pelo campo de 1,0 é igual à média mundial neste campo de pesquisa em particular. Note-se que o eixo máximo é aumentado para a Itália (para 2,5). Fonte: Scopus e ScienceDirect.

Examinando autoria e atividade de downloads de artigos por autores e usuários corporativos e acadêmicos como um indicador inédito de intercâmbio de conhecimento intrsetorial

O intercâmbio de conhecimento é uma transferência bidirecional de idéias e informação; em termos de política de pesquisa, o foco é normalmente o intercâmbio  de conhecimento entre a academia e a indústria como um canal entre o investimento público em pesquisa e a sua comercialização pelo setor privado, levando finalmente ao crescimento econômico. Intercâmbio de conhecimento é um fenômeno complexo e multidimensional, cuja essência não pode ser totalmente capturado com abordagens baseadas em indicadores, e porqueo conhecimento reside nas pessoas e não em documentos, muito conhecimento é tácito ou difícil de articular. Apesar disso, indicadores significativos de intercâmbio de conhecimento ainda são necessários para informar  política conduzida por evidências. Para esta finalidade, uma visão única sobre o intercâmbio de conhecimento entre autores e leitores na academia e afiliações corporativas pode ser derivada por meio da análise do setor  que faz  downloads de artigos com pelo menos um autor corporativo, e o setor de autoria dos artigos cujo download form feito por usuários corporativos.

Dado o contexto do relatório “Desempenho International Comparativo da Base de Pesquisa do Reino Unido: 2013”esta análise foi feita com base em artigos de autoria corporativa do Reino Unido e usuários corporativos baseados no Reino Unido. Mais uma vez, os dados do ScienceDirect foram utilizados com a suposição de que o comportamento de download através  dos setores (acadêmico e corporativo, nesta análise) não difere sistematicamente entre as plataformas online.

Uma visão da fração de downloads de artigos com pelo menos um autor com afiliação corporativa (derivado da Scopus) por setor que faz o download (conforme definido no ScienceDirect ), em dois períodos consecutivos e sem sobreposição é mostrada na Figura 2. O download de artigos do Reino Unido com um ou mais autores, com uma filiação corporativa por usuários em outros setores no Reino Unido indica forte fluxo de conhecimento intersetorial dentro do país.  Uma fração de 61,7% de todos os downloads de artigos de autoria corporativa no período 2008-12 veiode usuários do setor acadêmico (ver Figura 2), um aumento de 1,1% sobre a parcela equivalente a 60,6% para o período de 2003-07. Usuários no setor corporativo são responsáveis por 35,2% dos downloads de artigos de autoria corporativa no período 2008-12, um decréscimo de -1,0% na fração de 36,2% no período 2003-07. Tomados em conjunto, estes resultados indicam elevado e crescente uso de pesquisa de autoria corporativa pelo setor acadêmico.

Figura 2 – Percentagem de downloads de artigos com pelo menos um autor corporativo por setor que faz o download, 2003-07 e 2008-12. Fonte: Scopus e ScienceDirect .

Uma visão da fração de downloads de artigos por usuários no setor corporativo (como definido no ScienceDirect ) por afiliação de autor (derivado da Scopus ) nos mesmos dois períodos de tempo é mostrado na Figura 3. O download de artigos do Reino Unido por usuários corporativos do Reino Unido também sugere crescimento de fluxos de conhecimento inter-setorial dentro do país.  Uma fração de 52,6% de todos os downloads por usuários corporativos no período 2008-12 foram de artigos com um ou mais autores com uma afiliação acadêmica, e 32,5% foram de artigos com um ou mais autores corporativos (ver Figura 3). Ambas as frações têm aumentado (1,3% e 2,1%, respectivamente) sobre as frações equivalentes para o período 2003-07, enquanto a percentagem de artigos com pelo menos um autor com uma afiliação médica cujo download foi feito por usuários corporativos diminuiu de um período para o outro. Tomados em conjunto, estes resultados indicam uso elevado e crescente da pesquisa de autoria do setor acadêmico do Reino Unido pelo setor corporativo.

Figura 3 – Participação do setor corporativo no download de artigos, 2003-07 e 2008-12. Frações somam 100%, apesar da coautoria de alguns artigos entre setores, devido à derivação de frações a partir da duplicação da contagem total de downloads em todos os setores. Fonte: Scopus e ScienceDirect.

Downloads de artigos como um indicador inovador: conclusão

No relatório “Desempenho Comparativo International da Base de Pesquisa do Reino Unido: 2013”, dados de downloads foram usados ​​juntamente com dados de citação em comparações internacionais para ajudar a descobrir novas percepçõessobre o desempenho do Reino Unido como um sistema nacional de pesquisa em um contexto internacional.

No entanto, algumas questões metodológicas ainda precisam ser respondidas. Claramente, a suposição de que os comportamentos de downloads não diferem entre plataformas precisa ser testada em pesquisas futuras. A análise sobre a relação entre FWCI e FWDI mostrou como isso difere de um país para outro. Os exemplos fornecidos no relatório sobre downloads de publicações a partir de diferentes setores estão focados apenas no Reino Unido, e devem ser complementados com pontos de vista sobre outros países.

Prevemos que as abordagens descritas neste artigo, agora bastante inovadoras, um dia se tornarão corriqueiras nas ferramentas daqueles envolvidos em avaliações de desempenho de pesquisa globalmente, para o benefício da pesquisa, dos pesquisadores e da sociedade.

Referencias

MOED, H.F. Statistical relationships between downloads and citations at the level of individual documents within a single journal. Journal of the American Society for Information Science and Technology. 2005, v. 56, pp. 1088-1097.

SCHLOEGL, C., and GORRAIZ, J. Comparison of citation and usage indicators: The case of oncology journals. Scientometrics. 2010, v. 82, pp. 567-580.

SCHLOEGL, C., and GORRAIZ, J. Global usage versus global citation metrics: The case of pharmacology journals. Journal of the American Society for Information Science and Technology. 2011, v. 62, pp. 161-170.

MOED. H.F. Citation Analysis in Research Evaluation. Dordrecht: Springer. 2005. pp. 81.

CRONIN, B. A hundred million acts of whimsy? Current Science. 2005, v. 89, pp. 1505-1509.

BORNMANN, L., and DANIEL, H. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation. 2008, v. 64, pp. 45-80.

KURTZ, M.J., and BOLLEN, J. Usage Bibliometrics. Annual Review of Information Science and Technology. 2010, v. 44, pp. 3-64.

See http://www.snowballmetrics.com/.

Links externos

Métricas alternativas – http://www.researchtrends.com/issue-35-december-2013/towards-a-common-model-of-citation-some-thoughts-o

Desempenho International Comparativo da Base de Pesquisa do Reino Unido: 2013- http://info.scival.com/research-initiatives/BIS2013

Scopus – http://www.scopus.com/

Snowball metric – http://www.snowballmetrics.com/

Science Direct – http://www.sciencedirect.com/

Código de Prática do COUNTER – http://www.projectcounter.org/code_practice.html

Artigo original em inglês

http://www.researchtrends.com/issue-36-march-2014/article-downloads/