O que podem nos fornecer as “métricas alternativas” ou altmetrias

O renomado periódico espanhol, El Profesional de la Información (EPI)¹, acaba de publicar em seu número de julho/agosto quatro artigos dedicados ao tema das “métricas alternativas” conhecidas como “altmetrias”.

EPI é um periódico especializado em ciências da informação que é publicado desde 1992 em espanhol e/ou inglês, do tipo “híbrido” com referência ao acesso aberto, e que para o grupo temático de idioma espanhol está entre os primeiros do mundo, medidos pelo Fator de Impacto, tanto no JCR como em Scopus. Três dos quatro artigos que comentaremos estão em acesso aberto.

O número começa com uma introdução do mesmo Euan Adie, fundador da Almetric.com; no artigo a seguir são apresentadas as novas possibilidades da altmetria para exploração de dados; seguem-se, então, reflexões sobre o possível uso para a avaliação da pesquisa, e o bloco de artigos é fechado com um estudo de caso que aplica a altmetria aos autores de maior impacto que escrevem na mesma revista EPI.

Euan Adie², que abre o número de EPI com o artigo “Taking the alternative mainstream”³, foi um dos palestrantes convidados no Congresso SciELO 15 Anos com a conferência Altmetrics na prática. Como em sua conferência apresentada em São Paulo, o artigo comenta as razões que justificam o uso da altmetria para medir a influência que os trabalhos científicos têm na sociedade, e considera que estas medidas são complementares à conta tradicional de citações, pois permitem ser usados em contextos mais amplos. Existem muitas classes de impacto, não somente bibliométricos, uma vez que a ciência tem repercussões na economia, na política, nos colegas pesquisadores e no público em geral.

Os principais interessados nestas métricas são os próprios autores, o que faz sentido, pois é de esperar que eles queiram indicadores se o que escreveram está obtendo a atenção do público e em que medida. Do ponto de vista prático, os editores de periódicos acadêmicos que proporcionam as altmetrias estão prestando um serviço pessoal aos autores.

O desafio desta nova ferramenta é que os dados altmétricos são muito transitórios e difíceis de recompilar e, atualmente, não se tem interpretações claras. Falta um marco teórico de aceitação geral.

O artigo “Altmétricas para la evaluación de la investigación y el análisis de necesidades de información”, aborda o tema principal que nos preocupa. Quão boas são as ferramentas que quantificam a presença na Web social como complementos das formas tradicionais de avaliação por impacto. O problema principal é de ordem epistemológica. É necessário também normalizar os procedimentos de coleta de dados, garantir a consistência dos indicadores de maneira que sejam comparáveis, e construir um marco conceitual de interpretação.

Os principais provedores de serviços altmétricos são:

• Altmetrics.com, de Macmillan Publishers; é o mais importante provedor com mais de 4.000 clientes e que também usa SciELO para sua coleção de periódicos brasileiros,
• Impactstory.org, com auxílio da Sloan Foundation,
• PlumAnalytics.com, recentemente adquirida pela Ebsco,
• Existem também outros provedores menores ou em formação.

As empresas Impactstory.org e Altmetrics.com estão em processo de fusão, motivo pelo qual, em breve, estará disponível um provedor maior cobertura.

Os dados “crus” (raw data) que são obtidos podem ser interpretados em cinco níveis ou categorias:

• As consultas recebidas (downloads) como medida de difusão do artigo.
• A quantidade de vezes que se inclui em um marcador social (CiteUlike, Mendeley) como medida de interesse.
• Os comentários em Twitter seriam uma medida de interesse mais intensa, imediata e transitória, também de interesse social.
• Aumenta o interesse se for recomendado por serviços especializados, como é nas áreas médicas o site Faculty of 1000.
• Finalmente, a medida tradicional de impacto segue sendo a citação por outro documento.

Mendeley é uma das fontes principais de dados altmétricos, com diferenças disciplinares. Porém, diferentemente das citações, que sempre são cumulativas, a cobertura do Mendeley é variável, pois os usuários modificam suas bibliografias e apagam aquelas que consideram obsoletas. Não se dispõe ainda de estudos longitudinais que analisem a cobertura das fontes de dados altmétricos ao longo do tempo. Outro problema das cifras do Mendeley é que mais da metade dos usuários são estudantes de doutorado, seguidos a uma grande distância por estudantes de pós-graduação e pesquisadores. Isso significa que os números provenientes do Mendeley são aportados por um grupo relativamente reduzido e enviesado. A representação se reduz fortemente nas ciências sociais e a menos de 30% nas humanidades.

Os procedimentos de recopilação de dados dos agregadores não estão normalizados, o que requer o estabelecimento de normas como a que está sendo gerada por NISO (2013)⁴. De modo que sob o termo “guarda-chuva” altmetria se considera uma grande variedade de métricas e indicadores que tentam medir a difusão social da pesquisa científica na Web. Fazem falta estudos qualitativos sobre o uso das ferramentas como Twitter, Facebook e outros, que nos ajudem a conhecer como os cientistas usam as ferramentas das redes sociais e em que medida.

O terceiro artigo do EPI, “New data, new possibilities: Exploring the insides of Altmetric.com“, reafirma os conceitos anteriores e apresenta uma tabela muito interessante com as 16 fontes principais de informação usadas por Altmetric.com para recompilar dados, a saber: Blogs, News, Reddit, Facebook, Google Plus, Pinterest, Twitter, Stack Exchange, CiteUlike, Connotea, Mendeley, F1000, YouTube, LinkedinGroups, Reserach Highlights, e outros.

Altmetrics.com informa que faz os maiores esforços para resolver ambiguidades, porém se está muito longe de chegar à exaustão, precisão e correção da informação. De qualquer forma, estas técnicas se aplicam somente às fontes em inglês, não em outros idiomas como o espanhol. Também é importante mencionar a omissão de redes sociais como Academia.edu ou ResearchGate, que são usadas por muitos pesquisadores. De acordo com o estudo publicado no EPI que comentamos, cinco fontes (Twitter, Mendeley, Facebook, CiteULike e blogs) dão conta de 95% da informação reunida, deixando para as restantes uma presença apenas marginal.

O artigo final de altmetria na EPI, “Presencia en redes sociales y altmétricas de los principales autores de la revista El Profesional de la Información”, analisa a presença e impacto dos 47 autores que mais publicaram no EPI no período 2009-2013, seus perfis públicos no Google Scholar Profiles, Linkedin e Mendeley, confirmando as reais dificuldades que implicam no cálculo de altmetrias tanto a nível de autor como de artigo, sem contar o problema de detecção de afiliações, a falta de estandardização nos títulos, etc.

Minha reflexão

As altmetrias são ferramentas em fase experimental que tem, todavia, dois temas a resolver. O primeiro é técnico, e se refere à recopilação de dados com melhor cobertura, em diversos idiomas, e poder resolver ambiguidades. Isso poderá ser obtido, uma vez que existem padrões internacionais aceitos, da mesma maneira que se obtiveram em outras métricas como Counter, para a medição do uso de recursos eletrônicos.

O segundo problema é mais complexo e tem a ver com a epistemologia, quer dizer, qual base teórica pode ser estabelecida para interpretar os dados obtidos por algoritmos de máquinas e deduzir de lá indicadores consistentes, confiáveis e inovadores. Se analisarmos a história do desenvolvimento da bibliometria e cienciometria clássica, levou cerca de 20 anos de discussões teóricas por eminentes especialistas para chegar a uma base de consenso de ferramentas e interpretações, pese a que, o mais famoso indicador que é o Fator de Impacto, segue, todavia levantando suspeitas e resistências.

Notas

¹ El Profesional de la Información. 2014, vol. 23, nº 4, July-August. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/issue.asp?referrer=parent&backto=journal,1,96;homemainpublications,1,1;

² Euan Adie – http://www.scielo15.org/euan-adie/

³ Taking the alternative mainstream – http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1

⁴ NISO to Develop Standards and Recommended Practices for Altmetrics. 20 junio 2013 – http://www.niso.org/news/pr/view?item_key=72efc1097d4caf7b7b5bdf9c54a165818399ec86

Referências

ADIE, E. Taking the alternative mainstream. EPI. 2014, vol. 23, nº 4, pp. 349-351. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1;

BORREGO, A. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. EPI. 2014, vol. 23, nº 4, pp. 352-358. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,2,12;journal,1,96;homemainpublications,1,1;

GARCÍA, NR., et al. New data, new possibilities: Exploring the insides of Altmetric.com. EPI. 2014, vol. 23, nº 4, pp. 359-366. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,3,12;journal,1,96;homemainpublications,1,1;

SALINAS, DT., and GUISADO, YM. Presencia en redes sociales y altmétricas de los principales autores de la revista El profesional de la información. EPI. 2014, vol. 23, nº 4, pp. 367-372. Available from: http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,4,12;journal,1,96;homemainpublications,1,1;

Links externos

Faculty of 1000 – http://f1000.com/

Counter. http://www.projectcounter.org/

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.