Entrevista com Euan Adie, CEO da altmetric.com

Euan Adie

O surgimento de um novo conceito costuma gerar muitas questões –  e é o caso da Altmetria. O que quer dizer o termo altmetria? Essas novas métricas visam suplantar ou apenas complementar indicadores bibliométricos clássicos, baseados em citações? O que muda na nossa forma de compreender o impacto da pesquisa na academia e na sociedade? Qual o uso que se faz dessas novas métricas? De que maneira é expressa a preocupação ou a necessidade de seletividade na composição dessas métricas? Que controles e/ou mecanismos de correção a altmetria adota para enfrentar manipulações? Como são percebidas pelos sistemas de avaliação de pesquisa por instituições ou agências de fomento à pesquisa?

Nessa entrevista exclusiva, Euan Adie – CEO da empresa altmetric.com-, responde a essas e outras perguntas para o público do blog SciELO em Perspectiva, que continua empenhado em trazer a seus leitores as discussões que se travam mundialmente em relação a novas possibilidades de avaliação da pesquisa científica, abrindo novos horizontes para seu impacto e alcance.

1. Para começar, você pode nos falar sobre o surgimento do conceito de Altmetria, e por que este nome particular?

Claro! O “alt” se refere a alternativa: uma alternativa  à contagem única de citações para uso como indicadores. Altmetria se refere, essencialmente, a uma visão mais ampla dos resultados e impactos.

Parte da produção científica se refere a obtenção de crédito para ações  como falar em uma conferência, ou contribuir para uma base de dados, ou produzir um software. A parte de impacto se refere ao reconhecimento de que a pesquisa acadêmica influencia diferentes grupos em todos os tipos de forma, que não são captados apenas por citações.

Há muitas outras fontes de dados potencialmente interessantes, como notícias ou menções em mídias sociais, blogs, gerenciadores de referência, documentos de política científica e contagens de downloads: por que nós, como produtores e consumidores de pesquisa, não fazemos melhor uso deles?

Um tipo específico de altmetria é a métrica em nível de artigo: são métricas para um tipo de produção científica (artigos) e o tipo de dados que você pode ver em sites de editores de revistas científicas.

2. A altmetria lida com métricas alternativas que visam suplantar ou apenas complementar indicadores bibliométricos clássicos, baseados em citações?

Esta é uma boa pergunta. Citações ainda são uma medida muito importante – e a altmetria é mais complementar do que um substituto – mas as citações só medem um aspecto, que é o fato de que outro pesquisador considerou o artigo útil para seu próprio trabalho. Isso desconsidera outras formas de impacto, sejam elas clínicas, econômicas ou de outros públicos.

Dito isto, na comunidade de altmetria há amplo consenso sugerindo que a altmetria poderia ser uma alternativa ao uso do Fator de Impacto (FI) em áreas que o FI não é adequado (e há muitas delas).

Uma coisa fundamental a ser observada é que a altmetria não mede a qualidade, da mesma forma que as citações não medem qualidade. As pessoas podem citar o seu artigo porque ele é péssimo. Se você precisa saber o quão bom um trabalho é, então você deve lê-lo! Ou pedir a especialistas para lê-lo para você: bases de dados como a F1000¹ ou a coleção da Biblioteca Cochrane² são interessantes a este respeito.

3. A seguinte declaração feita por Ian Mulvany, da revista científica eLife³ sobre o Altmetric Explorer desenvolvido por sua empresa aparece no site da altmetric.com:

“Altmetric Explorer tem o potencial de mudar a forma como entendemos o impacto que da pesquisa na academia e mais importante, o impacto mais amplo na sociedade.”

Você poderia comentar sobre a forma como a nossa compreensão do impacto da pesquisa na academia e na sociedade vai mudar?

Sim, isso é menos sobre os números e mais sobre trazer à tona a informação a qual financiadores e autores não seriam expostos de outra forma.

Digamos que eu escreva um artigo sobre as melhores maneiras de cuidar de crianças autistas na enfermaria de um hospital pediátrico. Isso pode ter um impacto sobre a forma como os pediatras e enfermeiros praticam e melhoram a qualidade do atendimento de centenas de crianças: mas eu nunca saberia disso apenas pela contagem de citações. Eu poderia pesquisar uma doença rara, o meu grupo de pares é pequeno, mas tem um impacto importante sobre as pessoas e as famílias que lidam com essa doença. Eu poderia ter escrito um artigo que recebe enorme interesse de certas partes do público – vemos muito isso com, digamos, o interesse no Japão em pesquisa sobre os efeitos da radiação ionizante na saúde (depois de Fukushima…).

A altmetria não garante que você também vai ver a evidência de alguma das situações acima. Porém, prevê esta possibilidade, o que as citações não são capazes – apenas refletem o impacto entre as pessoas que escrevem artigos.  Devemos estar abertos a evidência de que um trabalho atingiu o público certo, venha de onde vier, seja ele um comentário no Reddit⁴, o blog de um enfermeiro ou uma matéria  de revista.

Há certa dificuldade em julgar o que é significativo e importante e o que não é.

4. Os serviços altmetric.com que operam ao nível de artigo podem ser adquiridos por pessoas físicas. Que uso os pesquisadores fazem destas métricas? Você acha que a altmetria encontrará seu caminho nos currículos dos pesquisadores?

Sim! Embora eu ache que, nesse momento, como evidência anedótica e não como métricas rígidas – você pode descobrir e anotar no seu CV que seus artigos foram encontrados por x canais de notícias, incluindo o NY Times, e blogs, incluindo o mais conhecido em seu campo, etc.

Vemos também muitas pessoas tuitando sobre a pontuação relativa (nos x% artigos mais relevantes).

Não tanto “Eu fui tuitado vinte vezes!” ou “Eu tenho uma pontuação altmétrica de quatorze!” – isso não significa tanto. É importante que as pessoas tenham o contexto para quaisquer números.

A maioria do uso que vemos é de autores que procuram seus próprios trabalhos, em vez de leitores que utilizam a altmetria para, por exemplo, o contexto ou descoberta.

5. Métricas ao nível de artigo podem ser estendidas para o nível de periódicos? Qual é a sua experiência? Você está ciente de quaisquer estudos que examinem a correlação entre a altmetria e o Fator de Impacto de periódicos? Você está pensando em trabalhar com a altmetria ao nível de periódicos?

Fomos questionados sobre isso algumas vezes, mas eu acho que é algo que precisamos de mais demanda de usuários finais. Com um artigo, é bastante fácil de detalhar os dados e ter uma ideia de porque ele vem recebendo atenção; é muito mais difícil fazer isso para um periódico pois você teria que tomar os números pelo valor nominal, o que não é necessariamente uma boa coisa.

Eu não vi nenhum estudo formal correlacionando altmetria e o FI, mas se você olhar para os dados de relance, as principais revistas, de acordo com a altmetria, são aproximadamente as mesmas principais revistas pelo FI: Nature, Science, The Lancet e assim por diante. Isto é em parte porque essas revistas têm um alcance muito maior do que outros títulos, e por isso o trabalho está exposto a mais pessoas, e naturalmente vão receber mais atenção.

As diferenças são interessantes. Vemos muita atenção em torno da PLoS One, e em torno de pre-prints, e em algumas áreas (especialmente a Física, onde há muito burburinho em torno de artigos do arXiv).

6. No que diz respeito à sua empresa altmetric.com, a colheita de dados depende do consentimento dos editores? Como altmetric.com assegura que todas as menções relativas a um artigo em particular foram identificadas?

Não, nós monitoramos tantos editores quanto possível. Acho que você precisa fazer isso para ser capaz de colocar os números no contexto apropriado. Voltando ao “Fui tuitado vinte vezes!”, o que realmente importa é ser capaz de dizer “Eu fui tuitado vinte vezes – e a maioria dos trabalhos na minha área é tuitada apenas duas vezes”.

Sem dúvida, nós perdemos coisas. Um dos vieses com o qual estamos atualmente lutando é que levantamos muita informação da Europa, América do Norte e Japão, mas não muito da América do Sul ou do resto da Ásia. Recebemos muitos comentários de autores que nos dizem que perdemos um post de blog ou página em particular, e isso é muito útil, pois melhora o serviço para todos.

7. Métricas baseadas em citações bibliográficas são publicadas por índices multidisciplinares internacionais como WoS, Scopus, Google Scholar e, regionalmente, pelo SciELO. Estes índices limitam a cobertura do periódico devido aos critérios de seleção que estabeleceram. No caso de altmetric.com e da altmetria em geral, de que maneira é expressa a preocupação ou a necessidade de seletividade?

Nós monitoramos a maioria das menções com muita boa vontade, mas a seletividade se apresenta quando escolhemos o que usar para os cálculos de contexto ou o que mostrar aos usuários finais. Nossa preocupação é em relação a editores pouco éticos que repentinamente tentam burlar o sistema para fazer com que seus periódicos sejam bem vistos.

Certamente alguns critérios como o período de tempo de publicação não se aplicam. Acompanhamos periódicos recém-lançados – não há necessidade de esperar dezoito meses para ver surgir as primeiras citações.

8. Você sabe se a altmetria está sendo usada ​​em sistemas de avaliação de pesquisa por instituições ou agências de fomento à pesquisa?

Claro, temos falado com muitos e temos alguns como clientes. Estamos no início em cada caso, e eu não acho que em nenhuma parte se esteja contemplando um amplo espectro de altmetrias sistematicamente (embora alguns possam estar usando, por exemplo, os relatórios F1000).

O tipo de uso de que ouvimos falar são mais centrados em torno dos dados reais coletados – os tuítes, as notícias etc. – e não apenas os números. Por exemplo, um financiador pode olhar para os tuítes de um departamento do governo ou de ONGs, como prova de que um artigo que foi financiado atingiu o público correto.

9. Alguns indicadores bibliométricos como o Fator de Impacto estão sujeitos a manipulações para aumentar o seu valor. Algumas destas manipulações são bastante aceitáveis, enquanto outras podem variar de dúbias a completamente inaceitáveis. Que controles e/ou mecanismos de correção possui a altmetria para enfrentar os robôs sociais, por exemplo?

É com frequência que nos perguntam isso! E com razão. Vemos esses tipos de manipulações o tempo todo, mas é interessante que normalmente não estão jogando por si só, não está sendo feito para inflar resultados ou a reputação de alguém. Em vez disso, são uma consequência de como os spammers trabalham na internet ou em redes sociais: para fazer contas fictícias parecerem legítimas eles replicam o conteúdo de contas aleatórias que muitas vezes pertencem aos cientistas.

Às vezes ouvimos críticas observando que você poderia pedir a dez amigos para tuitar sobre o seu artigo para obter melhor altmetria – não estamos preocupados com este tipo de coisa; no que me diz respeito, trata-se de atenção legítima.

Além desta escala, nós (e o resto da comunidade de altmetria) levamos as coisas mais a sério. Usamos uma combinação de abordagens manuais e automatizadas para marcar e depois lidar com a manipulação. Uma das coisas boas sobre ter uma grande base de dados e um espectro de diferentes fontes de dados é que podemos construir uma boa visão de que tipos de padrões de atenção devem ser esperados e quais são incomuns de alguma forma.

10. Um artigo publicado em 9 de agosto no periódico Science conclui que os sistemas de classificação são socialmente influenciados, no sentido de que as novas classificações são influenciadas pelas anteriores, por isso as métricas relacionadas podem ser tendenciosas. Qual é a sua opinião sobre este relatório?

Eu acho que é um grande estudo, e eu suspeito que a conclusão se aplica para muitas outras áreas também. É só olhar para o Reddit (ou algo muito parecido com o Reddit), embora seja difícil generalizar.

A motivação para atribuir valor varia muito de site para site, ou mesmo dentro do mesmo site. Às vezes, as classificações são públicas, às vezes privadas. Às vezes os usuários se identificam fortemente com outras pessoas ou grupos no site, às vezes não.

No Reddit talvez eu esteja votando em algo para indicar que encontrei um link interessante. No Twitter, se eu retuitar alguém, talvez seja porque eu o quero compartilhar mais amplamente, ou porque me faz parecer certo de alguma forma (as pessoas tuítam coisas que não leram, assim como citam artigos que não leram). Se eu ranquear algo, isso pode significar que é porque eu gostei, mas também porque eu quero salvá-lo para ler mais tarde, ou para dar a quem escreveu um “tapinha nas costas” virtual.

Esta é a força e a fraqueza da altmetria… Por um lado você tem muitas medidas diferentes para escolher que são indicativos de uma ampla gama de diferentes tipos de atenção. A desvantagem é que você precisa de muita informação sobre de onde os dados vieram e o que isso significa. Isto é em parte porque focamos em medir a atenção – o que é bastante não controversa e de fácil compreensão – ao contrário da qualidade.

Notas:

1 Faculty of 1000 (F1000): publicação online lançada em 2002 para avaliar a qualidade de artigos científicos na área Biomédica com base na opinião de especialistas – http://f1000.com/.

2 Biblioteca Cochrane: coleção de revisões sistemáticas de ensaios controlados aleatórios de intervenções médicas, com o objetivo de divulgar seus resultados e conclusões – http://cochrane.bireme.br/portal/php/index.php.

3 eLife: periódico científico revisado por pares, de acesso aberto, das áreas de Ciências Biomédicas e da Vida – http://www.elifesciences.org/.

4 Reddit: Site de publicações sociais onde os usuários podem divulgar ligações para conteúdos na Web – http://www.pt.reddit.com/.