Estudo analisa o uso de redes sociais na avaliação do impacto científico

Por Lilian Nassi-Calò

Foto: Jason Howie.

Nos últimos anos, o uso de redes sociais em comunicação científica vem aumentando em larga escala, e plataformas específicas têm sido criadas para interação e compartilhamento de informação entre pesquisadores. Apesar do crescente interesse da comunidade acadêmica nas redes sociais como ferramenta de comunicação científica, pouco se sabe a respeito do perfil de uso destas ferramentas, e sobre como medidas tradicionais de impacto científico com base em citações (índices off-line, impacto off-line) se correlacionam com as novas medidas de impacto (índices online, impacto online).

Estudo apresentado na 47^th Hawaii International Conference on System Sciences (HICSS) em 2014¹ por pesquisadores da Universidade St. Gallen, na Suíça avaliaram se e como o impacto científico pode ser medido por meio da análise de dados de mídias sociais, e como esta abordagem se relaciona com as métricas tradicionais. Segundo os autores, medidas de centralidade da rede2 com base em análise de mídias sociais não haviam sido consideradas no contexto da avaliação de impacto. Os resultados do trabalho exploratório, realizado em uma única instituição, com número pequeno de pesquisadores, indica que estas medidas apresentam correlação com métricas tradicionais de impacto e podem ser usadas para complementá-las.

Sites de redes sociais (SRS) são definidos como “serviços baseados na Web que permitem aos indivíduos (1) construir um perfil público ou semi-público dentro de um sistema limitado; (2) articular uma lista de usuários com quem se compartilha uma conexão, e (3) visualizar e percorrer sua lista de conexões e aquelas feitas por outras pessoas dentro do sistema”. Exemplos de SRS são Academia.edu, ResearchGate, e Mendeley, pois são sites destinados à comunidade científica e, além das funções mencionadas, também permitem carregar e compartilhar artigos, endossar o trabalho de colegas ou encontrar literatura relacionada.

Tradicionalmente, impacto científico é medido por métricas bibliográficas, como publicações e citações em periódicos arbitrados. Entre estas, estão o Fator de Impacto (Web of Knowledge), o Scimago Journal Rank (Scopus, Elsevier), e o Índice h, os dois primeiros com foco na publicação e o último no pesquisador individual. Estas métricas incorporam inúmeras falhas e limitações, como vem sendo amplamente discutido na comunidade científica, inclusive neste blog. Medidas de citações efetivamente refletem o mérito do trabalho e sua capacidade de passar pelo processo editorial e de revisão por pares. Entretanto, o impacto de uma publicação também se refere ao grau de influência que ela exerce e, neste caso, as citações constituem apenas parte da medida desta influência na comunidade científica e na sociedade. Em certas disciplinas, outras formas de publicação como livros (em artes e humanidades), relatórios e manuais técnicos (engenharia), apresentações e anais de congressos (matemática, ciências da computação) suplantam os artigos em periódicos, porém não são detectados pela bibliometria tradicional. Ademais, estas métricas fomentam uma cultura de autocitação e cartéis de citação, negligenciando o seu contexto, ou seja, como e porque certos artigos são citados.

Apesar das limitações, as métricas tradicionais possuem vantagens também: permitem comparações entre periódicos, disciplinas e instituições, e são fáceis de calcular e de compreender. Entretanto, é de consenso que o impacto científico não pode ser avaliado apenas por citações. Os autores demonstram por meio deste estudo que o surgimento da Internet, como espaço para a comunicação científica, complementa a análise do impacto científico, enriquecendo e diversificando sua avaliação.

Existem atualmente em desenvolvimento métricas alternativas de impacto científico baseadas em mídias sociais como, por exemplo, Altmetric, que se apresenta muito promissora. As redes sociais armazenam muita informação e promovem conexões entre comunidades de pesquisadores e interessados em geral. A análise destas interações permite avaliar o impacto de publicações em um aspecto mais amplo que as métricas tradicionais. Ademais, altmetrias e webometrics (métricas baseadas na Web) podem ser aplicados em nível do artigo, do periódico ou do pesquisador individual. O Altmetric foi adotado pelo SciELO Brasil para acompanhar o desempenho dos artigos nas redes sociais.

O Altmetrics Manifesto faz uma compilação dos objetivos e escopo desta iniciativa. Seus autores definem impacto como sendo formado por quatro pilares: uso (acesso e download); peer–review (opinião de especialistas); citações; e o componente altmetrias (armazenamento, links, bookmarks e compartilhamento). A grande vantagem, afirmam, está na rapidez com que um artigo é avaliado por meio das mídias sociais. Ao invés de esperar dois anos ou mais para contar citações, em apenas uma semana os compartilhamentos via Twitter, Facebook, Linkedin e outros, podem prever o impacto específico de um artigo, e não do periódico onde este foi publicado.

O estudo de Hoffmann e colaboradores incluiu 55 acadêmicos de uma escola pública de administração da Universidade de St. Gallen, na Suíça. Os autores obtiveram acesso ao ResearchGate dos pesquisadores desta instituição entre setembro de 2012 e fevereiro de 2013 e avaliaram três indicadores para analisar as relações entre impacto científico online (mídias sociais) e off-line (citações):

1. Senhoridade: cargo formal, distinções, prêmios, participação em comitês editoriais.
2. Impacto de publicações: medidas bibliométricas clássicas como índice h e fator de impacto dos periódicos, além de impacto online em SRS, como compartilhamentos, downloads e bookmarks.
3. Centralidade da rede: medida de quanto um pesquisador está conectado a outros membros da comunidade científica, uma indicação de sua proeminência e influência.

Os resultados obtidos podem ser resumidos da seguinte forma:

• Ao usar ResearchGate para networking, os pesquisadores tendem a seguir mais seus colegas da instituição do que estabelecer novos contatos;
• Nas redes formadas pelos acadêmicos, professores assistentes ocupam as posições mais centrais (isto é, estabelecem conexões com maior número de colegas), seguidos por professores titulares, doutores e pós-doutores;
• A atividade online (comunicação online) dos acadêmicos se correlaciona fortemente com medidas de centralidade, porém não com impacto off-line ou senhoridade;
• Medidas de impacto online e off-line estão fortemente relacionados. Entretanto, enquanto as medidas off-line estão relacionadas a senhoridade, o impacto online está relacionado com a centralidade das posições que os atores ocupam na rede.
• Senhoridade está correlacionada com medidas de centralidade, ou seja, o capital social off-line se expressa também no universo online.

A avaliação de desempenho da pesquisa científica, de instituições e periódicos até pouco tempo se baseou quase que exclusivamente em medidas bibliométricas, principalmente citações. Na medida em que novas ferramentas tecnológicas surgiram, métricas alternativas têm sido propostas para avaliar o impacto científico. O estudo mencionado aponta as limitações das métricas tradicionais, tais como desconsiderar os aspectos das interações entre os atores das redes, e a formação de capital social para membros individuais. Como as mídias sociais facilitam a análise do networking dos pesquisadores, seria de se esperar que medidas de centralidade da rede pudessem fornecer dados sobre avaliação de impacto científico.

Este estudo levou à conclusão que os acadêmicos da universidade suíça utilizam as redes sociais mais no aspecto do Facebook do que na abordagem do Twitter, ou seja, eles não seguem muitos de seus colegas, preferindo interagir com sua comunidade de contatos off-line, como colegas da mesma instituição, ou com quem mantém colaboração. Assim, as redes sociais têm por finalidade corroborar, mais que estabelecer contatos.

Como esperado, acadêmicos em início de carreira – e, portanto, mais jovens – ocupam as posições mais centrais das redes de relacionamento e são mais ativos nas comunidades online, possivelmente em virtude de seu desejo de projeção na carreira e de estabelecer fortes redes de colaboração, o que pode resultar em maior impacto no futuro. No que se refere ao impacto das publicações, a pontuação em altmetrias encontra correlação com senhoridade, mais do que com métricas off-line tradicionais, como índice h.

Este estudo contribui para o debate – apenas iniciado – sobre avaliação de impacto científico e altmetrias. Nesta pequena amostra, impacto online se correlaciona melhor com senhoridade que com impacto off-line, e impacto online está fortemente relacionado com centralidade da rede. Assim, as métricas baseadas em redes de relacionamento poderiam contribuir para elucidar a dinâmica das medidas de impacto científico online e off-line.

De acordo com os autores do manifesto: “As altmetrias estão em suas fases iniciais; muitas perguntas ainda não foram respondidas. Porém, dada a crise enfrentada pelos filtros existentes e à rápida evolução da comunicação científica, a velocidade, a riqueza e amplitude das altmetrias faz valer a pena investir nesta iniciativa” (tradução livre) (PRIEM et al 2010).

Notas

¹ HOFFMANN, C.P., LUTZ, C., and MECKEL, M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. In: 47th Hawaii International Conference on System Science, Hilton Waikoloa Village, 2014. DOI: 10.1109/HICSS.2014.202

² Centralidade, em análise de redes, refere-se a indicadores que identifiquem os vértices mais importantes dentro de um gráfico. As aplicações incluem a identificação da pessoa (s) mais influente (s) em uma rede social, nós de infraestrutura nas redes de Internet ou redes urbanas, além de outras.
Fonte: Centrality. Wikipedia. [viewed 26 January 2015]. Available from: http://en.wikipedia.org/wiki/Centrality

Referências

Altmetrics, Altmétricas, Altmetrias: novas perspectivas na visibilidade e no impacto das pesquisas científicas. SciELO em Perspectiva. [viewed 31 January 2015]. Available from: https://blog.scielo.org/blog/2013/08/14/altmetrics-altmetricas-altmetrias-novas-perspectivas-na-visibilidade-e-no-impacto-das-pesquisas-cientificas/

Artigo investiga: seu trabalho mais citado é seu melhor trabalho?. SciELO em Perspectiva. [viewed 26 January 2015]. Available from: https://blog.scielo.org/blog/2014/11/24/artigo-investiga-seu-trabalho-mais-citado-e-seu-melhor-trabalho/

BIK, H.M, and GOLSTEIN, M.C. An Introduction to Social Media for Scientists. PLoS Biol. 2013, vol. 11, nº 4. DOI: 10.1371/journal.pbio.1001535

BOYD, D., and ELLISON, N.B. Social Network Sites: Definition, History, and Scholarship. Journal of Computer-Mediated Communication. 2007, vol. 13, nº 1, pp. 210–230. DOI: 10.1111/j.1083-6101.2007.00393.x

Crescimento dos demais: O aumento do impacto dos periódicos non-elite – Publicado originalmente no Google Scholar Blog em 08 de outubro de 2014. SciELO em Perspectiva. [viewed 26 January 2015]. Available from: https://blog.scielo.org/blog/2014/10/13/crescimento-dos-demais-o-aumento-do-impacto-dos-periodicos-non-elite-publicado-originalmente-no-google-scholar-blog-em-08-de-outubro-de-2014/

Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 23 January 2015]. Available from: https://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/

Downloads de artigos: Um indicador alternativo do impacto da pesquisa nacional e compartilhamento de conhecimento intersetorial – Publicado originalmente na newsletter Elsevier “Research Trends Issue 36?. SciELO em Perspectiva. [viewed 26 January 2015]. Available from: https://blog.scielo.org/blog/2014/03/24/downloads-de-artigos-um-indicador-alternativo-do-impacto-da-pesquisa-nacional-e-compartilhamento-de-conhecimento-intersetorial-publicado-originalmente-na-newsletter-elsevier-reseatch-tren/

Entrevista com Euan Adie, CEO da altmetric.com. SciELO em Perspectiva. [viewed 31 January 2015]. Available from: https://blog.scielo.org/blog/2013/08/29/entrevista-com-euan-adie-ceo-da-altmetric-com/

Entrevista com Vincent Larivière. SciELO em Perspectiva. [viewed 26 January 2015]. Available from: https://blog.scielo.org/blog/2013/08/16/entrevista-com-vincent-lariviere/

Estudo propõe uma taxonomia de razões para citar artigos em publicações científicas. SciELO em Perspectiva. [viewed 26 January 2015]. Available from: https://blog.scielo.org/blog/2014/11/07/estudo-propoe-uma-taxonomia-de-razoes-para-citar-artigos-em-publicacoes-cientificas/

HOFFMANN, C.P., LUTZ, C., and MECKEL, M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. In: 47th Hawaii International Conference on System Science, Hilton Waikoloa Village, 2014. DOI: 10.1109/HICSS.2014.202

O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. [viewed 31 January 2015]. Available from: https://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/

PRIEM, J. Scholarship: Beyond the paper. Nature. 2013, vol. 495, nº 7442, pp. 437–440. DOI: 10.1038/495437a

PRIEM, J., and et al. Altmetrics: a manifesto. Altmetrics.org, 2010, pp. 1–5. Available from: http://altmetrics.org/manifesto/

Links externos

Academia.edu – <http://www.academia.edu>

Altmetric – <http://www.altmetric.com/>

Mendeley – <http://www.mendeley.com/>

ResearchGate – <http://www.researchgate.net/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.