Os leitores deste blog estão familiarizados com as limitações e críticas sobre o uso de indicadores bibliométricos baseados em citações para avaliar periódicos. Sobretudo, o impacto, relevância, qualidade e rigor atribuídos aos resultados de pesquisa publicada em periódicos com elevados índices de citações unicamente em função destes indicadores.
Movimentos como a San Francisco Declaration on Research Assessment (DORA) e o Manifesto de Leiden recomendam utilizar índices como o Fator de Impacto (FI) apenas para ranquear periódicos, e não pesquisadores, instituições, concessão de recursos para pesquisa, ou programas de pós-graduação. Soma-se a isso o fato de que estimativas apontam que cerca de 50% dos artigos publicados não chegam a ser formalmente citados por outros autores, e nem por isso seu impacto na comunidade científica é nulo. Estes artigos são lidos, baixados, compartilhados e citados por meio de redes sociais, blogs, notícias, políticas públicas, e outras formas de presença online, reunidas e medidas em índices como o Altmetric (alternative metric).
A rapidez com que os artigos recém-publicados são compartilhados por meio da web é uma das fortalezas da altmetria em comparação às métricas baseadas em citações, que são contabilizadas após dois ou três anos da publicação. Ademais, estudos indicam que artigos com elevada presença em redes sociais são mais disseminados e recebem mais citações.
Na última década, inúmeros periódicos, entre eles os da coleção de SciELO Brasil, passaram a incorporar o índice Altmetric em seus artigos, ao lado de outros índices baseados em citações, como Dimensions, ScienceOpen e outros, que mostra aos leitores o “impacto alternativo” com atualização diária, ou seja, o quanto aquele artigo foi mencionado em redes sociais (Twitter, Facebook, Instagram, LinkedIn etc.), blogs, notícias, patentes, páginas de Wikipédia e outras menções.
Os autores Spatti, Cintra, Bin e Ferreira Araújo realizaram um estudo altmétrico1 para avaliar a presença na web social da produção científica da América Latina utilizando a coleção de periódicos e artigos indexados no SciELO. O recorte feito pelos autores na coleção compreende os seguintes países: Argentina, Bolívia, Brasil, Chile, Colômbia, Costa Rica, Cuba, Equador, México, Paraguai, Peru, Uruguai e Venezuela. Os dados foram extraídos da plataforma altmetric.com, da Digital Science, para artigos publicados entre 2015 e 2018. Este subconjunto inclui 1.211 periódicos e 140.158 artigos.
A pesquisa resultou que dos 1.211 periódicos, 707 (58%) tiveram artigos compartilhados por redes sociais e menções cobertas pela plataforma Altmetric. Dos 141.158 artigos, no entanto, uma fração menor, 18.737 (13%) foi mencionada na web social.
Do total destas menções, 58.994 (média de 3,14 menções/artigo), a grande maioria, 94,3%, foi em redes sociais (Twitter, 73,8%; Facebook, 20,0%; e Google+, 0,4%;); 3,7% em sites de notícias e blogs; 0,7% em documentos de políticas e patentes; e 1,3% em outras fontes (Wikipédia, vídeos, Q&A posts e sites acadêmicos de avaliação por pares).
O fato de o Twitter estar em destacado primeiro lugar (73,8%) como plataforma mais utilizada para compartilhar artigos de pesquisa – seguido de longe pelo Facebook (20,0%) em segundo lugar era, de certa forma, esperado, pelo fato de ser a plataforma que mais cresce entre acadêmicos para compartilhar e recomendar publicações, segundo estudos anteriores. É preciso, no entanto, fazer uma ressalva sobre os dados de Facebook, pois é possível que os dados sobre esta rede social estejam subestimados, uma vez que a busca altmétrica não contabiliza postagens em grupos fechados ou perfis de acesso restrito, diferentemente do Twitter, cujos dados são amplamente captados.
Um dado interessante obtido pelos autores do artigo se refere à origem dos tweets sobre publicações latino-americanas. Mais de um terço deles se origina fora da América Latina. Este percentual é de 100% no caso de artigos de Cuba e Bolívia, 63% para a Argentina, 57% para a Venezuela, 43% para o Brasil, 36% para o Chile, 29% para o México e 24% para a Costa Rica. Os demais países mostram percentuais da ordem de 10-15%. Os países de onde partem a maior parte dos tweets são Reino Unido, Espanha, Estados Unidos e Malásia.
Estes resultados imediatamente chamam a atenção para o idioma das publicações, uma variável que é capaz de influenciar o desempenho altmétrico dos artigos. Da amostra estudada pelos autores, 57% das menções são a artigos em inglês, 24% em espanhol e 18% em português, indicando uma internacionalização das publicações latino-americanas. Cabe destacar o caso do Brasil, onde 70% das menções são a artigos em inglês, 27% a artigos em português e 3% em espanhol. Estes dados vão ao encontro da política de internacionalização do SciELO,2 que entrou em vigor a partir de 2014.
Os autores enfatizam, ademais, que grande parte dos desenvolvimentos e aplicativos para a web, especialmente os de aplicação acadêmica, são desenvolvidos por pesquisadores para publicações no idioma inglês, e por este motivo, em nações de língua não inglesa, vieses ocorrem no rastreamento de material na web por tais aplicativos.
O estudo avaliou ainda o número médio de menções a artigos por periódico de cada país latino-americano. O Chile está em primeiro lugar no percentual de periódicos com 81% de seus periódicos com presença no Altmetric, seguido pelo Brasil (76%), Colômbia (75%), Costa Rica (61%), Peru (60%), e México (50%). O Brasil lidera o ranking de país com maior percentual de artigos com menção (20%), e a maior média de artigos com menções por periódico (44%). O bom resultado do Brasil é possivelmente devido à política do SciELO de incentivo de disseminação dos periódicos em redes sociais, que a partir de 2014 inclui nos Critérios de Seleção e Permanência da Coleção SciELO Brasil3 um plano de disseminação que prevê a criação de perfil do periódico em redes sociais como Facebook e/ou Twitter.
Para avaliar influência da área do conhecimento na presença web dos artigos, o estudo de Spatti, et al.,1 indicou ser identificar um padrão de comportamento segundo a área do conhecimento principalmente para países com maior participação. O Brasil, assim como o Chile, Colômbia e Equador têm uma fortaleza em publicação na área de ciências biológicas e da saúde e ciências humanas e sociais aplicadas, e é nesta área que se concentram as redes sociais, blogs e sites de notícias, documentos de políticas e patentes e fontes acadêmicas. Por outro lado, no Chile, Venezuela, Argentina e Costa Rica, há predominância de periódicos de Ciências da Saúde e Biológicas, assim como as menções na web social. No Peru, entretanto, não se verifica diferença entre as áreas para as menções altmétricas.
O comportamento altmétrico dos perfis de países aqui analisado permite identificar três indicadores para a caracterização de perfis: penetração (cobertura de altmetria em termos de periódicos e publicações); inserção (percentagem de auto menção e menção latino-americana) e internacionalização (percentagem de menção não latino-americana e artigos mencionados em inglês).
Com base nestes indicadores, foi possível identificar três grupos. O primeiro grupo é formado apenas pelo Brasil. Possui alta inserção evidenciada pelo número de periódicos e número de artigos localizados em Altmetric; alta inserção, com percentagem de 48% de auto menção; e alta internacionalização, com 43% de menções não latino-americanas e 70% de publicações mencionadas em inglês.
O segundo grupo é formado por Chile, Colômbia e Costa Rica, países cujo comportamento altmétrico mostra: média penetração (percentagem de periódicos com menção maior do que a mediana da região e percentagem de artigos com menção próxima à mediana da região); alta inserção, com percentagem significativa de auto menção e média internacionalização, caracterizada por percentuais entre 10-36% de menções não latino-americanas e 23-35% de artigos mencionados em inglês.
O terceiro grupo, formado por Peru e México, tem o de perfil mais moderado, com média penetração, caracterizada por percentagem de artigos e periódicos com menções próxima da mediana dos países; média inserção, com percentagem de auto- menção de 27-44% e perfil internacional moderado, 14%-29% de menções não latino-americanas e 25-27% de menções a artigos em inglês.
Um quarto grupo é formado pela Argentina apenas, caracterizada por baixa penetração e inserção, porém alta internacionalização, com 63% de menções não latino-americanas. Finalmente, um quinto grupo reúne Equador, Venezuela, Uruguai, Cuba, Bolívia e Paraguai, países com baixa penetração e valores absolutos de publicações com menção abaixo de 100, inviabilizando ulteriores análises.
É importante destacar que o artigo de Spatti, et al.1 foi publicado em 2021, com dados de 2015 a 2018. É de se esperar que passados três anos, houve mudanças tanto no perfil dos artigos publicados, em termos do percentual de internacionalização das publicações, quanto na disseminação destes artigos por meio de redes sociais, o que teria aumentado penetração, inserção e internacionalização.
As métricas alternativas, como destacam os autores do artigo, são mais bem interpretadas quando comparadas com métricas baseadas em citações e outras, como medidas de uso e downloads. Neste sentido, a avaliação da ciência produzida e publicada em periódicos da América Latina muito se beneficiaria de ulteriores análises desta natureza.
ENKHBAYAR, A. and ALPERIN, J. P. Challenges of capturing engagement on Facebook for Altmetrics [online]. arXiv. 2018 [viewed 09 February 2022]. Available from: https://arxiv.org/abs/1809.01194
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Como se utilizam as altmetrias para avaliar a produção científica da América Latina [online]. SciELO em Perspectiva, 2022 [viewed ]. Available from: https://blog.scielo.org/blog/2022/02/09/como-se-utilizam-as-altmetrias-para-avaliar-a-producao-cientifica-da-america-latina/
Últimos comentários