Impacto segundo Nature: comentários sobre o número especial 502 (7471) 17 oct. 2013

Foto: Pete Prodoehl

“Impacto: a busca da ciência que realmente importa” é a ideia principal desta edição especial da Nature, que analisa em seis artigos escritos por jornalistas e pesquisadores se os sistemas atuais de avaliação científica realmente selecionam a pesquisa mais influente e de maior benefício para a sociedade que a financiou com seus impostos.

São destacados na análise três argumentos principais:

• O fator de impacto (FI) medido por citações funciona, mas não é o suficiente. Em outras palavras, o FI dos periódicos medidos por citações continua a ser um critério relevante para as agências de avaliação de desempenho de pesquisa em todos os países do mundo onde se fazem avaliações, mas há consenso de que há muitas facetas que escapam deste paradigma “matematicamente objetivo” ;
• As agências de fomento à pesquisa estão começando a incorporar nos procedimentos de avaliação de instituições e projetos outras dimensões alternativas à importância dos periódicos que publicam os resultados. Sem desconsiderar estas medidas objetivas e a importância que têm na carreira dos pesquisadores, estão começando a avaliar o “impacto social” do trabalho que estas agências financiam. Esta abordagem está de acordo com o “politicamente correto” que usam as empresas industriais e comerciais, chamado de “compromisso social”, que entendem que, ao estar imerso em uma sociedade e para ser aceito pela opinião pública, devem demonstrar que o que fazem é realmente necessário, útil e aplicável às pessoas comuns que pagam impostos;
• Apesar da literatura em Acesso Aberto (AA) estar chegando a 50% do que é publicado, o acesso às bases de dados de citações e a informação “cienciometrica” não estão igualmente disponíveis de forma aberta, uma vez que mais de 95% desta informação tem o acesso restrito por assinatura de dois provedores comerciais: Thomson Reuters e Elsevier. Encontram-se em desenvolvimento projetos para obter acesso aberto a citações, incluindo uma tarefa pendente: como citar trabalhos que não são propriamente artigos clássicos, mas vídeos, slides de microscopia, séries de dados meteorológicos, genoma, etc .

Esse fascículo que chamaremos de “Impacto segundo  Nature” começa com um editorial¹, onde se admite que os avaliadores estão começando a entender que a abordagem convencional que usa: (1) métricas de citações; (2) FI dos periódicos;  e/ou (3) opiniões dos colegas, são elementos necessários, mas não suficientes, mas que deveriam incorporar-se a outras facetas que incluem, entre outras dimensões, a que  aponta para a nova “altmetria”. Isto significa que se deve medir a importância além do âmbito acadêmico, que se deve incluir as consequências da pesquisa na tomada de decisões políticas, em saúde, e os efeitos sobre a indústria, a economia e os atores sociais. As métricas convencionais não devem ser seguidas cegamente e usadas de forma inconsistente, porque acabam comprometendo o prestígio dos próprios avaliadores.

O desafio, portanto, é encontrar um equilíbrio entre estas dimensões de avaliação. Caso se enfatize a publicação em periódicos de alto FI, isso fará com que os cientistas se sintam excessivamente pressionados a publicar de forma a avançar em sua carreira. No entanto, caso se enfatize os impactos econômicos e sociais, então desviarão seu tempo das suas atividades propriamente acadêmicas e de pesquisa em direção aos labirintos burocráticos e legais para gerar patentes ou empresas de produção derivadas da pesquisa. Portanto, é importante que os avaliadores tenham métodos claros, transparentes e explícitos de medir o impacto.

“O dia do juízo²” (para as universidades) é o artigo que se segue ao editorial. Ele relata que, desde o final dos anos 80 (primeiro no Reino Unido e EUA), os governos iniciaram programas de avaliação sistemática das suas universidades, que foram logo seguidos pela Austrália, Alemanha, Itália, etc., com metodologias e experiências semelhantes. Embora estas avaliações tenham ajudado a melhorar os sistemas nacionais de pesquisa, aumentando a participação de seus países em seus índices de citações, os resultados destes exercícios de enormes esforços de avaliação e os resultados em função do custo benefício fazem surgir críticas em nível dos pesquisadores, administradores de universidades e líderes educacionais.

A possibilidade de que alguns pesquisadores cheguem a publicar nas revistas de maior prestígio que os incluem em uma espécie de “The Golden Club³“, apesar de abrir as portas de suas carreiras profissionais, é posta em discussão. Uma das razões para esta crítica é que há uma produção crescente de trabalhos em nível mundial que não são publicados nas revistas “estrela”, como Science, Cell e Nature. Enquanto o número de trabalhos enviados para essas revistas cresceu pouco mais de 40% nos últimos 16 anos (e aumentou a taxa de rejeição) em todo o mundo, a submissão de artigos cresceu 86% no mesmo período. Isto sugere que os pesquisadores estão se voltando para a publicação em outros periódicos. Embora estas revistas “top” publicam a cada ano mais trabalhos altamente citados, este crescimento não está acompanhando o ritmo do resto do setor, uma vez que a porcentagem do total de trabalhos altamente citados nestas revistas está em declínio em favor de outros periódicos, muitos dos quais são AA.

Práticas de pesquisa sofrem pelo fato de que os dados de citações não estão em acesso aberto⁴, o que nos leva ao quarto artigo na Nature. Na era do acesso aberto é paradoxal que as citações das principais revistas, que são o núcleo de avaliações acadêmicas, não estejam disponíveis de forma aberta. Mesmo as citações de revistas AA não estão disponíveis porque não existem instituições que as coletem e organizem de forma utilizável.

A análise de citações sempre termina nos dois provedores comerciais WoS e Scopus , e os termos das licenças com as quais os serviços são contratados estabelecem impedimentos para divulgar os dados de citações de suas pesquisas.

Existem várias citações de recursos abertos de citações. As duas principais são CiteSeerX , principalmente em ciência da computação , CitEc em economia; (anos atrás, houve uma base chamada citações Citebase , mas infelizmente está fora de serviço). Por esta razão, o autor do artigo discutido apresenta Open Citations Corpus (OCC), um projeto de citações em acesso aberto em fase piloto nos últimos dois anos.

Se somarmos as referências disponíveis nos serviços mencionados, e adicionamos as referências disponíveis em PubMed e OCC , o total cobre apenas 4% dos 50 milhões (estimados) de referências bibliográficas existentes para artigos de periódicos e livros. Há certamente muita informação a outra literatura nos últimos anos em Google Scholar  e Microsoft Academic Search mas os resultados estão sujeitos a várias críticas, entre as quais a falta de consistência dos resultados referentes à mesma pesquisa feita em diferentes dias.

OCC estabeleceu acordos com diversas editoras de periódicos do mundo (comerciais e de acesso aberto) para que, no futuro, possam coletar dados das referências bibliográficas que, como os resumos, estarão disponíveis em acesso aberto. Referências serão compiladas (harvested) de CrossRef, e para isso, os editores deverão publicar seus artigos com DOI, como participantes do serviço CitedBy Linking, com a única condição que os editores deem o seu consentimento , incluindo um novo metadado para tal finalidade.

Uma vez que as citações estejam disponíveis de forma aberta, serviços poderão ser construídos para gerar as métricas desejadas, incluindo um serviço que permita a correção de referências errôneas pelas partes interessadas.

As referências bibliográficas não estão mortas, muito pelo contrário, estão crescendo de modo a cobrir todo o espectro da pesquisa, desde as linhas de código de software até fotogramas de vídeo. Este é o tema do próximo artigo na Nature  “Referencing: The reuse factor⁵”.

Estamos entrando na era da reutilização. Pesquisadores e avaliadores estão se esforçando para encontrar maneiras de manipular adequadamente citações de resultados de pesquisa publicados, pois é a forma em que formalmente se dá crédito à pesquisa, mas… há uma maior quantidade de dados científicos publicados de outra forma, como sequências genéticas, data sets em economia, meteorologia, ensaios clínicos sem resultados significativos, etc.

Esta informação está sendo coletada, por exemplo, em Dryad Digital Repository e Gen Bank, ou também Figshare. Nenhuma dessas informações vem da WoS ou Scopus. É nesse cenário que se apresenta o projeto Research Data Alliance (RDA), criado em agosto de 2012, por várias agências dos EUA, Europa e Austrália. O objetivo da RDA é acelerar e facilitar a troca de dados entre diferentes disciplinas que dispõe de resultados não convencionais e requerem ser citados por mandato de agências de fomento. Exemplos de dados não convencionais a ser citados podem ser linhas de planilhas de cálculo, ou seqüências de imagens em um vídeo, e essas referências não devem ser perdidas dentro das citações do artigo a ser publicado.

O surgimento de um grande número de citações com crescimento exponencial, dando credibilidade a uma grande variedade de resultados em diferentes formas não será o fim da citação bibliográfica convencional, claro que não, mas será o declínio da medida clássica de impacto contabilizando apenas as citações de um trabalho escrito.

Finalmente, o artigo Impact: Pack a punch⁶ encerra a reflexão indicando que os revisores e avaliadores de fundos de pesquisa devem se concentrar, cada vez mais no impacto social das propostas de projetos de pesquisa científica.

Instituições públicas e privadas em todo o mundo devem redefinir o conceito de impacto e os tipos de impacto, pois as diferentes partes interessadas variam amplamente ao longo da humanidade, seja na saúde, nos laboratórios, na economia, educação e qualquer outro grupo na sociedade.

Links externos

CiteSeerX – http://citeseerx.ist.psu.edu/index

CitEc – http://citec.repec.org/

Open Citations Corpus – http://opencitations.net/

PubMed – http://www.ncbi.nlm.nih.gov/pubmed

Google Scholar – http://scholar.google.com.br/

Microsoft Academic Search – http://academic.research.microsoft.com/

CrossRef – http://www.crossref.org/

CitedBy Linking – http://www.crossref.org/citedby/index.html

Dryad Digital Repository – http://datadryad.org/

Gen Bank – http://www.ncbi.nlm.nih.gov/genbank/

Figshare – http://figshare.com/

Research Data Alliance – https://rd-alliance.org/

Research evaluation: Impact – http://www.nature.com/news/research-evaluation-impact-1.13949

Notas

¹ The maze of impact metrics

² Research assessments: Judgement day

³ Science publishing: The golden club

⁴ Publishing: Open citations

⁵ Referencing: The reuse factor

⁶ Impact: Pack a punch

Referência

Nature: Impact, 2013, vol. 502, nº 7471, pp. 271-402. Available from: <http://www.nature.com/nature/journal/v502/n7471/>.

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela  Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

Tradução do original em espanhol por Ernesto Spinak.