Trabalhando de acordo com a regras – Como os objetivos bibliométricos distorceram a pesquisa italiana [Publicado originalmente no LSE Impact Blog em novembro/2019]
Nas últimas
duas décadas, sistemas nacionais de avaliação de pesquisa foram implementados
em vários países europeus e não europeus. Eles geralmente contam com
indicadores quantitativos, com base no número de artigos publicados e citações
recebidas. Os defensores dessas métricas afirmam que medidas quantitativas são
mais objetivas do que a avaliação por pares, garantem a responsabilidade da
comunidade científica aos contribuintes e promovem uma alocação mais eficiente
de recursos públicos. Os críticos argumentam que, quando os indicadores são
usados para avaliar o desempenho, eles rapidamente se tornam objetivos, ou
seja, começam a mudar o comportamento dos pesquisadores avaliados, seguindo o
que é comumente chamado de “lei de Goodhart”. Por exemplo, se a produtividade é recompensada
positivamente, a publicação de muitos artigos se torna um objetivo que também
pode ser perseguido com estratégias oportunistas, como dividir o mesmo trabalho
em várias publicações.
A Itália nos anos que se seguiram à introdução de novos procedimentos de avaliação da pesquisa em 2010 é um caso espetacular. Desde 2010, o sistema italiano atribui um papel fundamental aos indicadores bibliométricos para a contratação e promoção de professores. Para alcançar a Habilitação Científica Nacional (ASN), necessária para se tornar professor associado e titular, o trabalho de um candidato deve atingir “limiares bibliométricos” definidos, calculados pela Agência Governamental de Avaliação da Universidade e Pesquisa (ANVUR). Somente se suas citações, Índice H e número de artigos de periódicos excederem dois de três limiares, o candidato será admitido na etapa final, ou seja, avaliação por um comitê de pares.
Em um artigo publicado em PLOS ONE1, (que recebeu atenção significativa em Nature2, Science3 e Le Monde4), mostramos que o lançamento deste sistema de avaliação da pesquisa desencadeou um comportamento anômalo. Em particular, após a reforma universitária, os pesquisadores italianos começaram a aumentar artificialmente seus indicadores usando citações estrategicamente.
Considerando as dificuldades em documentar a existência de comportamentos estratégicos de citação em nível micro, projetamos um novo “indicador de interioridade”, baseado nas autocitações de países. Para esta finalidade, os países dos autores de uma publicação citada são comparados com os dos artigos citados. A autocitação de um país ocorre sempre que uma publicação citante e a citada têm pelo menos um país em comum.
O indicador de interioridade é definido como a razão entre o número total de autocitações de países e o número total de citações deste país. Chamamos isso de “interioridade” porque, em geral, mede em que proporção a disseminação do conhecimento produzido em um país permanece confinada dentro de suas fronteiras.
A interioridade de um país pode ser vista como a soma da cota “fisiológica” e “patológica” das autocitações de países. A cota fisiológica é constituída por autocitações geradas por pesquisadores nacionais como subproduto normal de sua atividade de pesquisa.
Depende do
tamanho do país em termos de produção de pesquisa e do grau de colaboração
internacional, como a participação em equipes de pesquisa multinacionais. A
cota patológica é constituída pelas autocitações geradas por atividades
estratégicas de pesquisadores com base no país que são autocitações oportunistas
e clubes de citação com base no país.
Um aumento anômalo na interioridade de um país pode resultar de um aumento na cota fisiológica ou na cota patológica das autocitações. Com base nessas premissas, calculamos os indicadores de interioridade dos países do G10 no período 2000-2016. Dessa forma, poderíamos comparar a tendência italiana, não apenas antes e depois da introdução do sistema de avaliação da pesquisa, mas também contra as tendências de países comparáveis. Os dados foram coletados no SciVal, uma plataforma de propriedade da Elsevier alimentada por dados do Scopus.
Até 2009, todos os países, incluindo a Itália, compartilhavam uma tendência de interioridade bastante semelhante. Então, a tendência italiana subitamente divergiu por volta de 2010. No período 2008-2016, o aumento da interioridade italiana foi de 8,3 pontos percentuais (p.p.), mais de 4 p.p. acima do aumento médio observado nos países do G10. Curiosamente, encontramos quase o mesmo padrão na maioria das áreas científicas, conforme definido pelas categorias do Scopus: após a reforma, a Itália se destaca com o maior aumento de interioridade em 23 das 27 áreas.
Figura 1. Interioridade dos países do G10 (2000-2016). Fonte: Baccini, De Nicolao e Petrovich, PLOSONE1.
Uma explicação
generosa para este aumento anômalo poderia ser o aumento da cota fisiológica
das autocitações de países. Por exemplo, poderia refletir um aumento repentino,
após 2009, do grau de colaboração internacional de pesquisadores italianos. No
entanto, de fato, nenhum aumento específico na colaboração internacional
italiana pode ser observado. Outra explicação poderia ser um estreitamento do
foco científico dos pesquisadores italianos em tópicos investigados
principalmente dentro da comunidade nacional. Não temos evidências diretas para
rejeitar essa hipótese, mas ela parece muito implausível, considerando a
peculiaridade, dimensão e, principalmente, o momento do fenômeno.
A melhor explicação para o repentino aumento da interioridade é uma mudança na cota patológica das autocitações do país. Isso significa que houve um aumento espetacular nas autocitações dos autores ou nas trocas entre clubes de citações formados por acadêmicos italianos. Isso reflete uma estratégia claramente voltada a aumentar a bibliometria, a fim de atingir os limites estabelecidos pela agência governamental ANVUR.
O início da anomalia
italiana é sincronizado com o lançamento do sistema de avaliação da pesquisa,
que de repente introduziu limiares bibliométricos nas principais etapas da
carreira acadêmica, deixando todo o espaço possível para citações estratégicas.
O resultado impressionante é que os efeitos se tornaram visíveis em escala
nacional e na maioria das áreas do conhecimento científico.
Nossos
resultados sustentam a ideia de que os pesquisadores respondem rapidamente aos
incentivos aos quais estão expostos. Mostram também que a adoção generalizada
de incentivos alterou substancialmente o nível e a tendência dos indicadores
bibliométricos calculados no nível do país. Isso sugere que os formuladores de
políticas devem ter maior cautela no uso de indicadores para suas políticas
científicas.
Alberto Baccini é professor titular de Economia na Universidade de Siena, Itália. Seus principais interesses estão no campo da cientometria e na história do pensamento econômico. Ele é autor (com R. Todeschini) do Manual de Indicadores Bibliométricos. O blog Roars (Return On Academic Research), que ele cofundou com Giuseppe De Nicolao em 2011, recebeu até agora mais de 22 milhões de visualizações.
Sobre Giuseppe De Nicolao
Giuseppe De Nicolao é Professor Titular de Engenharia de Sistemas e Controle da Universidade
de Pavia, Itália. Seus principais interesses estão na área da identificação de
sistemas e ciência de dados aplicada a sistemas industriais e biomédicos.
Sobre Eugenio Petrovich
Eugenio Petrovich é pesquisador de pós-doutorado na Universidade de Siena, Departamento de Economia e Estatística. Ele obteve seu Ph.D. em Filosofia na Universidade de Milão. Suas principais áreas de pesquisa incluem cienciometria, filosofia da ciência e história computacional da filosofia. Ele tem interesse nos fundamentos filosóficos da análise de citações e nos aspectos epistemológicos dos estudos quantitativos da ciência.
BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Trabalhando de acordo com a regras – Como os objetivos bibliométricos distorceram a pesquisa italiana [Publicado originalmente no LSE Impact Blog em novembro/2019] [online]. SciELO em Perspectiva, 2019 [viewed ]. Available from: https://blog.scielo.org/blog/2019/12/11/trabalhando-de-acordo-com-as-regras/
Últimos comentários