Trabalhando de acordo com a regras – Como os objetivos bibliométricos distorceram a pesquisa italiana [Publicado originalmente no LSE Impact Blog em novembro/2019]

Por Alberto Baccini, Giuseppe De Nicolao e Eugenio Petrovich

Imagem: Mel Poole.

Nas últimas duas décadas, sistemas nacionais de avaliação de pesquisa foram implementados em vários países europeus e não europeus. Eles geralmente contam com indicadores quantitativos, com base no número de artigos publicados e citações recebidas. Os defensores dessas métricas afirmam que medidas quantitativas são mais objetivas do que a avaliação por pares, garantem a responsabilidade da comunidade científica aos contribuintes e promovem uma alocação mais eficiente de recursos públicos. Os críticos argumentam que, quando os indicadores são usados para avaliar o desempenho, eles rapidamente se tornam objetivos, ou seja, começam a mudar o comportamento dos pesquisadores avaliados, seguindo o que é comumente chamado de “lei de Goodhart”. Por exemplo, se a produtividade é recompensada positivamente, a publicação de muitos artigos se torna um objetivo que também pode ser perseguido com estratégias oportunistas, como dividir o mesmo trabalho em várias publicações.

A Itália nos anos que se seguiram à introdução de novos procedimentos de avaliação da pesquisa em 2010 é um caso espetacular. Desde 2010, o sistema italiano atribui um papel fundamental aos indicadores bibliométricos para a contratação e promoção de professores. Para alcançar a Habilitação Científica Nacional (ASN), necessária para se tornar professor associado e titular, o trabalho de um candidato deve atingir “limiares bibliométricos” definidos, calculados pela Agência Governamental de Avaliação da Universidade e Pesquisa (ANVUR). Somente se suas citações, Índice H e número de artigos de periódicos excederem dois de três limiares, o candidato será admitido na etapa final, ou seja, avaliação por um comitê de pares.

Em um artigo publicado em PLOS ONE1, (que recebeu atenção significativa em Nature2, Science3 e Le Monde4), mostramos que o lançamento deste sistema de avaliação da pesquisa desencadeou um comportamento anômalo. Em particular, após a reforma universitária, os pesquisadores italianos começaram a aumentar artificialmente seus indicadores usando citações estrategicamente.

Considerando as dificuldades em documentar a existência de comportamentos estratégicos de citação em nível micro, projetamos um novo “indicador de interioridade”, baseado nas autocitações de países. Para esta finalidade, os países dos autores de uma publicação citada são comparados com os dos artigos citados. A autocitação de um país ocorre sempre que uma publicação citante e a citada têm pelo menos um país em comum.

O indicador de interioridade é definido como a razão entre o número total de autocitações de países e o número total de citações deste país. Chamamos isso de “interioridade” porque, em geral, mede em que proporção a disseminação do conhecimento produzido em um país permanece confinada dentro de suas fronteiras.

A interioridade de um país pode ser vista como a soma da cota “fisiológica” e “patológica” das autocitações de países. A cota fisiológica é constituída por autocitações geradas por pesquisadores nacionais como subproduto normal de sua atividade de pesquisa.

Depende do tamanho do país em termos de produção de pesquisa e do grau de colaboração internacional, como a participação em equipes de pesquisa multinacionais. A cota patológica é constituída pelas autocitações geradas por atividades estratégicas de pesquisadores com base no país que são autocitações oportunistas e clubes de citação com base no país.

Um aumento anômalo na interioridade de um país pode resultar de um aumento na cota fisiológica ou na cota patológica das autocitações. Com base nessas premissas, calculamos os indicadores de interioridade dos países do G10 no período 2000-2016. Dessa forma, poderíamos comparar a tendência italiana, não apenas antes e depois da introdução do sistema de avaliação da pesquisa, mas também contra as tendências de países comparáveis. Os dados foram coletados no SciVal, uma plataforma de propriedade da Elsevier alimentada por dados do Scopus.

Até 2009, todos os países, incluindo a Itália, compartilhavam uma tendência de interioridade bastante semelhante. Então, a tendência italiana subitamente divergiu por volta de 2010. No período 2008-2016, o aumento da interioridade italiana foi de 8,3 pontos percentuais (p.p.), mais de 4 p.p. acima do aumento médio observado nos países do G10. Curiosamente, encontramos quase o mesmo padrão na maioria das áreas científicas, conforme definido pelas categorias do Scopus: após a reforma, a Itália se destaca com o maior aumento de interioridade em 23 das 27 áreas.

Figura 1. Interioridade dos países do G10 (2000-2016). Fonte: Baccini, De Nicolao e Petrovich, PLOSONE1.

Uma explicação generosa para este aumento anômalo poderia ser o aumento da cota fisiológica das autocitações de países. Por exemplo, poderia refletir um aumento repentino, após 2009, do grau de colaboração internacional de pesquisadores italianos. No entanto, de fato, nenhum aumento específico na colaboração internacional italiana pode ser observado. Outra explicação poderia ser um estreitamento do foco científico dos pesquisadores italianos em tópicos investigados principalmente dentro da comunidade nacional. Não temos evidências diretas para rejeitar essa hipótese, mas ela parece muito implausível, considerando a peculiaridade, dimensão e, principalmente, o momento do fenômeno.

A melhor explicação para o repentino aumento da interioridade é uma mudança na cota patológica das autocitações do país. Isso significa que houve um aumento espetacular nas autocitações dos autores ou nas trocas entre clubes de citações formados por acadêmicos italianos. Isso reflete uma estratégia claramente voltada a aumentar a bibliometria, a fim de atingir os limites estabelecidos pela agência governamental ANVUR.

O início da anomalia italiana é sincronizado com o lançamento do sistema de avaliação da pesquisa, que de repente introduziu limiares bibliométricos nas principais etapas da carreira acadêmica, deixando todo o espaço possível para citações estratégicas. O resultado impressionante é que os efeitos se tornaram visíveis em escala nacional e na maioria das áreas do conhecimento científico.

Nossos resultados sustentam a ideia de que os pesquisadores respondem rapidamente aos incentivos aos quais estão expostos. Mostram também que a adoção generalizada de incentivos alterou substancialmente o nível e a tendência dos indicadores bibliométricos calculados no nível do país. Isso sugere que os formuladores de políticas devem ter maior cautela no uso de indicadores para suas políticas científicas.

Notas

1. BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371/journal.pone.0221212. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

2. VAN NOORDEN, R. Italy’s rise in research impact pinned on ‘citation doping’ [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038/d41586-019-02725-y. Available from: https://www.nature.com/articles/d41586-019-02725-y

3. GUGLIELMI, G. Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126/science.aaz4708. Available from: https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged

4. HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

Referências

BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371/journal.pone.0221212. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

GUGLIELMI, G. Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126/science.aaz4708. Available from: https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged

HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

VAN NOORDEN, R. Italy’s rise in research impact pinned on ‘citation doping’ [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038/d41586-019-02725-y. Available from: https://www.nature.com/articles/d41586-019-02725-y

Links externos

Goodhart’s law <https://en.wikipedia.org/wiki/Goodhart’s_law>

ROARS | Return on Academic Research <https://www.roars.it/online/>

Sobre Alberto Baccini

Alberto Baccini é professor titular de Economia na Universidade de Siena, Itália. Seus principais interesses estão no campo da cientometria e na história do pensamento econômico. Ele é autor (com R. Todeschini) do Manual de Indicadores Bibliométricos. O blog Roars (Return On Academic Research), que ele cofundou com Giuseppe De Nicolao em 2011, recebeu até agora mais de 22 milhões de visualizações.

Sobre Giuseppe De Nicolao

Giuseppe De Nicolao é Professor Titular de Engenharia de Sistemas e Controle da Universidade de Pavia, Itália. Seus principais interesses estão na área da identificação de sistemas e ciência de dados aplicada a sistemas industriais e biomédicos.

Sobre Eugenio Petrovich

Eugenio Petrovich é pesquisador de pós-doutorado na Universidade de Siena, Departamento de Economia e Estatística. Ele obteve seu Ph.D. em Filosofia na Universidade de Milão. Suas principais áreas de pesquisa incluem cienciometria, filosofia da ciência e história computacional da filosofia. Ele tem interesse nos fundamentos filosóficos da análise de citações e nos aspectos epistemológicos dos estudos quantitativos da ciência.

Artigo original em inglês

https://blogs.lse.ac.uk/impactofsocialsciences/2019/11/21/working-to-the-rule-how-bibliometric-targets-distorted-italian-research/

Traduzido do original em inglês por Lilian Nassi-Calò.

 

Como citar este post [ISO 690/2010]:

BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Trabalhando de acordo com a regras – Como os objetivos bibliométricos distorceram a pesquisa italiana [Publicado originalmente no LSE Impact Blog em novembro/2019] [online]. SciELO em Perspectiva, 2019 [viewed ]. Available from: https://blog.scielo.org/blog/2019/12/11/trabalhando-de-acordo-com-as-regras/

 

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Post Navigation