Pesquisadores reunidos por ocasião da 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia (STI 2014) realizada em setembro de 2014, em Leiden, Holanda, com o objetivo de nortear o uso de métricas em avaliação da ciência e coibir abusos do uso de indicadores numéricos, propuseram um conjunto de normas – o Manifesto de Leiden1. De acordo com os signatários do documento, muitas das recomendações não são novas para a maioria dos pesquisadores, porém, não é raro que não as levem em consideração ao conduzir algum tipo de avaliação em pesquisa.
Artigo publicado esta semana na Nature por pesquisadores que integram o Comitê Científico da STI 20142 apresentam os dez princípios do Manifesto de Leiden para o uso adequado de métricas em avaliação de ciência de forma que pesquisadores possam responsabilizar pareceristas e os pareceristas, por sua vez, possam confiar nos indicadores utilizados.
A seguir, um resumo dos dez princípios:
Avaliação quantitativa deve apoiar avaliação qualitativa, conduzida por especialistas. Métricas quantitativas podem desafiar tendências de viés em avaliação por pares e facilitar o julgamento, fortalecendo a avaliação por pares. Os pareceristas não devem, entretanto, ceder à tentação de substituir a tomada de decisão pelos números. Os indicadores não devem substituir a avaliação pelos pares e todos os envolvidos são responsáveis por suas avaliações.
Medir o desempenho em relação aos objetivos de pesquisa da instituição, grupo ou pesquisador. Os objetivos do projeto devem ser indicados no início, e os indicadores utilizados para avaliar o desempenho devem se referir claramente a estas metas. A escolha dos indicadores e as formas como são utilizados deverão considerar os contextos socioeconómicos e culturais mais amplos. Um único modelo de avaliação não se aplica a todos os contextos.
Proteger a excelência em pesquisa relevante localmente. Em muitos lugares no mundo, excelência em pesquisa significa publicação em idioma inglês. Vieses são particularmente problemáticos nas ciências sociais e humanidades, na qual a pesquisa é mais regional e de centralidade nacional. Muitas outras áreas tem uma dimensão nacional ou regional – por exemplo, estudos epidemiológicos específicos de determinadas regiões. Este pluralismo e relevância social tendem a ser suprimidos quando se criam artigos de interesse dos gatekeepers dos periódicos de alto impacto de língua inglesa. Métricas baseadas em literatura de alta qualidade em língua não inglesa serviriam para identificar e reconhecer excelência em pesquisa de caráter local ou regional.
Os processos de obtenção de dados e processo de análise devem ser abertos, transparentes e simples. A construção das bases de dados requeridas para avaliação deve seguir regras predeterminadas e claras. A transparência permite o escrutínio dos resultados. A simplicidade é uma qualidade de um indicador, pois aumenta sua transparência. Entretanto, métricas simplistas podem distorcer os resultados.
Permitir aos avaliados checar dados e análises. Para assegurar a qualidade dos dados, deve ser facultado aos pesquisadores incluídos em estudos bibliométricos checar se seus resultados foram corretamente identificados, ou submetê-los a auditoria independente. Os sistemas de informação das instituições devem implementar esta verificação, ao mesmo tempo que a transparência deve orientar o processo de seleção dos provedores deste serviço. Leve-se em conta que dados precisos e de alta qualidade consomem tempo e recursos financeiros para coletar e processar.
Levar em conta as variações de áreas na publicação e práticas de citações. A melhor prática é selecionar uma série de possíveis indicadores e facultar às áreas escolher um dentre eles. Determinadas áreas – notadamente ciências sociais e humanidades – publicam preferencialmente livros ao invés de artigos em periódicos, e outras como ciências da computação tem a maior parte de sua produção científica disseminada em conferências. Esta diversidade de formas de publicação de resultados de pesquisa deve ser levada em conta ao avaliar diferentes áreas. Citações também variam por área, o que requer indicadores normalizados; métodos mais robustos de normalização baseiam-se em percentis.
Embasar avaliação de pesquisadores individuais em um de seus próprios sistemas de avaliação. É sabido que o índice-h aumenta com a idade, mesmo sem novos trabalhos publicados. Além disso, ele depende da base de dados onde é calculado, sendo consideravelmente maior no Google Scholar que no Web of Science. Ler sobre o trabalho de um pesquisador é muito mais adequado que confiar em um número. Mesmo quando se compara um grande número de pesquisadores, uma abordagem que considere mais informação acerca de sua especialidade, experiência, atividade e influência é sempre melhor.
Evitar objetividade mal colocada e falsa precisão. Indicadores de ciência e tecnologia tendem à ambiguidade conceitual e incerteza e requerem fortes premissas que não são universalmente aceitas. Assim, boas práticas indicam o uso de indicadores múltiplos para fornecer um quadro mais consistente e próximo do real.
Reconhecer o efeito sistêmico da avaliação e dos indicadores. Indicadores podem alterar o sistema através dos incentivos que estabelecem, e estes efeitos podem ser antecipados. Isso significa que é sempre preferível usar um conjunto de indicadores. O uso de um único indicador – como número de publicações ou número total de citações – pode levar a erros de interpretação.
Submeter os indicadores a um escrutínio e atualizá-los regularmente. A missão da pesquisa e os objetivos da avaliação mudam e o sistema de pesquisa também evolui. Quando métricas usuais tornam-se inadequadas, novas emergem. Assim, indicadores devem ser revisados e por vezes modificados.
Próximas etapas
De acordo com os autores do artigo, a avaliação da pesquisa pode ter um papel relevante no desenvolvimento da ciência e sua interação com a sociedade, uma vez obedecidos estes dez princípios. Métricas de pesquisa podem fornecer informação crucial que seria difícil de reunir ou compreender por meio de experiência pessoal. A informação quantitativa, entretanto, é principalmente um instrumento e não deve ser transformada no objetivo.
Segundo o Manifesto, são necessárias evidências qualitativas e quantitativas para embasar decisões, e a escolha destas deve ser feita frente ao objetivo e natureza da pesquisa a ser avaliada. “O processo de tomada de decisão sobre ciência deve ser baseado em um processo de alta qualidade informado por dados de alta qualidade.”
Notas
1HICKS, D, and et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, nº 7548 , pp. 429–431. DOI: http://dx.doi.org/10.1038/520429a
HICKS, D, and et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, nº 7548 , pp. 429–431. DOI: http://dx.doi.org/10.1038/520429a
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. O uso de métricas em avaliações de pesquisa é matizado no Manifesto de Leiden [online]. SciELO em Perspectiva, 2015 [viewed ]. Available from: https://blog.scielo.org/blog/2015/04/30/o-uso-de-metricas-em-avaliacoes-de-pesquisa-e-matizado-no-manifesto-de-leiden/
Sobre Lilian Nassi-Calò
Últimos comentários