A avaliação dos resultados de pesquisa é necessária para determinar o que é relevante, para apoiar decisões sobre fomento a projetos de pesquisa e para traduzir esta produção científica em programas e políticas públicas para toda a sociedade.
O primeiro indicador bibliométrico que conhecemos é o Fator de Impacto (FI), criado em 1972 por Eugene Garfield para avaliar periódicos, com a publicação do Science Citation Index do Institute for Scientific Information. De seu papel original de avaliar periódicos, tornou-se logo um índice para avaliar programas de pós-graduação, ranquear instituições e avaliar pesquisadores em processos de contratação, promoção na carreira, premiação e qualquer outra forma de medir a produção científica que poderia se beneficiar de uma avaliação qualitativa ou mais ampla, foi muitas vezes reduzido a uma lista de publicações associadas a um FI.
As limitações do FI e sua larga utilização pela comunidade científica tem sido registrada por meio de ações como a San Francisco Declaration on Research Assessment (DORA). Este documento, resultante da ação de editores e publishers reunidos em 2012 no Annual Meeting of the American Society of Cell Biology em San Francisco, CA, EUA, enumera as recomendações para que índices de impacto baseados em citações, como o FI, deixem de ser utilizados para avaliar pesquisadores em situações de contratação, promoção ou decisão de concessão de financiamento para projetos de pesquisa. Até o momento, mais de 22.000 pessoas de 159 países assinaram a DORA. A seguir, em 2015, o Manifesto de Leiden, originado na 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia, em 2014, em Leiden, na Holanda, orienta o uso de métricas de avaliação científica na Europa. Até hoje, o Manifesto foi traduzido para 25 idiomas, adotado por instituições e reconhecido por publishers em todo o mundo.
Ao tomar conhecimento de iniciativas como a DORA e o Manifesto de Leiden, o leitor poderia inferir que instituições de pesquisa, ao contratar e avaliar pesquisadores e agências de fomento, ao conceder financiamento à projetos, deveriam estar cientes sobre a limitação das métricas de impacto mais utilizadas e realizam também avaliações qualitativas e consideram atividades acadêmicas de outra natureza, além da publicação de artigos, em seus processos de avaliação, como a avaliação por pares, orientação de estudantes e publicação de dados de pesquisa, por exemplo. Infelizmente, na maior parte das vezes, o conhecimento está dissociado da prática.
Segundo Cameron Neylon1 relata em seu artigo recém-publicado na Nature,2 os pesquisadores, especialmente aqueles em início de carreira que não têm uma extensa produção acadêmica, são particularmente desfavorecidos em oportunidades de contratação e obtenção de financiamento à pesquisa. Estas decisões, segundo Neylon, são baseadas em evidências questionáveis, que se fossem dados de pesquisa não passariam pelo processo de avaliação por pares.
Por exemplo, Neylon e seu colega Karl Huang3 pesquisaram os dados que informam os rankings universitários internacionais. Cada ranking utiliza uma certa base de dados para contabilizar citações da produção científica das instituições avaliadas, como Web of Science, Scopus ou Microsoft Academic. Os autores criaram um ranking baseado em citações de 155 universidades e compararam as citações provenientes das três bases de dados. Os resultados obtidos mostram que três universidades mudaram de 110 posições, e 45 instituições mudaram mais de 20 posições, quando a fonte dos dados foi alterada.
A surpresa não está no fato que diferentes bases de dados e critérios de cada ranking forneçam diferentes resultados, mas que a comunidade científica continue a ignorar estas discrepâncias e tomando decisões sobre contratações, financiamento à pesquisa e políticas públicas com base em métricas que sabem ser falhas.
Muitos pesquisadores, especialmente os mais jovens, estão convencidos que a metodologia da avaliação da pesquisa deve mudar, para que eles não tenham de optar entre construir uma carreira com foco em publicações e citações ou contribuir para a ciência da melhor forma possível sem se preocupar excessivamente com métricas de impacto.
Este cenário, no entanto, pode estar mudando. Um documento denominado Agreement on Reforming Research Assessment4 começou a ser redigido em janeiro deste ano e acaba de ser publicado por iniciativa da European Research Area (ERA), European University Association (EUA), Science Europe, e a Comissão Europeia. O acordo conta com o apoio de 350 organizações públicas e privadas incluindo agências de fomento, universidades, centros de pesquisa, institutos e infraestruturas, associações e sociedades científicas, e associações de pesquisadores, entre outros, de mais de 40 países.
Os signatários do acordo se comprometerão com uma visão compartilhada de que a avaliação da pesquisa, pesquisadores e organizações de pesquisa reconhecem os diversos resultados, práticas e atividades que maximizam a qualidade e o impacto da pesquisa. Isso requer fundamentar a avaliação principalmente no julgamento qualitativo, para o qual a avaliação por pares é central, apoiada pelo uso responsável de indicadores quantitativos. Um vídeo5 disponibilizado pela ERA detalha os motivos e o processo de reforma da avaliação de pesquisa com opiniões de pesquisadores entrevistados.
Para que esta nova cultura de avaliação de pesquisa passe a vigorar, é imperativo uma mudança cultural de toda a comunidade científica sobre a evidência que se utiliza para avaliar os resultados de pesquisa. Não apenas o resultado – o artigo científico publicado – deve ser contabilizado, mas cada etapa do processo para chegar a este artigo, incluindo orientação e formação de estudantes de pós-graduação e pós-doutores, atividade de avaliação por pares, preparação e publicação de conjuntos de dados etc. Da mesma forma, a qualidade da evidência apresentada em propostas de financiamento à pesquisa e contratação de jovens pesquisadores deve ser avaliada criticamente considerando também critérios qualitativos, para que pesquisadores em início de carreira tenham oportunidade de ver contemplados seus projetos.
Este ano, a San Francisco Declaration on Research Assessment completa 10 anos de sua publicação. Foi preciso uma década e um novo acordo para sedimentar o que a DORA e seus apoiadores já defendiam em 2012, e o Manifesto de Leiden corroborou em 2015.
Notas
1. Cameron Neylon é colíder da Curtin Open Knowledge Initiative, que desenvolve e defende o fornecimento de dados e análises controlados pela comunidade para apoiar a avaliação da pesquisa e formulação de políticas e estratégias.
5. ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI
ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI
The San Francisco Declaration on Research Assessment – DORA: https://sfdora.org/
Sobre Lilian Nassi-Calò
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. A avaliação da pesquisa deve ir além de comparar métricas de impacto [online]. SciELO em Perspectiva, 2022 [viewed ]. Available from: https://blog.scielo.org/blog/2022/08/19/a-avaliacao-da-pesquisa-deve-ir-alem-de-comparar-metricas-de-impacto/
Últimos comentários