Cinco coisas a serem consideradas ao projetar uma política para medir o impacto da pesquisa [Originalmente publicado no The Conversation]

Por Andrew Gunn, pesquisador em Políticas de Educação Superior, Universidade Leeds, Leeds, Reino Unido e Michael Mintrom, professor de Gestão do Setor Público, Universidade Monash, Melbourne, Austrália

Neste ano o governo da Austrália propõe um piloto¹ sobre novas formas de medir o impacto da pesquisa na universidade.

Conforme recomendado pela Revisão Watt², a Avaliação de Comprometimento e Impacto (Engagement and Impact Assessment) incentivará as universidades a garantir que a pesquisa acadêmica produza benefícios econômicos e sociais mais amplos.

A iniciativa se enquadra na Agenda Nacional de Inovação e Ciência (National Innovation and Science Agenda³), na qual os fundos dos contribuintes são direcionados à pesquisa que terá um impacto futuro benéfico na sociedade.

O ministro da Educação Simon Birmingham disse⁴ que a iniciativa irá testar

“como medir o valor da pesquisa em relação a coisas que tem significado, ao invés de apenas alocar financiamento para pesquisadores que gastam seu tempo tentando publicar artigos em periódicos“.

Esta ação para medir o impacto não acadêmico da pesquisa introduz muitos novos desafios que não eram relevantes previamente, quando a avaliação focalizava somente o mérito acadêmico. Nova pesquisa⁵ destaca algumas das principais questões que devem ser abordadas ao decidir como medir o impacto.

1. O que deve ser aferido?

A avaliação de impacto da pesquisa deve traçar uma conexão entre a pesquisa acadêmica e o impacto no “mundo real” além do campus universitário. Estas conexões são enormemente diversas e específicas em um determinado contexto. Elas são, portanto, melhor capturadas através de estudos de caso.

Ao analisar um estudo de caso as principais questões são: o que conta como impacto, e que evidências são necessárias para provar isso? Ao considerar isso, os formuladores de políticas australianos podem usar recentes exemplos europeus⁶ como referência.

Por exemplo, no Sistema de Excelência em Pesquisa (Research Excellence Framework, REF) do Reino Unido – que avalia a qualidade da pesquisa acadêmica – os únicos impactos que podem ser contados são aqueles que fluem diretamente de pesquisa acadêmica submetida ao mesmo exercício REF.

Para confirmar o impacto, os beneficiários da pesquisa (tais como decisores políticos e profissionais) devem fornecer provas escritas. Isso cria uma definição precisa de impacto, pois aqueles que não podem ser verificados, ou não são baseados em resultados de pesquisa enviados, não contam.

Isso tem sido causa de frustração para alguns pesquisadores do Reino Unido, mas o limiar elevado assegura que os impactos sejam genuínos e fluam de pesquisas de alta qualidade.

2. Qual deve ser o prazo considerado?

Há lapsos de tempo imprevisíveis entre o trabalho acadêmico sendo realizado e este tendo impacto. Algumas pesquisas podem ser rapidamente absorvidas e aplicadas, enquanto outros impactos, particularmente os de pesquisa básica, podem demorar décadas a aparecer.

Por exemplo, um estudo que analisava o lapso de tempo na pesquisa em saúde⁷ constatou que o intervalo de tempo entre a pesquisa e a prática era, em média, de 17 anos. Deve-se notar, porém, que os lapsos de tempo variam consideravelmente com a disciplina.

Somente em retrospectiva o valor de uma pesquisa pode ser plenamente apreciado. Por conseguinte, os exercícios de avaliação do impacto da pesquisa devem ser fixados num intervalo específico.

Aqui, os formuladores de políticas podem aprender com ensaios anteriores, como um conduzido pela Rede Australiana de Tecnologia e o Grupo dos Oito em 2012⁸. Este exercício permitiu avaliar os impactos relacionados à pesquisa que ocorreram durante os 15 anos anteriores.

3. Quem deve ser os assessores?

Trata-se de uma convenção estabelecida há muito tempo que a excelência acadêmica é decidida por pares acadêmicos. As avaliações de pesquisa são tipicamente realizadas por comissões de acadêmicos.

No entanto, se estas avaliações forem estendidas para incluir o impacto não acadêmico, isso significa que existe agora a necessidade de incluir pontos de vista dos usuários finais da pesquisa? Isso pode significar que as vozes de pessoas fora da academia precisem ser envolvidas na avaliação da pesquisa acadêmica.

No REF do Reino Unido de 2014, foram recrutados mais de 250 “usuários da pesquisa” (indivíduos do setor privado, público ou beneficente) para participar do processo de avaliação. No entanto, seu envolvimento foi limitado à avaliação da componente de impacto do exercício.

Esta opção constitui um compromisso efetivo entre a manutenção do princípio da avaliação acadêmica pelos pares da qualidade da pesquisa e, simultaneamente, a inclusão dos usuários finais na avaliação de impacto.

4. E quanto aos impactos controversos?

Em muitas instâncias o impacto da pesquisa acadêmica no mundo é positivo. Mas há alguns impactos que são controversos – como fraturamento⁹, culturas geneticamente modificadas, nanotecnologias em alimentos e pesquisa com células-tronco – e precisam ser cuidadosamente considerados.

A pesquisa desta natureza pode ter um impacto considerável, mas de forma que torna difícil estabelecer um consenso sobre como o progresso científico impacta “o bem público”. Pesquisas desta natureza podem desencadear tensões sociais e questões éticas.

Isso significa que a avaliação de impacto também deve considerar fatores não-econômicos, tais como: qualidade de vida, mudança ambiental e saúde pública. Mesmo que seja difícil colocar valores monetários nestas coisas.

5. Quando a avaliação de impacto deve ocorrer?

A avaliação do impacto pode ocorrer em várias fases do processo de pesquisa. Por exemplo, um financiador pode solicitar propostas de pesquisa onde as submissões são avaliadas com base no seu potencial para produzir um impacto no futuro.

Um exemplo disto são os Auxílios a Pesquisa de Prova de Conceito do Conselho Europeu de Pesquisa (European Research Council Proof of Concept Grants), no qual os pesquisadores que já completaram um auxílio do ERC podem se candidatar a financiamento subsequente para transformar os seus novos conhecimentos em impactos.

Alternativamente, os impactos decorrentes da pesquisa podem ser avaliados em um processo retrospectivo. Esta abordagem identifica os impactos onde eles já existem e recompensa as universidades que os alcançaram.

Um exemplo disto é o Protocolo de Avaliação Padrão (Standard Evaluation Protocol, SEP) utilizado na Holanda, que avalia tanto a qualidade da pesquisa como sua relevância social.

Uma característica inovadora do sistema australiano proposto é a avaliação de comprometimento e impacto¹⁰, como duas coisas distintas. Isso significa que não há um exemplo internacional para simplesmente ser replicado.

Embora a Austrália possa aprender com alguns aspectos da avaliação em outros países, o projeto piloto Avaliação de Comprometimento e Impacto é uma etapa necessária para testar o modelo proposto como um todo.

O piloto – que irá testar a adequação de uma ampla gama de indicadores e métodos de avaliação, tanto para o comprometimento como para o impacto da pesquisa – significa que a avaliação poderá ser refinada antes de sua implantação nacional planejada para 2018.

Notas

¹ AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online]. Australian Research Council, Australian Government, 2016. [viewed 16 January 2017]. Available from: http://www.arc.gov.au/news-media/media-releases/2017-pilot-test-impact-business-engagement-researchers

² SHAW, C. Watt report suggests financial incentives for measuring research impact [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815

³ MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081

⁴ DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online]. The Department of Education and Training Media Centre, 2016. [viewed 16 January 2017]. Available from: https://ministers.education.gov.au/birmingham/2017-pilot-test-impact-business-engagement-researchers

⁵ GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management [online], 2017, vol. 39, n.1, pp. 20-30. [viewed 16 January 2017]. DOI: 10.1080/1360080X.2016.1254429

⁶ GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda. European Education [online], 2016, vol. 48, n.4, pp. 241-257. [viewed 16 January 2017]. DOI: 10.1080/10564934.2016.1237703

⁷ MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research. Journal of the Royal Society of Medicine [online], 2011, vol. 104, n. 2, pp. 510-520. [viewed 16 January 2017]. Available from: http://journals.sagepub.com/doi/full/10.1258/jrsm.2011.110180

⁸ AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN/Go8 EIA impact assessment trial, Group of Eight [online], 2012. [viewed 16 January 2017]. Available from: https://www.go8.edu.au/sites/default/files/docs/eia_trial_guidelines_final_mrb.pdf

⁹ Fraturamento para extração de petróleo (nota do tradutor)

¹⁰ TAYLOR, S. When measuring research, we must remember that ‘engagement’ and ‘impact’ are not the same thing [online], The Conversation, 2016. [viewed 16 January 2017]. Available from: https://theconversation.com/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745

Referências

AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online]. Australian Research Council, Australian Government, 2016. [viewed 16 January 2017]. Available from: http://www.arc.gov.au/news-media/media-releases/2017-pilot-test-impact-business-engagement-researchers

AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN/Go8 EIA impact assessment trial, Group of Eight [online], 2012. [viewed 16 January 2017]. Available from: https://www.go8.edu.au/sites/default/files/docs/eia_trial_guidelines_final_mrb.pdf

DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online]. The Department of Education and Training Media Centre, 2016. [viewed 16 January 2017]. Available from: https://ministers.education.gov.au/birmingham/2017-pilot-test-impact-business-engagement-researchers

GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management [online], 2017, vol. 39, n.1, pp. 20-30. [viewed 16 January 2017]. DOI: 10.1080/1360080X.2016.1254429

GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda. European Education [online], 2016, vol. 48, n.4, pp. 241-257. [viewed 16 January 2017]. DOI: 10.1080/10564934.2016.1237703

MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081

MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research. Journal of the Royal Society of Medicine [online], 2011, vol. 104, n. 2, pp. 510-520. [viewed 16 January 2017]. Available from: http://journals.sagepub.com/doi/full/10.1258/jrsm.2011.110180

SHAW, C. Watt report suggests financial incentives for measuring research impact [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815

TAYLOR, S. When measuring research, we must remember that ‘engagement’ and ‘impact’ are not the same thing [online], The Conversation, 2016. [viewed 16 January 2017]. Available from: https://theconversation.com/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745

Links externos

European Research Council – Proof of Concept – https://erc.europa.eu/proof-concept

Research Excellence Framework – http://www.ref.ac.uk/

Research Excellence Framework – Information for research users – http://www.ref.ac.uk/about/users/

VSNU – Quality Assurance Research: Standard Evaluation Protocol – http://www.vsnu.nl/en_GB/sep-eng.html

Leia o post original:

https://theconversation.com/five-things-to-consider-when-designing-a-policy-to-measure-research-impact-71078

Traduzido do original em inglês por Lilian Nassi-Calò.

Esse texto foi publicado sob uma Licença Creative Commons — Atribuição/SemDerivações.