Pesquisadores que se ocupam de políticas devem levar em consideração as variadas percepções sobre as evidências dos formuladores de políticas [Publicado originalmente no LSE Impact Blog em janeiro/2023]

Por Eleanor MacKillop e James Downe

Imagem: LSE Impact Blog via Canva.

A pandemia de covid-19 fez com que o adágio de “seguir a evidência” se tornasse um lugar-comum. Mas o que se entende por evidência pode variar segundo a quem se faz a pergunta, o contexto e muitos outros fatores. Estas percepções são especialmente importantes quando se trata de um grupo, os formuladores de políticas, pois afeta diretamente como e porque a evidência é usada ou não e, em última análise, como as políticas são formuladas.

Para explorar a compreensão da evidência, realizamos uma pesquisa para analisar as percepções dos atores políticos galeses. Usamos um método desenvolvido em psicologia – a metodologia Q – para estudar as atitudes e percepções das pessoas sobre o que significa evidência. Nossos participantes classificaram um conjunto de declarações coletadas da literatura existente, jornais e entrevistas com especialistas sobre o que as evidências significam em concordo-discordo em formato de pirâmide. Conforme mostrado abaixo, eles só poderiam concordar plenamente com duas afirmações (coluna +4 à direita da imagem) e só discordar plenamente de duas afirmações (-4 à esquerda).

Fig. 1. Exemplo de uma grade Q

Realizamos entrevistas com 34 participantes de toda a comunidade de formuladores de política galesa, desde Ministros a funcionários públicos, membros e funcionários do Senedd, organizações da sociedade civil e acadêmicos.

Quatro perfis de evidência

Parece que existem quatro perfis gerais de percepções e atitudes em relação à evidência na formulação de políticas no País de Gales, que chamamos de: Formulação de Políticas Baseadas em Evidências (Evidence-Based Policy Making, EBPM) Idealistas, Políticos, Pragmatistas e Inclusivos.

Idealistas EBPM

Estes entrevistados acreditam que as evidências devem ser rigorosas, claras e bem apresentadas (classificação +4) e que os formuladores de políticas têm a responsabilidade de usar as evidências de maneira imparcial (+4). Para estes entrevistados, as evidências podem ser comparadas à verdade e aos fatos:

“Como funcionários, nosso trabalho é dizer a verdade. Você deve sempre fornecer uma representação honesta dos fatos.”

Estes entrevistados não estavam, no entanto, totalmente comprometidos com os princípios da EBPM, por exemplo, deixando claro que os Ensaios Clínicos Controlados Randomizados (Randomized Control Trials, RCT) “são úteis, mas não acho que sejam o padrão-ouro”. Para eles, as ideias gerais do EBPM deveriam ser interpretadas dentro do mundo real da política. 

Políticos

Estes entrevistados acreditam que o que conta como evidência é influenciado pela política. Eles classificaram as declarações: “a evidência é política na forma como é articulada” (+2) e “a evidência reflete as relações de poder” (+2) acima de qualquer outro perfil.

Os entrevistados Políticos não negaram todos os aspectos do EBPM. Por exemplo, um participante explicou como eles concordaram que os formuladores de políticas públicas têm a responsabilidade de usar as evidências de maneira imparcial, mas reconheceram que servem aos mestres políticos.

“O tipo de evidência que eles [ou seja, os ministros] valorizam pode ser diferente de partido para partido […] Não podemos ser completamente imparciais”.

Pragmatistas

Estes entrevistados acreditam que a resposta para “o que conta como evidência” irá variar de acordo com os diferentes fatores envolvidos em um determinado contexto. Isso transparece nas duas afirmações com as quais eles mais concordaram: “nem todas as evidências podem ser medidas” (+4) e “o que conta como evidência varia entre as profissões” (+4).

Os pragmatistas ilustram a dificuldade de trabalhar com evidências, sendo difícil a avaliação da qualidade da evidência (+3) e como nem todas as evidências podem ser medidas (+4). Uma citação resume este perfil:

“Tendo participado do processo de formulação da política e recebido várias fontes de evidências, acho que nunca senti que posso deduzir um curso de ação facilmente a partir das evidências. Sempre há julgamento envolvido.”

Inclusivos

Este perfil inclui participantes que acreditam que o que conta como evidência deve ser o mais amplo e aberto possível, com “evidência [sendo] qualquer coisa que ajude a desenhar uma imagem rica de um problema” (+4) e “evidência sendo o que ajuda a responder a uma questão da política” (+3) sendo todos classificados mais elevados do que em qualquer outro perfil. Um entrevistado ilustra este ponto de vista:

“Eu fui um formulador de políticas por quarenta anos, então qualquer coisa que dê a você uma imagem rica de uma área política é uma evidência muito útil, independentemente de como ela é obtida.”

Este perfil ressalta “a necessidade de um amplo espectro de evidências, a necessidade de diferentes métodos para obter uma imagem completa.” De maneira geral, este perfil enfatizou a necessidade de evidências para incluir um amplo arsenal de ferramentas, métodos e elementos.

Perfis mutantes

As opiniões de nossos entrevistados sobre as evidências foram contextuais, diferenciadas e variáveis. No entanto, houve áreas de concordância em todos os quatro perfis. Por exemplo, todos concordaram que era importante explicar o que entendemos por evidência e cada perfil discordou que “a evidência é um luxo hoje em dia”, o que sugere a necessidade de mais discussão sobre o que conta como evidência e o papel que ela desempenha na formulação de políticas.

Os Idealistas EBPM incluíram o maior número de qualificações de nível superior. Isso poderia sugerir uma correlação entre o tempo gasto na formação acadêmica e uma crença mais forte nas ideias da EBPM (ao menos neste estudo). Por outro lado, ao comparar o tempo de serviço entre os perfis, os perfis Inclusivo (15 anos) e Pragmatista (11 anos) incluíram o maior tempo de trabalho em comparação com os perfis Político e Idealista EBPM (8 anos). Isso pode significar que quanto mais tempo alguém emprega lidando com questões de evidências no “mundo real”, mais inclinado estará a ter uma compreensão variada e contextual das evidências.

Nossa pesquisa teve como objetivo melhorar a compreensão do que as evidências significam para diferentes atores de políticas no País de Gales. Ela mostra como comportamentos semelhantes em relação à evidência podem ser obtidos em diferentes organizações, enquanto pontos de vista opostos – por exemplo, Idealistas EBPM versus Políticos – podem coabitar na mesma organização – por exemplo, o Governo Galês.

Os Idealistas EBPM incluem a maioria dos entrevistados, mas não dominam. Isso enfatiza o quão variadas são as atitudes dos atores políticos em relação às evidências. Também descobrimos que todos os participantes concordaram que sua compreensão das evidências mudou ao longo do tempo.

Quais são as lições aprendidas desta pesquisa? Para as organizações envolvidas na formulação de políticas, é importante reconhecer que diferentes atores têm diferentes percepções das evidências, e eles podem usar nossas descobertas para pensar sobre como diferentes significados das evidências podem impactar seu trabalho. Os provedores de evidências (como pesquisadores e acadêmicos) precisam entender se e como os atores políticos podem estar abertos a evidências, sejam eles, por exemplo, Idealistas EBPM que só atenderão a certas formas de evidências ou Pragmatistas, que estão trabalhando em um contexto e em uma questão que consideram passível de prova. Em última análise, esses processos também exigem habilidades e conhecimentos de conciliação.

Referências

“Following the science,” but was it the right science? A Parliamentary report raises serious questions about the UK’s covid-19 response [online]. The BMJ Opinion. 2021 [viewed 19 January 2023]. Available from: https://blogs.bmj.com/bmj/2021/10/12/following-the-science-but-was-it-the-right-science-a-parliamentary-report-raises-serious-questions-about-the-uks-covid-19-response/

MACKILLOP, E. and DOWNE, J. What counts as evidence for policy? An analysis of policy actors’ perceptions. Public Administration Review [online]. 2022 [viewed 19 January 2023]. https://doi.org/10.1111/puar.13567. Available from: https://onlinelibrary.wiley.com/doi/10.1111/puar.13567

Rachel Baker introduces Q Methodology. watchgcu on YouTube. 2013 [viewed 19 January 2023]. Available from: https://youtu.be/ZbZ2Kq-Fzxo

Sobre Eleanor MacKillop

Eleanor MacKillop é pesquisadora associada do Centro de Políticas Públicas do País de Gales. Seu trabalho envolve, entre outros temas, pesquisar o papel da evidência na formulação de políticas no País de Gales e em outros lugares e avaliar a Lei de Bem-Estar das Gerações Futuras recentemente adotada no País de Gales. Seus interesses abrangem austeridade e crise, mudança organizacional e formulação e alteração de políticas.

Sobre James Downe

James Downe é Professor de Políticas Públicas e Administração na Cardiff Business School e Diretor de Pesquisa no Centro de Políticas Públicas do País de Gales. Seus interesses de pesquisa são regimes de desempenho do governo local, responsabilidade política, melhoria liderada pelo setor, confiança pública e comportamento ético dos políticos locais.

Artigo original em inglês

Researchers engaging with policy should take into account policymakers’ varied perceptions of evidence

Traduzido do original em inglês por Lilian Nassi-Calò.