Como a retórica da excelência influencia a avaliação da pesquisa

Por Lilian Nassi-Calò

Imagem: sentavio.

Instituições acadêmicas ao redor do mundo divulgam seus programas de ensino e pesquisa associados a posições de destaque em rankings universitários renomados, egressos ilustres, ou simplesmente nomes de universidades que são sinônimos de sucesso, prestígio e reputação há séculos. Na maior parte das vezes, o termo “excelência” é utilizado para qualificar a pesquisa que desenvolvem, as faculdades que congregam e os ilustres laureados que por ali passaram.

Samuel Moore e coautores, em um artigo de 2017,¹ se debruçaram sobre a “retórica da excelência” através do mundo acadêmico e seus efeitos deletérios, que estão longe de qualificar ciência de qualidade – muito pelo contrário, favorecem a falta de reprodutibilidade, fraude e a distribuição ineficaz de auxílio à pesquisa, para, ao final, propor estratégias de como combatê-la.

O termo “excelência” não tem um significado particular quando utilizado para qualificar instituições acadêmicas, e não se sabe se é possível reconhecer “excelência” antes de observá-la. Fato é que não se sabe se a busca por “excelência” e seu uso para premiar ou punir determinadas instituições, pesquisadores ou programas de pesquisa ajuda ou prejudica o alcance de seus objetivos.

Os autores do estudo, apoiados pela extensa literatura revisada, demonstram que o uso do termo “excelência” para orientar a distribuição de recursos para a pesquisa, na verdade, impede, ao invés de promover a ciência e atividade de pesquisa, ao mesmo tempo que desencoraja assumir o risco intelectual necessário para avançar nas pesquisas mais significativas que envolvem mudanças de paradigma e a “ciência normal” que permite consolidar o conhecimento na esteira de tais avanços.

O artigo é constituído de três partes. Na primeira, discute-se “excelência” como retórica, na qual os autores argumentam que o termo amplamente utilizado não é uma qualidade a ser descoberta, porém um mecanismo de intercâmbio linguístico por meio do qual pesquisadores comparam conjuntos heterogêneos de práticas disciplinares. Na segunda parte, os autores investigam o uso da “excelência” como ferramenta de avaliação e chegam à conclusão de que ela distorce a prática da pesquisa e falha na tentativa de fornecer um meio confiável de distinguir entre projetos, instituições ou pessoas concorrentes. Finalmente, propõem narrativas alternativas para a avaliação da pesquisa, dos pesquisadores e instituições, baseada em solidez e capacidade. Onde houver mais heterogeneidade e maior oportunidade para a diversidade de resultados e perspectivas, acreditam os autores, a pesquisa se fortalece.

O que é “excelência”?

O termo encontra inúmeras definições na literatura para se referir à qualificação de instituições, atividades acadêmicas e pesquisadores. No entanto, “nada nos diz sobre a importância da ciência e diz tudo sobre quem decide.”² Esta afirmação está de acordo com o trabalho de outros autores, que nos últimos anos recomendam reformas no processo de avaliação por pares.

É importante, segundo os autores, avaliar o processo de avaliação por pares, como tem sido proposto, por meio de treinamento para pareceristas, maior transparência e outras ações. No entanto, um dos autores citados, Lamont, é de opinião que “as soluções atuais para este problema – que consistem principalmente em alterar os graus de anonimato ou o ponto em que a revisão é conduzida (pré ou pós-publicação) – são insuficientes e constituem ‘garantias imperfeitas,’” e acrescenta que, “como muitas questões em comunicação científica, o desafio da avaliação por pares não é técnico, e sim social.”³

Diferentes disciplinas têm distintos entendimentos de medidas de “excelência”. Biólogos, por exemplo, consideram número de publicações, posição do autor e número de citações fortes indicadores de performance, ao passo que acadêmicos de literatura inglesa relacionam como indicadores de prestígio elevado número de palavras por artigo, autoria única, e publicação ou artigo de revisão em periódico literário renomado. Portanto, parece claro que culturas avaliativas estão operando mesmo sem consenso interno, além de algumas categorias amplas de desempenho.

Ainda assim, questionam os autores, poderia “excelência” ser um “descritor linguístico sem qualquer significado pré-estabelecido cujo valor reside na capacidade de capturar julgamentos de valor interdisciplinares e demonstrar a utilidade política do investimento público em pesquisas e instituições de pesquisa?”¹

Não é nem mesmo útil desta maneira, concluem. Por não ter conteúdo, o termo serve no sentido mais amplo apenas como uma (pretensa) reivindicação de sucesso comparativo: que alguma coisa, pessoa, atividade ou instituição pode ser “melhor”, mais importante” do que outra (geralmente incomparável de outra maneira), e, portanto, mais merecedora de reconhecimento. No entanto, esta ênfase em reconhecimento, segundo Kohn⁴ e outros autores, é deletéria às verdadeiras qualidades que estão sendo comparadas.

“Excelência” é bom para a pesquisa?

Os autores, como vimos, vêm argumentando que “‘excelência’ seria um sinalizador retórico utilizado para reivindicar valor por parte de instituições, pesquisadores, projetos ou disciplinas essencialmente heterogêneas, e não uma medida objetiva e intrínseca de mérito.” Porém, existiriam critérios formais que poderiam ser utilizados para identificar “excelência” em uma única instância de pesquisa em seus próprios termos ou uma disciplina em particular? Os autores concluem que encontrar uma resposta à esta questão – que está no centro do debate do artigo – é mais difícil do que se possa imaginar.

O que está em jogo é a avaliação de mérito e impacto do trabalho científico, e isso envolve inúmeros desafios. Entre eles está a não previsibilidade do impacto científico no momento da publicação, ou mesmo com base em citações recebidas, Fator de Impacto (FI) e outros índices; a falta de correlação entre concessão de auxílio à pesquisa e subsequente produtividade; o fato de que artigos inicialmente rejeitados por um periódico acabam sendo publicados por outros de similar prestígio e circulação sem maiores alterações, e outros. Estes exemplos são mencionados pelos autores para salientar a notória falta de habilidade da academia em avaliar “excelência”.

Mais preocupante, adicionam, é a considerável evidência de falsos positivos no processo de avaliação por pares. São artigos que em uma primeira avaliação cumprem com os requisitos de “excelência” estipulados por um determinado periódico, agência de fomento ou instituição, porém não passam quando submetidos à métricas subsequentes. Por exemplo, artigos que foram aceitos para publicação em um periódico são ressubmetidos com breves alterações. Destes, apenas 8% foram detectadas pelos editores ou pareceristas. Daqueles que não foram detectados, 90% foram rejeitados por falhas metodológicas e/ou outras razões pelos mesmos periódicos que haviam publicado estes artigos anteriormente. Estes “novos” artigos foram rejeitados por não ser suficientemente “excelentes” por periódicos que haviam previamente decidido que eram “excelentes” o suficiente.

Analogamente, um estudo⁵ mostrou que autores muito citados tinham menor capacidade de liderar auxílios a pesquisa importantes em biomedicina do que autores menos citados, porém socialmente bem conectados, associados com grupos de estudo e painéis de revisão da agência financiadora. Também nesta direção, Fang, et al.⁶ concluíram que as propostas de auxílio à pesquisa concedidas pelos National Institutes of Health dos Estados Unidos (NIH) definidas por avaliação por pares mostravam uma baixa correlação com a produtividade dos autores contemplados, medida por citações das publicações produzidas no âmbito do auxílio. Este resultado também evidenciou um viés das agências de fomento contra projetos altamente inovadores, que dificilmente são contemplados.

Com base no número crescente de retratações publicadas, inclusive em periódicos renomados, os casos de fraude e erros vem crescendo na literatura científica. A maioria das retratações são devido à fraude, publicação duplicada e plágio (67,4%), e apenas uma pequena parte devido à erros (21,3%). Ainda mais preocupante são os casos de falsos positivos, ou seja, estudos que não podem ser replicados. Pode parecer um contrassenso, mas tem sido postulado por inúmeros autores que o desejo de ser bem-sucedido e produzir pesquisa de “excelência” pode levar pesquisadores a ultrapassar a linha ética e submeter pesquisa fraudulenta, contendo erros substanciais, e não raro, irreprodutível.

Pesquisadores do Reino Unido e Austrália chegaram a admitir em entrevistas realizadas em 2016⁷ extrapolar nas alegações de impactos feitos em propostas de auxílio à pesquisa, afirmando que se tornou um aspecto “normal e necessário, se bem que lamentável, da cultura acadêmica, considerando a busca por competitivos recursos de pesquisa,” inferindo que se trata de uma prática amplamente disseminada. “Aqui se vê como um requisito competitivo, percebido ou real, por ‘excelência’, combinado com a falta de crença na habilidade dos assessores de detectar falsas alegações, leva à uma concepção de ‘excelência’ que é pura encenação: um conceito definido pelo que consegue se livrar alegando (ao invés de realmente mostrar) ‘excelência’.”

A publicação de artigos fraudulentos, ou com algum tipo de erro, já seria ruim para a ciência, porém não é a única consequência de como o foco em “excelência” prejudica a pesquisa. Esta prática acaba favorecendo o que é conhecido como o “efeito Mateus”,⁸ ou seja, a desigual distribuição de recursos para a pesquisa entre pesquisadores e instituições que são bem providas de auxílios, em detrimento daqueles que não o são. Este círculo vicioso cria distorções através de todo o ciclo da pesquisa, criando vieses contra projetos de pesquisa inovadores, ou de autores em início de carreira, desencorajando a pesquisa e a publicação de “ciência normal”, inclusive estudos de replicação, que são fundamentais para a viabilidade do processo de pesquisa, sem ser atraentes o suficiente para sugerir que seus autores sejam “excelentes”.

As instruções aos autores da maior parte dos periódicos de “excelência” indicam a predileção por artigos originais e resultados positivos. Nesta categoria não se enquadram estudos de replicação, pois não há incentivos estruturais para conduzir estudos que “meramente” possam revalidar (ou não) estudos existentes. No entanto, o fato de a literatura abrigar estudos cujos resultados não são reprodutíveis tem consequências potencialmente perigosas uma vez que pode levar a condutas ineficazes ou inseguras, ou servir de alicerce para estudos futuros cuja base não é verdadeira.

Por último, mas não menos importante, o impacto negativo da “excelência” pode se dar de formas mais sutis do que vimos até aqui. Ao utilizar como indicadores de desempenho padrões norte-americanos e europeus de “excelência” em capacidade de pesquisa, países do sul global podem experimentar um efeito paradoxal de redução desta capacidade ao reduzir o financiamento de projetos de pesquisa “normal” ou se afastar das prioridades nacionais.

Analogamente, pode haver intensificação do preconceito contra mulheres e grupos minoritários na concessão de auxílios à pesquisa, pois estes grupos, estando sub-representados, tendem a se perpetuar desta forma. É muito mais fácil se sua aparência, padrões de trabalho e objetivos de pesquisa estiverem de acordo com aqueles em que seus árbitros têm experiência anterior. Na ausência de medidas corretivas substanciais e conscientização, o foco na “excelência” continuará a manter, ao invés de superar, as barreiras sociais à participação em pesquisas por grupos atualmente sub-representados.

Narrativas alternativas: trabalhando em prol da mudança

A questão que se apresenta, após expor inúmeros exemplos sobre como “excelência” é um critério pouco confiável para atribuir parâmetros de qualidade e validade, é propor formas alternativas de avaliar a atividade da pesquisa e sua comunicação.

O maior desafio, acreditam os autores está na infraestrutura de financiamento à pesquisa. Os recursos públicos e de fontes privadas para financiar projetos de pesquisa e inovação estão cada vez mais escassos e a competição envolve prioridades e julgamento de valores em decisões difíceis de tomar.

Cabe aqui citar o relatório Publons de 2019 (publicado dois anos após o artigo em análise neste post), Grant Review in Focus,⁹ com os resultados compilados a partir das respostas de mais de 11.000 pesquisadores, mais de 800 financiadores em 95 países, alguns dos quais foram entrevistados para ter uma visão sobre a melhor forma de identificar projetos com maior potencial para receber financiamento, objeto de um post neste blog:¹⁰

Uma diferença fundamental entre a avaliação por pares de publicações e de auxílio à pesquisa reside no fato de que a primeira, por ocorrer após a pesquisa ter sido realizada influencia a direção que seguirá a pesquisa em uma determinada área ao determinar o que será publicado e onde, o que consequentemente irá influenciar a carreira do pesquisador. A avaliação de auxílio à pesquisa, por outro lado, tem influência mais direta em uma determinada área do conhecimento, por determinar se a pesquisa será financiada ou não e, neste último caso, poderá nunca se concretizar. Os critérios utilizados pelos pareceristas e o peso de cada um deles são, muitas vezes, decisões pessoais, ou podem ser formalmente providas pelos próprios financiadores. Por este motivo, estes pareceristas têm em suas mãos enormes desafios ao atribuir méritos a projetos, pois acabam tendo grande influência na pesquisa de toda uma área ou de um país.¹⁰

Em muitos países líderes em pesquisa e desenvolvimento, como Estados Unidos, Canadá, Reino Unido e nações com tradição em pesquisa da Europa, é comum que as instituições mais renomadas (e mais ricas) concentrem os auxílios públicos à pesquisa (o já mencionado “efeito Mateus”). No entanto, tem havido propostas recentes de redistribuição mais equitativa de recursos entre grupos de pesquisa menores, e proposições de estratégias alternativas após a constatação de que uma mais produtiva alternativa seria distribuir recursos com base na diversidade e não em percepção de “excelência”, ou até a proposição de que distribuir os recursos disponíveis para todos os postulantes seria mais econômico e produtivo do que enviar as propostas para revisão e seleção, ou ainda decidir quem receberá o auxílio por meio de sorteio. De qualquer forma, ao invés de procurar por “excelência”, os pareceristas que avaliam propostas de auxílio à pesquisa deveriam buscar algum critério básico de qualificação, como “credibilidade” ou “validade”, levando à transição de avaliação de resultados para avaliação de procedimento.

Os autores postulam que enfocar em “validade” e “solidez” e “capacidade” ao invés da retórica de “excelência” pode oferecer alternativas concretas. Parte da premissa de que “pesquisa válida ou sólida é pesquisa de qualidade” e “mais pesquisa é melhor do que pouca” coloca o foco em rigorosidade, completude, e padrões adequados de descrição, evidência e probidade, ao invés de vagas atribuições de superioridade. As qualidades mencionadas podem ser comparadas e mensuradas objetivamente. A coleção da Public Library of Science (PloS) lançada em 2001 com o PLoS ONE e hoje com 12 periódicos, tem como principal política editorial, além do acesso aberto, a publicação de artigos tecnicamente sólidos, sem considerar o grau de inovação ou impacto, fazendo da PLoS a maior coleção de mega journals em acesso aberto que existe.

O tema está longe de ter sido esgotado pelo artigo, reconhecem seus autores. De fato, este artigo faz parte de uma coletânea reunida pela Nature pelo Prof. James Wilsdon intitulada The future of Research Assessment,¹¹ que, desde 2017, incluiu novas publicações sobre o tema, enfocando a gestão de recursos financiamento à pesquisa do Reino Unido, Austrália, Estados Unidos e países da Europa.

A solução, postulam, “estaria na redistribuição dos recursos para a academia e não na concentração destes nas instituições que se autodenominam de ‘excelência’, uma vez que esta não pode ser reconhecida ou consensualmente definida. Redistribuição aumentaria a capacidade e o diversificaria o escopo da atividade, enfocando na prática da pesquisa, incluindo sua comunicação. Ao adotar esta abordagem, será possível reconhecer atividade acadêmica sólida e válida, e com isso, construir culturas e comunidades em torno deste reconhecimento. E isso seria excelente.”¹¹

Notas

1. MOORE, S., et al. “Excellence R Us”: university research and the fetishisation of excellence. Palgrave Comm. [online]. 2017, vol. 3, 16105 [viewed 28 January 2022]. https://doi.org/10.1057/palcomms.2016.105. Available from: https://www.nature.com/articles/palcomms2016105#citeas

2. STILGOE, J. Against Excellence [online]. The Guardian. 2014 [viewed 28 January 2022]. Available from: https://www.theguardian.com/science/political-science/2014/dec/19/against-excellence.

3. LAMONT, M. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press, 2009.

4. KOHN, A. Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A’s, Praise, and Other Bribes. Boston: Houghton Mifflin, 1999.

5. NICHOLSON, J.M. and IOANNIDIS, J.P.A. Research grants: Conform and be funded. Nature [online]. 2012, vol. 492, no. 7427, pp. 34–36 [viewed 28 January 2022]. https://doi.org/10.1038/492034a. Available from: https://www.nature.com/articles/492034a

6. FANG, F.C., BOWEN, A. and CASADEVALL, A. NIH peer review percentile scores are poorly predictive of grant productivity. eLife [online]. 2016, vol. 5, e13323 [viewed 28 January 2022]. https://doi.org/10.7554/eLife.13323. Available from: https://elifesciences.org/articles/13323

7. CHUBB, J. and WATERMEYER, R. Artifice or integrity in the marketization of research impact? Investigating the moral economy of (pathways to) impact statements within research funding proposals in the UK and Australia. Studies in Higher Education [online]. 2016, vol. 42, no. 12, pp. 1–13 [viewed 28 January 2022]. https://doi.org/10.1080/03075079.2016.1144182. Available from: https://www.tandfonline.com/doi/full/10.1080/03075079.2016.1144182

8. Porque a todo o que tem, dar-se-lhe-á, e terá em abundância; mas ao que não tem, até aquilo que tem ser-lhe-á tirado. (Mateus, 25:29)

9. Grant Review in Focus [online]. Publons. 2019 [viewed 28 January 2022]. Available from: https://publons.com/community/gspr/grant-review

10. NASSI-CALÒ, L. Um olhar sobre a avaliação por pares de propostas de auxílio à pesquisa [online]. SciELO em Perspectiva, 2019 [viewed 28 January 2022]. Available from: https://blog.scielo.org/blog/2019/12/04/um-olhar-sobre-a-avaliacao-por-pares-de-propostas-de-auxilio-a-pesquisa/

11. The future of research assessment [online]. Nature Humanities & Social Science Communications. 2016 [viewed 28 January 2022]. Available from: https://www.nature.com/collections/kzffqpcdch

Referências

CHUBB, J. and WATERMEYER, R. Artifice or integrity in the marketization of research impact? Investigating the moral economy of (pathways to) impact statements within research funding proposals in the UK and Australia. Studies in Higher Education [online]. 2016, vol. 42, no. 12, pp. 1–13 [viewed 28 January 2022]. https://doi.org/10.1080/03075079.2016.1144182. Available from: https://www.tandfonline.com/doi/full/10.1080/03075079.2016.1144182

EYRE-WALKER, A. and STOLETZKI, N. The assessment of science: The relative merits of post-publication review, the impact factor, and the number of citations. PLoS Biology [online]. 2013, vol. 11, no. 10, e1001675 [viewed 28 January 2022]. https://doi.org/10.1371/journal.pbio.1001675. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1001675

FANG, F.C., BOWEN, A. and CASADEVALL, A. NIH peer review percentile scores are poorly predictive of grant productivity. eLife [online]. 2016, vol. 5, e13323 [viewed 28 January 2022]. https://doi.org/10.7554/eLife.13323. Available from: https://elifesciences.org/articles/13323

FANG, F.C., STEEN, R.G. and CASADEVALL, A. Misconduct accounts for the majority of retracted scientific publications. Proc Natl Acad Sci USA [online]. 2012, vol. 109, no. 42, pp. 17028–17033 [viewed 28 January 2022]. https://doi.org/10.1073/pnas.1212247109. Available from: https://www.pnas.org/content/109/42/17028

GORDON, R. and POULIN, B.J. Cost of the NSERC science grant peer review system exceeds the cost of giving every qualified researcher a baseline grant. Accountability in Research [online]. 2009, vol. 16, no. 1, pp. 13–40 [viewed 28 January 2022]. https://doi.org/10.1080/08989620802689821. Available from: https://www.tandfonline.com/doi/full/10.1080/08989620802689821

Grant Review in Focus [online]. Publons. 2019 [viewed 28 January 2022]. Available from: https://publons.com/community/gspr/grant-review

KOHN, A. Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A’s, Praise, and Other Bribes. Boston: Houghton Mifflin, 1999.

KUHN, T.S. The Structure of Scientific Revolutions, Fourth edition. Chicago: University of Chicago Press, 2012 (1962).

LAMONT, M. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press, 2009.

MOORE, S., et al. “Excellence R Us”: university research and the fetishisation of excellence. Palgrave Comm. [online]. 2017, vol. 3, 16105 [viewed 28 January 2022]. https://doi.org/10.1057/palcomms.2016.105. Available from: https://www.nature.com/articles/palcomms2016105#citeas

NASSI-CALÒ, L. Um olhar sobre a avaliação por pares de propostas de auxílio à pesquisa [online]. SciELO em Perspectiva, 2019 [viewed 28 January 2022]. Available from: https://blog.scielo.org/blog/2019/12/04/um-olhar-sobre-a-avaliacao-por-pares-de-propostas-de-auxilio-a-pesquisa/

NICHOLSON, J.M. and IOANNIDIS, J.P.A. Research grants: Conform and be funded. Nature [online]. 2012, vol. 492, no. 7427, pp. 34–36 [viewed 28 January 2022]. https://doi.org/10.1038/492034a. Available from: https://www.nature.com/articles/492034a

PETERS, D.P. and CECI, S.J. Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences [online]. 1982, vol. 5, no. 2, pp. 187–195 [viewed 28 January 2022]. https://doi.org/10.1017/s0140525x00011183. Available from: https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/abs/peerreview-practices-of-psychological-journals-the-fate-of-published-articles-submitted-again/AFE650EB49A6B17992493DE5E49E4431

STILGOE, J. Against Excellence [online]. The Guardian. 2014 [viewed 28 January 2022]. Available from: https://www.theguardian.com/science/political-science/2014/dec/19/against-excellence.

The future of research assessment [online]. Nature Humanities & Social Science Communications. 2016 [viewed 28 January 2022]. Available from: https://www.nature.com/collections/kzffqpcdch

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.