Um olhar sobre a avaliação por pares de propostas de auxílio à pesquisa

Por Lilian Nassi-Calò

Em 2018 o Publons¹ publicou o informe Global State of Peer Review², com os resultados compilados a partir das respostas de mais de 11.000 pesquisadores de vários países de todos os continentes. A publicação, analisada neste blog em dois posts^3,4, permitiu conhecer quem são e onde estão os pareceristas, além outros detalhes sobre a revisão por pares.

Este post comenta o informe Grant Review in Focus⁵, que entrevistou 4.700 pesquisadores e usou dados extraídos do Web of Science sobre a avaliação e identificação de projetos para receber financiamento⁶. Os autores mencionaram mais de 800 financiadores⁷ em 95 países, alguns dos quais foram detalhadamente entrevistados para ter uma visão de suas perspectivas e preocupações sobre a melhor forma de identificar projetos que tem maior potencial para receber financiamento.

Define-se grant – auxílio à pesquisa – como um subsídio financeiro concedido por uma instituição governamental, privada ou sem fins lucrativos para o desenvolvimento de projetos. Não é esperado que os recursos recebidos sejam restituídos à fonte pagadora, que os utilizam para necessidades de infraestrutura, desenvolvimento de projetos de pesquisa, estudos, e outras atividades relacionadas. O sucesso na carreira de um pesquisador é geralmente medido por meio de publicações e métricas relacionadas ao seu impacto, como citações. É preciso considerar, no entanto, que sua habilidade em obter recursos para pesquisa é um fator preponderante para o progresso na carreira, pois está diretamente relacionada com sua capacidade de realizar as pesquisas e consequentemente, gerar publicações.

Dos pesquisadores entrevistados pelo Publons, 78% considera que “avaliação por pares é sistematicamente reconhecida como um atributo de qualidade”, portanto, a avaliação por pares de propostas de financiamento submetidas às agências de fomento é a melhor forma de alocar os recursos para a pesquisa com maior potencial de sucesso. Ao mesmo tempo, entrevistados manifestaram preocupação quanto à dificuldade de obtenção de auxílio por pesquisadores em início de carreira e/ou projetos muito inovadores ou controversos.

Uma diferença fundamental entre a avaliação por pares de publicações e de auxílio à pesquisa reside no fato de que a primeira, por ocorrer após a pesquisa ter sido realizada influencia a direção que seguirá a investigação em uma determinada área ao determinar o que será publicado e onde, o que consequentemente irá influenciar a carreira do pesquisador. A avaliação de auxílio à pesquisa, por outro lado, tem influência mais direta em uma determinada área do conhecimento, por determinar se a pesquisa será financiada ou não e, neste último caso, poderá nunca se concretizar. Os critérios utilizados pelos pareceristas e o peso de cada um deles são, muitas vezes, decisões pessoais, ou podem ser formalmente providas pelos próprios financiadores.

Por este motivo, estes pareceristas têm em suas mãos enormes desafios ao atribuir méritos a projetos, pois acabam tendo grande influência na pesquisa de toda uma área ou de um país.

Principais resultados

• As fontes de financiamento são indicadas em 79% dos artigos em publicados em acesso aberto no índice Science Citation Index Expanded (SCIE) do Web of Science. No universo de todos artigos do WoS, este percentual é de 60%, e sobe para 70% no domínio das ciências (SCI).
• Em nível de país, 90% dos artigos com ao menos um autor com afiliação da China indica a fonte de financiamento da pesquisa, e no Brasil este percentual é de 80%.
• Muitas pesquisas indicam mais de uma fonte de financiamento. Em 2018, a proporção de artigos resultantes de cooperação internacional foi de 26%, indicando uma tendência da pesquisa se tornar um empreendimento internacional.
• 70% dos artigos que indicam financiadores que apoiam o Plano S também incluem outra fonte de financiamento.
• Determinadas agências de fomento, como a National Science Foundation dos Estados Unidos, estão recentemente favorecendo projetos de pesquisa inovadores e com alto potencial de risco. Para estes projetos, o termo “retorno do investimento” não é concreto, pois a natureza desta pesquisa não permite que seja avaliada da forma usual, o que se transforma em um desafio medir o seu impacto.
• Esta tendência busca, possivelmente, abordar a questão sobre a percebida falta de objetividade na avaliação de propostas de financiamento destinadas à jovens pesquisadores e a projetos muito inovadores. Cerca de 50% dos entrevistados consideram que a avaliação por pares não é objetiva no primeiro caso e 38% no segundo.
• Trinta e seis por cento dos pesquisadores entrevistados consideram que assegurar financiamento para pesquisa é um dos fatores mais importantes de sua carreira. Em ordem de prioridade, os entrevistados identificaram os seguintes fatores que mais contribuem para o sucesso na carreira: 53,4% publicar em periódicos renomados; 35,9% assegurar financiamento à pesquisa; 27% obter altos índices de citação em periódicos renomados; e 18,8% pesquisa em geral, ensino e tarefas administrativas.

O que pensam os pesquisadores sobre o processo de avaliação

• 78% dos entrevistados concorda plenamente que a avaliação por pares é a melhor forma de assegurar que o financiamento contemple as melhores propostas de pesquisa, porém não é infalível. Ao mesmo tempo, estes pesquisadores acreditam que os critérios possam ser menos objetivos para pesquisadores em início de carreira. Este elevado percentual vai ao encontro do resultado observado na pesquisa sobre avaliação por pares de publicações (Publons 2018 The Global State of Peer Review²), onde 98% dos entrevistados responderam considerá-la importante ou extremamente importante para assegurar a qualidade e integridade da comunicação científica.
• A preocupação dos insatisfeitos com o sistema de avaliação por pares recai sobre os pesquisadores em início de carreira e a pesquisa muito inovadora ou “de risco”.
• Os pesquisadores, de forma geral, estão divididos no que se refere à qualidade e eficiência da avaliação por pares de auxílio à pesquisa; no entanto, há uma generalizada falta de satisfação com a transparência e legitimidade do processo.
• O financiamento à pesquisa é altamente competitivo e as taxas de sucesso são baixas, da ordem de 10-25%, de acordo com as próprias agências de fomento, e há tendência de declínio, em nível mundial. Estudos anteriores⁸ indicavam que pesquisadores podem empregar mais tempo buscando recursos do que realmente trabalhando em pesquisa. O informe Publons revelou, no entanto, que estes números variam muito segundo a área do conhecimento, os sistemas de pesquisa de cada país, e se aplicam apenas àqueles pesquisadores em posição de solicitar financiamento. O percentual de tempo médio empregado na tarefa, considerando estes parâmetros, é da ordem de 15%.
• As dificuldades em encontrar pareceristas para avaliar financiamento à pesquisa superam aquelas para revisão por pares de publicações. Assim relatam os financiadores ao afirmar empregar 2-6 horas para encontrá-los, e que é necessário convidar ao menos três pesquisadores para assegurar que um irá avaliar as propostas. O tempo empregado para avaliar uma proposta de financiamento é de 6 horas, em média, e os pareceristas empregam cerca de 10 dias por ano na tarefa. Os desafios das agências de fomento, no entanto, se assemelham aos dos editores de periódicos: aumentar o percentual de aceite dos convites para avaliar financiamentos à pesquisa; explorar novas fontes de potenciais avaliadores; e obter boas avaliações. 
• Outra semelhança com a avaliação por pares de publicações, é que poucos pareceristas são responsáveis por boa parte das avaliações de financiamento à pesquisa: 4% deles realizam 25% das revisões por pares. A razão disso é que os financiadores tendem a enviar propostas para os revisores por pares com quem já trabalharam previamente e conhecem a qualidade de seus pareceres. Para tentar equalizar a carga de trabalho, alguns financiadores estão recrutando jovens pesquisadores.
• Uma pratica utilizada por alguns financiadores para reconhecer o trabalho dos pareceristas é o pagamento em dinheiro. Apenas 16% dos entrevistados declararam receber pagamento, sugerindo que esta prática não é uma motivação como reconhecimento pelo trabalho de avaliação por pares, considerado uma taxa simbólica de baixo valor (US$50-100).
• A forma mais frequente de reconhecimento pelo trabalho mencionada foi um e-mail de agradecimento, mencionado por 73% dos entrevistados. Muitos afirmam que estas mensagens são geradas automaticamente e não são sequer personalizadas. Ainda, 14% afirmam ter sido citados em listas anuais de revisores por pares nos sites dos financiadores.
• Estas formas de reconhecimento não satisfazem a 44% dos entrevistados que, no entanto, continuam a realizar avaliação por pares de financiamento à pesquisa, quando solicitados. Os principais motivos não diferem muito daqueles apontados na avaliação por pares de publicações: consideram ser parte do trabalho de pesquisador; trata-se de uma contribuição voluntária à área de estudo/comunidade de pesquisa; desejam corresponder aos colegas que avaliaram seu trabalho; e assegurar a integridade e eficácia da pesquisa em determinada área; entre outros.
• Por outro lado, a causa mais frequente para rejeitar convites para avaliar propostas de financiamento é estar empenhado em outras tarefas, que acontece em 50% dos casos. A segunda maior causa é quando a proposta de financiamento à pesquisa se encontra fora da área de especialidade do pesquisador (40%).

Perspectivas futuras

• Dos pesquisadores ouvidos pelo Publons, 60% acreditam que maior transparência na avaliação por pares de financiamento à pesquisa teria um impacto positivo no processo, e 70% consideram que publicar os informes de avaliação junto com a concessão do financiamento teria um impacto positivo, promovendo, além da transparência, comprometimento. Apesar da discussão de abrir a avaliação por pares de propostas de financiamento à pesquisa já estar ocorrendo há certo tempo, pesquisadores e financiadores concordam que implementar estas mudanças será um desafio.
• É interessante notar que no caso de avaliação de publicações, os pesquisadores indicavam percentuais menores em relação à abertura dos pareceres: 40% apenas eram a favor da maior transparência e 45% queriam a publicação dos pareceres.
• Os entrevistados, ademais, acreditam que deveria haver mais feedback aos pareceristas sobre a decisão final dos processos por eles avaliados.
• Outros aspectos citados para aperfeiçoar o processo incluem: maior reconhecimento do trabalho de avaliação por pares; critérios e incentivos de carreira para os pareceristas; regras mais claras por parte das agências de financiamento e melhoria dos sistemas online de submissão e avaliação de propostas de financiamento; treinamento dos pareceristas; melhor comunicação entre financiadores, pesquisadores que submetem as propostas e pareceristas; aumentar a diversidade internacional dos pareceristas; renovar periodicamente o quadro de pareceristas; estabelecer um processo através do qual ao submeter um projeto para financiamento, o pesquisador recebe, em troca, uma proposta para avaliar.

Limitações do estudo

A avaliação de financiamento à pesquisa enfrenta desafios que, segundo parte dos entrevistados, poderiam ser melhor solucionados aumentando a transparência e o comprometimento do processo de avaliação por pares, assim como vem ocorrendo com a avaliação por pares de publicações. No entanto, há que considerar que sendo os pesquisadores ouvidos usuários Publons, há um viés em seu desejo por mais transparência e reconhecimento em avaliação por pares. Ademais, os pesquisadores que atuam como pareceristas em propostas de financiamento à pesquisa não estão uniformemente distribuídos pelo mundo: cerca de 50% são da Europa, enquanto que menos de 3% são da China. O Publons admite que os resultados não são representativos da pesquisa em todo o mundo. No entanto, os resultados da pesquisa contribuem para o entendimento e a discussão em torno do processo de revisão por pares de propostas de financiamento à pesquisa.

Notas

1. Em junho passado, o SciELO estabeleceu uma parceria com o Publons com a finalidade de prover aos editores e avaliadores que publicam nos periódicos da coleção SciELO Brasil, as ferramentas disponíveis na plataforma Publons. Os editores terão acesso ao Reviewer Connect, um serviço que permite buscar pareceristas no Publons e Web of Science (incluindo o SciELO). Os avaliadores, por sua vez, terão acesso ao Serviço de Reconhecimento de Pareceristas, que permite atribuir e registrar a atividade de avaliação por pares para fins de crédito acadêmico.

2. Global State of peer review [online]. Publons. 2018 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr

3. SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

4. SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte II [online]. SciELO em Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2019/02/07/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-ii/

5. Grant Review in Focus [online]. Publons. 2019 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr/grant-review

6. O Web of Science e o Publons (desde 2017) são integrantes do grupo Clarivate Analytics.

7. Dos financiadores entrevistados para o informe, 9,7% são da América Latina. O Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) do Brasil está na posição 16 entre as 20 maiores agências de fomento do mundo, com orçamento anual em 2019 de US$ 100 milhões, segundo o informe.

8. GUTHRIE, S., GHIGA, I., and WOODING S. What do we know about grant peer review in the health sciences? RAND Europe. 2017 [viewed 04 December 2019]. Available from: https://www.rand.org/pubs/research_reports/RR1822.html

Referências

CHAWLA, D.S. Thousands of grant peer reviewers share concerns in global survey. Nature 15 Oct 2019. doi: 10.1038/d41586-019-03105-2 . Available from: https://www.nature.com/articles/d41586-019-03105-2

Global State of peer review [online]. Publons. 2018 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr

Grant Review in Focus [online]. Publons. 2019 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr/grant-review

GUTHRIE, S., GHIGA, I., and WOODING S. What do we know about grant peer review in the health sciences? RAND Europe. 2017 [viewed 04 December 2019]. Available from: https://www.rand.org/pubs/research_reports/RR1822.html

NASSI-CALÒ, L. Os pareceres de propostas de financiamento a pesquisa poderiam ser abertos? [online]. SciELO em Perspectiva, 2015 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2015/03/20/os-pareceres-de-propostas-de-financiamento-a-pesquisa-poderiam-ser-abertos/

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte II [online]. SciELO em Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2019/02/07/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-ii/

VELTEROP, J. Plano S — e Taxas de Processamento de Artigo (APCs) [online]. SciELO em Perspectiva, 2018 [viewed 04 December 2019]. Available from: https://blog.scielo.org/blog/2018/11/27/plano-s-e-taxas-de-processamento-de-artigo-apcs/

Links externos

Publons <https://publons.com/>

Web of Science Core Collection <http://clarivate.libguides.com/woscc>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.