A avaliação por pares de propostas de auxílio à pesquisa (grants) tem como finalidade julgar o mérito de projetos e pesquisadores e permitir que os melhores sejam contemplados. O elevado número de candidatos e propostas, entretanto, vem causando saturação dos pareceristas, que se veem imersos em números crescentes de projetos, sem saber ao certo a melhor forma de julgá-los.
Em post anteriormente publicados neste blog, discutiu-se sobre a possibilidade de tornar os pareceres abertos, como forma a ajudar os pesquisadores a elaborar melhores propostas, ao mesmo tempo em que permite o reconhecimento público dos pareceristas e ajuda a coibir fraudes no processo de avaliação. Esta alternativa provém da experiência bem sucedida de periódicos em disponibilizar os comentários dos peer reviewers de forma aberta na sequência do artigo publicado.
Recentemente, Ewan Birney, diretor do European Molecular Biology Laboratory do European Bioinformatics Institute em Hinxton, Reino Unido, compartilhou em seu Twitter que desejava receber sugestões práticas sobre como identificar os melhores candidatos entre centenas de submissões que havia recebido para propostas de auxílio de projetos de pesquisa em sua instituição. Para sua surpresa, a comunidade científica respondeu efusivamente com muitas sugestões que, por sua vez, levaram a outros comentários no Twitter. A experiência foi reportada em uma nota na Nature1 que também vem recebendo comentários em sua página.
Birney2 iniciou o debate no Twitter perguntando sobre outros critérios que não o título do periódico para avaliar a competência dos candidatos, cujos artigos somam cerca de 2.500 no total. Como resposta, Yoav Gilad3, geneticista na Universidade de Chicago, IL, EUA, aconselhou a ler os 2.500 resumos ou os artigos propriamente ditos, mesmo que isso significasse incluir mais pareceristas no processo. Birney respondeu não achar que isso seria factível, apesar de correto. Birney é partidário, como muitos, de que o título do periódico, ou seu Fator de Impacto (FI) não necessariamente refletem a qualidade individual dos artigos. Ademais, sua tarefa é ainda mais difícil pois inclui julgar propostas que não se situam exatamente dentro de sua área de expertise. “Mesmo usando o prestígio do periódico como proxy não ajudaria, pois todos os candidatos publicam ‘bem’”.
A discussão no Twitter prossegue com a sugestão de Stephen Curry4, biologista estrutural no Imperial College em Londres, de solicitar aos candidatos a identificarem quatro de suas publicações mais relevantes e justificar a escolha em um relato de apenas uma página. Richard Sever5, co-fundador do repositório de artigos de biomedicina do Cold Spring Harbor Laboratory (CSHL) bioRxiv e diretor-assistente de publicações do CSHL, considerou boa a ideia, fazendo uma ressalva, entretanto, de que o método poderia, na verdade, selecionar candidatos competentes em redigir resumos de uma página.
A maior preocupação, segundo Birney, em utilizar métricas baseadas em citações, como sugerido por muitos pesquisadores, reside no fato de que elas variam consideravelmente entre disciplinas e podem não ser comparáveis em uma amostra heterogênea. Hugo Hilton6, imunologista na University of Stanford, CA, EUA, expressou sua preocupação como candidato de que os processos de seleção sejam sujeitos a critérios não totalmente claros e vieses clássicos como o prestígio dos periódicos onde os requerentes publicam. Cabe aqui lembrar a iniciativa Declaration on Research Assessment (DORA) de 20127, na qual membros da American Society for Cell Biology se comprometeram a não utilizar o FI para avaliar pesquisadores em propostas de auxílio, promoções na carreira e contratações, exatamente para evitar distorções. Até o momento a Declaração foi assinada por mais de 150 proeminentes cientistas e 80 organizações acadêmicas.
Birney afirma que os pareceristas devem ter certo grau de autonomia ao julgar as propostas e não há problema se todos eles não seguirem exatamente os mesmos procedimentos em suas avaliações. “Eu preferiria opiniões subjetivas e não enviesadas, com cinco critérios distintos do que tentar unificar os critérios de forma a concordar com as mesmas respostas”. Entretanto, ele ressalva, transparência no processo é essencial.
A despeito de estar ciente dos problemas em utilizar o prestígio dos periódicos como proxy para qualidade, Birney acredita que seu uso é inevitável em virtude do volume de propostas e candidatos a avaliar. Ele ainda aconselha os candidatos a ressaltar seus feitos de forma clara na proposta, ao invés de apenas destacar títulos de periódicos de sua lista de publicações.
O artigo da Nature recebeu uma série de comentários, oferecendo formas de acelerar os processos de avaliação e chegar a shortlists. É ainda possível a usuários cadastrados submeter seus comentários sobre o tema8. Participe da discussão você também!
Notas
1. CHAWLA, D.S. How to judge scientists’ strengths. Nature. 2015, volº 527, nº 279. DOI: 10.1038/527279f
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Como avaliar propostas de auxílio à pesquisa? [online]. SciELO em Perspectiva, 2015 [viewed ]. Available from: https://blog.scielo.org/blog/2015/11/25/como-avaliar-propostas-de-auxilio-a-pesquisa/
Sobre Lilian Nassi-Calò
Últimos comentários