Por Lilian Nassi-Calò
Foto adaptada da original: Ian Hampton.
Um post recentemente publicado neste blog marca os 350 anos da criação dos primeiros periódicos científicos que veiculavam as ideias de filósofos, matemáticos, astrônomos, físicos, médicos, juristas e outros pensadores do Século XVII. O autor relata que “desde o começo havia um consenso entre os pesquisadores e sábios de que as descobertas deviam ser difundidas e apresentadas abertamente à avaliação por seus pares. O ‘peer review’ é tão antigo como os periódicos científicos e ademais, é interessante notar que naquela época a arbitragem não era um processo anônimo nem cego e sim aberto a todos os colegas, uma espécie de peer review e Open Access”.
A validação de relatos científicos antes de sua publicação, portanto, é prática estabelecida e cuja eficácia e importância é reconhecida por autores, editores, agências de fomento e sociedades científicas em todo o mundo, como forma de assegurar a originalidade, qualidade, confiabilidade, integridade e consistência da literatura acadêmica.
As principais associações de editores em todo o mundo, como WAME, Council of Science Editors, ICMJE, COPE, EASE, ALPSP, e publishers como BioMed Central, Nature Publishing Group, Elsevier, Willey-Blackwell e muitos outras disponibilizam em seus sites manuais e guias de boas práticas sobre a avaliação por pares, de forma a orientar pesquisadores, editores e pareceristas sobre como conduzir de forma correta, idônea e transparente a etapa mais importante da publicação dos resultados de pesquisa.
A despeito desta ampla disponibilidade de recursos, a avaliação por pares ainda suscita dúvidas e questões por parte da comunidade científica, das instituições de pesquisa e da sociedade civil, que financia boa parte dos estudos por meio dos impostos que paga. O que deveria ser reconhecido como guardião da ciência de boa qualidade, embasada em conceitos sólidos e executada com metodologia adequada, pode ser erroneamente interpretado como uma forma através da qual interesses pessoais ou corporativos possam ser preservados, falta de transparência, preconceito contra descobertas inovadoras ou resultados negativos, ou outras razões que não sejam o bem comum.
Na opinião do biólogo e ganhador do premio Nobel de Química de 2008, Martin Chalfie da Universidade de Columbia, a avaliação por pares é importante para qualificar a produção científica, porém é necessário estar atento para que bons trabalhos não sejam retidos no crivo do peer review e deixem de ser publicados. Chalfie foi o descobridor, junto a outros dois cientistas, da Proteína Verde Fluorescente (GFP)1. A proteína GFP da água viva Aequorea victoria, descoberta em 1994, pode ser utilizada como marcador da expressão gênica em organismos procariotos e eucariotos, tornando o ensaio muito mais simples e sensível.
Chalfie concedeu uma entrevista exclusiva a uma revista semanal brasileira relatando as dificuldades que ele próprio teve para publicar na Science o artigo que lhe rendeu o Nobel. Chalfie considera que a avaliação por pares deve passar por ajustes para tornar o processo mais eficiente e justo. Ele considera que atualmente há pareceristas que não avaliam o artigo submetido, porém sua visão ideal daquele artigo. A falta de consenso entre pareceristas pode ser problemática, pois um parecer negativo, mesmo em meio a muitos outros positivos pode fazer com que o editor deixe de publicá-lo. Há periódicos como o eLife que exigem que os pareceristas cheguem a um consenso entre si sobre os pontos que o autor deve revisar para ter seu trabalho publicado. O editor do periódico Genetics, por outro lado, acredita que editores devem ser cientistas líderes no segmento, pois assim podem avaliar a verdadeira relevância de um trabalho e até mesmo criticar o parecer de um cientista renomado.
Chalfie menciona ainda a necessidade de julgar a qualidade de um pesquisador pelo exame de sua obra e não do prestígio dos periódicos onde ele publicou e cita a Declaration of Research Assessment (DORA)2 como movimento contrário à supervalorização do Fator de Impacto na avaliação de pesquisadores.
Esta impressão negativa da avaliação por pares decorre, muito provavelmente, da falta de conhecimento e das regras sobre seu funcionamento. Um estudo detalhado realizado por um Grupo de Trabalho da agência britânica Sense About Science publicado em 20043 mostra que devido à falta de conhecimento de pessoas externas à comunidade científica naquele país sobre os princípios do peer review, há um julgamento equivocado a respeito das práticas de publicação científica. O termo ‘evidência científica’ muitas vezes é confundido com ‘política científica’. Na maior parte das vezes exageros e preocupações com descobertas científicas estão relacionados com resultados considerados por pesquisadores e especialistas como de baixa qualidade ou falsificados.
O Grupo de Trabalho considera, portanto, que entender o funcionamento da avaliação por pares pode ajudar o cidadão, ao ler sobre ciência em um periódico científico, em um jornal ou na Internet, a argumentar sobre como uma determinada descoberta foi feita e por qual escrutínio passou para ser publicada.
Para citar alguns exemplos de descobertas científicas que causam grande preocupação na população em geral, há a alegação de que a vacina contra caxumba, sarampo, rubéola (MMR) poderia causar autismo em crianças; que radiações eletromagnéticas não ionizantes emitidas por telefones celulares poderiam causar de distúrbios no sono a tumores cerebrais; que alimentos provenientes de sementes geneticamente modificadas seriam prejudiciais à saúde; a preocupação sobre os efeitos nocivos de pesticidas encontrados nos alimentos; e os riscos que suplantariam os benefícios da terapia de reposição hormonal em mulheres.
Na visão dos pesquisadores britânicos, trata-se de uma oportunidade perdida pela comunidade científica de tornar pública, de forma explícita, como descobertas científicas avançam e são compartilhadas, principalmente tendo em vista as horas de trabalho especializado e minucioso que envolvem e porque muitas das descobertas resultantes da pesquisa têm sérias implicações para questões que vão de saúde da família à política global.
Na América Latina, ademais, a questão pode ser ainda mais dramática. Estudo recente sobre a percepção pública da ciência conduzido na Argentina e apresentado na FAPESP Week Buenos Aires4, mostra que apesar dos esforços em aumentar a divulgação científica na região, os níveis de conhecimento sobre ciência na população geral são bastante baixos. A pesquisa foi realizada pelo Consejo Nacional de Investigaciones Científicas y Técnicas (Conicet) em parceria com a FAPESP, e é confirmada por estudos no Brasil realizados pelo Ministério da Ciência, Tecnologia e Inovação (MCTI) e a FAPESP, e em outros países ibero-americanos pela Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT).
Na opinião de Marcelo Knobel, professor do Instituto de Física Gleb Wataghin da Unicamp, um dos coordenadores do evento, “As populações dos países da América Latina nem sequer sabem se é feita ciência e muito menos em quais instituições essa atividade é realizada em suas respectivas nações”. De fato, pesquisas recentes sobre a percepção pública da ciência no Brasil apontam que somente 14% dos respondentes podem nomear alguma instituição de pesquisa no país.
A RICYT concluiu que o grau de conhecimento varia de acordo com o grau de instrução dos entrevistados. Apenas 20% dos participantes da pesquisa na Argentina souberam indicar uma instituição de pesquisa no país, porém, entre aqueles com maior nível de instrução, este percentual chegou a 70%. Esta percepção está ligada ao fato de que apenas 2 a 5% das populações dos países da região visita museus e centros de ciência ou lê conteúdos sobre ciência em jornais, revistas e na Internet.
As populações dos países desenvolvidos têm à disposição nos jornais diários, revistas e na Web um grande número conteúdos sobre ciência redigidos por jornalistas científicos que traduzem de forma simples as recentes descobertas da ciência. Esta atividade está longe de ser trivial, e requer treinamento especializado, incluindo cursos de pós-graduação em prática jornalística e ciência. Ademais, os grandes periódicos científicos mantêm páginas nas redes sociais e blogs onde compartilham informação científica mais digerida, para consumidores não especialistas. Na América Latina, isso ocorre em grau muito menor e a população em geral considera a informação veiculada de difícil compreensão, perdendo assim, o interesse. Evidentemente, a responsabilidade aqui recai sobre o veículo de comunicação e não sobre o leitor, que não conta com profissionais adequadamente preparados para ‘traduzir’ a linguagem científica em algo simples, porém não apenas trivial.
Mas o que tudo isso tem a ver com avaliação por pares? Os resultados apresentados pelo Grupo de Trabalho britânico apontam que se os cientistas chamassem a atenção para o processo de avaliação pelo qual seu trabalho passa antes de ser publicado, isso deveria estimular as pessoas comuns a serem mais exigentes com o que leem, a procurar fontes fidedignas e confiáveis sobre seus temas de interesse, ao invés de acreditar na primeira informação veiculada em uma revista ou na Internet. Pode parecer que estamos distantes de tal conscientização em nossa região geográfica, porém é importante iniciar este processo.
Muito já foi dito e escrito sobre avaliação por pares, porém nos dias de hoje há muito mais organizações dedicadas a entender e aperfeiçoar o processo, que durante muito tempo foi prerrogativa de publishers. A já mencionada Sense about Science vem produzindo material para pesquisa, treinamento e políticas de avaliação por pares, como o documento redigido pelo Grupo de Trabalho3 e o programa para jovens pesquisadores que inclui oficinas e guias para cientistas em início de carreira5.
Jovens pesquisadores têm questões acerca de seu envolvimento no processo de avaliação por pares, tais como de que forma avaliar seu desempenho como parecerista e o que esperar desta como autores e também como pareceristas. A despeito destas questões, seu envolvimento é muito produtivo, pois atuando na avaliação, compreendem como funciona a avaliação por pares, suas limitações e o papel da avaliação por pares na sociedade, tornando-se, assim, melhores autores.
De fato, 91% dos pesquisadores dedicam-se ao trabalho de arbitragem, pois acreditam que seu último trabalho foi melhorado por sugestões dos pareceristas, 85% deles afirmam gostar de ter acesso a outros trabalhos e ser capaz de melhorá-los, e 90% tomam parte no processo pois isso os faz se sentir um membro da comunidade acadêmica, atuando como gatekeeper em prol da qualidade das publicações em sua área. Por outro lado, 56% dos entrevistados na pesquisa da Sense about Science afirmam que não tiveram qualquer tipo de treinamento sobre como atuar como pareceristas em avaliação por pares.
Em vista disso e de outras evidências, em 2014, a European Cooperation Agency on Science and Technology (COST), financiada pela União Europeia, formou um grupo multinacional para fortalecer a eficiência, transparência e confiabilidade da avaliação por pares mediante uma abordagem transdisciplinar e intersetorial. A iniciativa, denominada New Frontiers of Peer Review (PEERE), com duração prevista de quatro anos, tem por objetivo analisar a avaliação por pares em diferentes áreas do conhecimento por meio de pesquisa qualitativa e quantitativa; avaliar implicações das diferentes modalidades de arbitragem por pares e explorar novas abordagens; envolver pesquisadores e partes interessadas nas etapas de compartilhamento de dados e resultados de testes; e finalmente definir colaborativamente uma agenda conjunta para propor uma reforma da avaliação por pares baseada em evidências. Os responsáveis pela iniciativa acreditam que a avaliação por pares como processo regulatório da ciência possa ser melhorado e fortalecido, pois seus resultados irão beneficiar a sociedade como um todo. A iniciativa PEERE organiza eventos e oficinas e disponibiliza documentos e manuais de boas práticas em avaliação por pares em seu portal na Internet.
A rede Enhancing the Quality and Transparency of Health Research (EQUATOR) apoia editores e jovens pesquisadores a enfrentar a avaliação por pares por meio da publicação de guias de boas práticas e checklists. Especializada na área de ensaios clínicos e literatura na área da saúde, os manuais da EQUATOR encontram-se inclusive disponíveis em idioma espanhol, traduzidos com o apoio da Organização Pan-Americana da Saúde e buscam suprir a demanda de informação em outros idiomas além do inglês.
O empenho e envolvimento de outras partes interessadas no fortalecimento da avaliação por pares além de publishers e editores é muito benéfico e deverá trazer importantes melhorias ao processo. Trata-se de um aprendizado coletivo e contínuo em prol da confiabilidade, transparência e ética na ciência.
Notas
1 CHALFIE, M. et al. Green fluorescent protein as a marker for gene expression. Science. 1994, vol. 263, nº 5148, pp. 802-805. DOI: http://dx.doi.org/10.1126/science.8303295.
2 Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 26 April 2015]. Available from: https://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/
3 Sense about Science. Peer Review and the Acceptance of New Scientific Ideas. London: Sense About Science, 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf
4 ALISSON, E. El nivel de conocimiento sobre ciencia en la sociedad latinoamericana es dramáticamente bajo. In: FAPESP Week Buenos Aires, Buenos Aires, 2015. Available from: http://www.fapesp.br/week2015/buenosaires/el-nivel-de-conocimiento-sobre-ciencia-en-la-sociedad-latinoamericana-es-dramaticamente-bajo/
5 Peer Review, The nuts and bolts. A guide for early career researchers. Sense about Science 2012, London. Available from: http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf
Referências
350 anos de publicação científica: desde o “Journal des Sçavans” e “Philosophical Transactions” até o SciELO. SciELO em Perspectiva. [viewed 13 April 2015]. Available from: https://blog.scielo.org/blog/2015/03/05/350-anos-de-publicacao-cientifica-desde-o-journal-des-scavans-e-philosophical-transactions-ate-o-scielo/
ALISSON, E. El nivel de conocimiento sobre ciencia en la sociedad latinoamericana es dramáticamente bajo. In: FAPESP Week Buenos Aires, Buenos Aires, 2015. Available from: http://www.fapesp.br/week2015/buenosaires/el-nivel-de-conocimiento-sobre-ciencia-en-la-sociedad-latinoamericana-es-dramaticamente-bajo/
Authors & Referees: Peer-review policy. Nature Publishing Group. Available from: http://www.nature.com/authors/policies/peer_review.html
BEER, R. “É preciso uma revisão mais justa de artigos científicos”. Veja.com. 2015. Available from: http://veja.abril.com.br/noticia/ciencia/e-preciso-uma-revisao-mais-justa-de-artigos-cientificos
Best Practices for Peer Reviewer Selection and Contact to Prevent Peer Review Manipulation by Authors. World Association of Medical Editors (WAME). 2015. Available from: http://www.wame.org/about/policy-statements#Best Practices for Peer Reviewer Selection
CHALFIE, M. et al. Green fluorescent protein as a marker for gene expression. Science. 1994, vol. 263, nº 5148, pp. 802-805. DOI: http://dx.doi.org/10.1126/science.8303295.
COPE Ethical Guidelines for Peer Reviewers. Committee on Publication Ethics (COPE). Available from: http://publicationethics.org/files/u7140/Peer%20review%20guidelines.pdf
Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 26 April 2015]. Available from: https://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/
For Reviewers. Willey Blackwell. Available from: http://www.nurseauthoreditor.com/forreviewers.asp
How to serve as an effective referee in the peer review process. European Association of Science Editors (EASE). Available from: http://www.ease.org.uk/publications/ease-toolkit-authors/how-serve-effective-referee-peer-review-process
Peer Review, The nuts and bolts. A guide for early career researchers. Sense about Science 2012, London. Available from: http://www.elsevier.com/__data/assets/pdf_file/0006/228597/Peer-review_The-nuts-and-bolts.pdf
Peer review. Elsevier. Available from: http://www.elsevier.com/reviewers/peer-review
Peer-review policy. BioMed Central. Available from: http://www.biomedcentral.com/editors/peerreview
Responsibilities in the Submission and Peer-Review Process. International Committee of Medical Journal Editors (ICMJE). Available from: http://www.icmje.org/recommendations/browse/roles-and-responsibilities/responsibilities-in-the-submission-and-peer-peview-process.html
Sense about Science. Peer Review and the Acceptance of New Scientific Ideas. London: Sense About Science, 2004. Available from: http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf
TRUDGETT, A. Reviewer Roles and Responsibilities. Council of Science Editors. 2012. Available from: http://www.councilscienceeditors.org/resource-library/editorial-policies/white-paper-on-publication-ethics/2-3-reviewer-roles-and-responsibilities/
Links externos
FAPESP Week Buenos Aires – http://www.fapesp.br/week2015/buenosaires
New Frontiers of Peer Review (PEERE) – http://www.peere.org/
Rede EQUATOR – http://www.equator-network.org/
Sense about Science – http://www.senseaboutscience.org
The Association of Learned & Professional Society Publishers (ALPSP) – http://www.alpsp.org/
Sobre Lilian Nassi-Calò
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Últimos comentários