Ao ser lançada em 2013, a ambiciosa iniciativa “Reproducibility Project: Cancer Biology” pretendia verificar os resultados de 50 artigos publicados entre 2010 e 2012 de maior relevância e impacto na pesquisa pré-clínica sobre biologia do câncer. Os primeiros resultados publicados no início de 2017, no entanto, trouxeram mais perguntas do que respostas. No mesmo ano, o projeto foi reduzido para 29 artigos, e em 2018, sofreu nova redução, para 18 artigos, principalmente por questões de orçamento, e os resultados de cada um dos experimentos de replicação está longe de ser simplesmente catalogado com bem ou mal sucedido. Muitos estudos foram totalmente reproduzidos, outros tiveram parte dos experimentos reproduzidos e outros não, outros afirmam que a tentativa de reproduzir os experimentos daquele artigo falhou totalmente, e ainda há os que reportam que as replicações aportaram resultados que não puderam ser interpretados. Os resultados de todas as replicações estão disponíveis em uma coletânea no periódico eLife com link para os estudos individuais, em acesso aberto.
O que pretendia ser uma simples confirmação – ou não – de resultados de pesquisa mostrou que os ensaios de reprodutibilidade, para que tenham significado, devem ser realizados nas condições especificadas pelos autores originais. Teoricamente, o autor do artigo sabe – ou deveria saber – quais condições experimentais podem alterar os resultados. Na verdade, por vezes, os autores descobrem que a luz ambiente, o clima, ou a presença de certos minerais na água pode interferir nos resultados apenas quando falha a reprodução do experimento. Mas nem todos os autores e os pesquisadores atribuídos com a tarefa de reproduzir um determinado experimento estão de acordo com o próprio conceito de ensaios de reprodutibilidade. Há os que consideram tais ensaios como uma refutação da ideia original do artigo, outros encontram falhas metodológicas no trabalho de replicação. Fato é que ao invés de acatar o novo experimento como trabalho intelectual e utilizar as novas evidências para rever conclusões, escolhem o confronto. Este comportamento, segundo Brian Nosek e Timothy Errington, deve ser creditado à natureza humana e aos incentivos acadêmicos, em artigo da Nature1 que revisita o tema e propõe que pesquisadores originais e aqueles que pretendem replicar um estudo estabeleçam de comum acordo um protocolo experimental e definam expectativas antecipadamente.
Para que se possa tirar o máximo potencial da replicação, e evitar que seja vista como um ato hostil, ao invés de sua verdadeira natureza, i.e., uma etapa decorrente e desejável do processo científico, é preciso criar as condições necessárias para repetir um resultado. Muitos pesquisadores experientes admitem ter falhado ao tentar reproduzir seus próprios experimentos em seus devidos laboratórios, sem que isso signifique que os resultados originais tenham sido invalidados.
A abordagem deve, portanto, buscar uma resposta precisa ao invés de defender resultados. O fato de pesquisadores “apostarem” em uma replicação com detalhes experimentais relativamente amplos indica sua confiança em um resultado generalizado e robusto. Por outro lado, quanto mais restritas forem as condições experimentais, menos confiável se espera que seja o resultado2. Porém, é necessário frisar que uma replicação em boa-fé levará em conta o protocolo experimental do estudo original em seus detalhes. Caso esteja especificado, por exemplo, que a umidade do ar ambiente é relevante no experimento, esta condição deverá ser observada também na replicação. Este alinhamento de condições estabelecido entre autores originais e replicadores foi denominado pré-compromisso (precommittment).
O conceito de alinhamento entre o protocolo experimental dos estudos original e de replicação, na verdade, existe desde 2013 e chama-se Relato Registrado (Registered Report). Neste sistema, a avaliação por pares do artigo é conduzida em duas etapas. Inicialmente, na Etapa 1, os autores submetem a hipótese do artigo, a revisão bibliográfica, metodologia e estudos preliminares. Pareceristas avaliam a validade da pesquisa a ser conduzida, a justificativa da hipótese a ser testada, bem como a metodologia a ser utilizada. Caso aprovada, isso significa que a pesquisa será publicada independentemente dos resultados obtidos – que podem inclusive ser negativos, contradizendo a hipótese inicial – bastando para isso que os autores adiram fielmente ao protocolo proposto e interpretem os resultados de acordo com a evidência. É importante ressaltar que tão logo o manuscrito na Etapa 1 for aprovado, ele deve ser depositado pelos autores em um repositório (por exemplo, Open Science Framework Registered Reports) para acesso público imediato ou sob embargo temporário até a conclusão, aprovação e publicação dos resultados e discussão (manuscrito Etapa 2).
Nosek e Errington consideram que a infraestrutura dos Relatos Registrados é perfeitamente adequada para implementar o pré-compromisso necessário aos estudos de replicação. O Reproducibility Project: Cancer Biology utilizou, para cada artigo, um Relato Registrado detalhando o projeto experimental e protocolo proposto para as replicações revisado pelos pares e publicado antes da coleta de dados. O formato de publicação utilizando Relatos Registrados encontra-se disponível atualmente em mais de 250 periódicos, sendo, portanto, cada vez mais um recurso disponível para implementar estudos de replicação. Veja exemplos de Relatos Registrados3,4,5 de alguns dos artigos do Reproducibility Project, onde é possível observar a estrutura composta por Resumo; Introdução; Materiais e métodos; Referências; Carta de decisão do Editor; Resposta do autor; Informação sobre o artigo e autores, afiliação institucional, financiamento do projeto Reprodutibilidade e agradecimentos; e Métricas.
A infraestrutura, no entanto, não é o único gargalo para que se realizem mais estudos de replicação, sem falar no financiamento, uma vez que os custos destes projetos são consideravelmente elevados. Pesquisadores tendem a considerar resultados como bens pessoais, que provém de suas ideias e de seu trabalho árduo, e a replicação, de certa forma, é tida como um risco de perder “um bem” precioso. Com os Relatos Registrados, a transparência da pesquisa aumenta consideravelmente e os cientistas contam com a solidez de iniciar os experimentos com base em um protocolo pré-aprovado e validado pelos pares, ademais da garantia de publicar os resultados, mesmo que negativos, controversos ou contrariando o que se sabia até o momento sobre um determinado tópico. O pré-compromisso ancorado nos Relatos Registrados oferece aos estudos de replicação a mesma base sólida e a perspectiva de acordar com os replicadores um protocolo experimental que aumenta as chances de reprodutibilidade.
Artigo original publicado >> Preparação para replicar >> Replicadores e autores originais acordam um protocolo experimental que deverá gerar resultados significativos >> SIM: Pré-compromisso >> Afirmativas e métodos revisados publicados como Relatos Registrados >> Replicação >> Geração de hipótese para trabalho futuro >> Avanço do conhecimento
Artigo original publicado >> Preparação para replicar >> Replicadores e autores originais acordam um protocolo experimental que deverá gerar resultados significativos >> NÃO: Status quo >> Replicação >> Confronto >> Impasse
Não deve tardar o dia, acredito, em que instituições de pesquisa, editores de periódicos e agências de fomento passarão a demandar indicadores de reprodutibilidade na avaliação da produção científica de pesquisadores, assim como passamos de contar número de publicações a avaliar, ao invés, seu impacto. Convém estarmos preparados.
2. Nosek e Errington citam como exemplo um estudo mostrando que a prática regular de exercício físico fortalece a memória. Ao discutir um protocolo para reproduzir o estudo, os autores insistem em restringir a definição de “exercício regular” a corrida, mas não o ciclismo, além de reduzir a idade dos indivíduos a abaixo de 35 anos e os testes de memória serem administrados apenas no período noturno. Se as condições forem tão específicas, fica a dúvida se os autores, ele próprios, consideram que seus próprios resultados sejam reprodutíveis.
3. PHELPS, M. Registered report: Coding-independent regulation of the tumor suppressor PTEN by competing endogenous mRNAs. eLife [online]. 2016, vol. 5, e12470 [viewed in 26 August 2020]. DOI: 10.7554/eLife.12470. Available from: https://elifesciences.org/articles/12470
4. SHARMA, V., et. al. Registered report: Diverse somatic mutation patterns and pathway alterations in human cancers. eLife [online]. 2016, vol. 5, e11566 [viewed in 26 August 2020]. DOI: 10.7554/eLife.11566. Available from: https://elifesciences.org/articles/11566
5. RICHARDSON, A.D., et al. Registered report: IDH mutation impairs histone demethylation and results in a block to cell differentiation. 2016, vol. 5, e10860 [viewed in 26 August 2020]. DOI: 10.7554/eLife.10860. Available from: https://elifesciences.org/articles/10860
PHELPS, M. Registered report: Coding-independent regulation of the tumor suppressor PTEN by competing endogenous mRNAs. eLife [online]. 2016, vol. 5, e12470 [viewed in 26 August 2020]. DOI: 10.7554/eLife.12470. Available from: https://elifesciences.org/articles/12470
RICHARDSON, A.D., et al. Registered report: IDH mutation impairs histone demethylation and results in a block to cell differentiation. 2016, vol. 5, e10860 [viewed in 26 August 2020]. DOI: 10.7554/eLife.10860. Available from: https://elifesciences.org/articles/10860
SHARMA, V., et. al. Registered report: Diverse somatic mutation patterns and pathway alterations in human cancers. eLife [online]. 2016, vol. 5, e11566 [viewed in 26 August 2020]. DOI: 10.7554/eLife.11566. Available from: https://elifesciences.org/articles/11566
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. O caminho para os ensaios de reprodutibilidade passa pelos Relatos Registrados [online]. SciELO em Perspectiva, 2020 [viewed ]. Available from: https://blog.scielo.org/blog/2020/08/26/o-caminho-para-os-ensaios-de-reprodutibilidade-passa-pelos-relatos-registrados/
![Post convidado – Construindo um caminho mais fácil para a publicação de livros em acesso aberto: Apoio para autores [Publicado originalmente no Scholarly Kitchen em março/2021]](https://blog.scielo.org/wp-content/uploads/2021/12/iStock-1263424631-1024x683_thumb.jpg "Post convidado – Construindo um caminho mais fácil para a publicação de livros em acesso aberto: Apoio para autores [Publicado originalmente no Scholarly Kitchen em março/2021]")
Últimos comentários