Avaliação sobre a reprodutibilidade de resultados de pesquisa traz mais perguntas que respostas

Por Lilian Nassi-Calò

Foto: Kristoffer Trolle.

A ciência avança com base no conhecimento adquirido em estudos prévios e a confiabilidade e reprodutibilidade dos resultados é um dos pilares da pesquisa científica. Importantes conclusões são baseadas em milhares de resultados experimentais e em particular, a pesquisa pré-clínica e o desenvolvimento de novos fármacos e tratamentos requer como premissa inicial que os resultados possam ser confirmados por outros cientistas em diferentes laboratórios. As dúvidas sobre a reprodutibilidade da pesquisa aumentaram principalmente depois que as empresas farmacêuticas Bayer e Amgen terem reportado não poder reproduzir grande parte dos artigos que descrevem drogas como potenciais novos fármacos para o tratamento de câncer e outras doenças, como anteriormente reportado neste blog^1-3.

Reproducibility initiative

Ao notar que inúmeras companhias farmacêuticas empregavam pesquisadores para validar resultados experimentais envolvendo novas drogas potenciais, Elizabeth Iorns, chefe-executiva da Science Exchange – serviço que aproxima pesquisadores de provedores de trabalho experimental –desenvolveu a “Reproducibility Project: Cancer Biology”. A iniciativa, criada em 2013, tinha por objetivo validar 50 artigos publicados entre os mais relevantes e de alto impacto na pesquisa oncológica e contou, para esta finalidade, com financiamento de US$ 1,3 milhões proveniente de uma fundação privada – a Arnold Foundation – supervisionada pelo Center for Open Science e por cientistas independentes por meio da Science Exchange, que submeteram previamente aos autores dos artigos originais a metodologia e materiais para a verificação dos experimentos. Na ocasião, a reação à iniciativa foi recebida com reservas por alguns pesquisadores: “é incrivelmente difícil reproduzir ciência de ponta” alerta Peter Sorger, biologista na Harvard Medical School, em Boston, MA, EUA, ou de forma muito positiva por outros: William Gunn, codiretor da iniciativa afirmou que “o projeto é crucial para resolver o que tem sido uma praga na ciência por anos”; John Ioannidis, epidemiologista na Stanford University e especialista em estatística, que integra o comitê assessor da iniciativa, é de opinião que o projeto pode ajudar a comunidade acadêmica a reconhecer falhas no desenho experimental dos estudos, afirmando “um piloto como este pode nos dizer onde podemos melhorar”; Muin Khoury, que dirige a área Public Health Genomics dos Centers for Disease Control and Prevention, em Atlanta, GA, EUA, aprovou a ideia, afirmando que o projeto “vai permitir enfrentar a primeira das muitas etapas envolvidas na tradução das descobertas científicas em efetiva melhoria da saúde”.

Decorridos mais de três anos do lançamento do projeto, os resultados das pesquisas que tentaram reproduzir os resultados originais começam a ser publicados, indicando que há espaço para aperfeiçoar a reprodutibilidade de estudos pré-clínicos em pesquisa sobre o câncer. Para começar, é necessário definir replicação. Segundo Brian Nosek e Timothy Errington⁴, ao analisar os resultados dos cinco primeiros estudos reproduzidos, replicar significa “repetir independentemente a metodologia de um estudo prévio e obter os mesmos resultados”. No entanto, o que quer dizer “mesmos resultados”? Segundo os autores, os resultados não levam a uma resposta simples, pelo contrário.

Cada um dos cinco primeiros estudos sobre potenciais drogas para tratamento de certos tipos de câncer foi replicado diretamente por cientistas independentes em diferentes laboratórios. Replicação direta significa que foram utilizados os mesmos protocolos (metodologia e materiais) dos estudos primários, tendo sido revisados pelos autores originais com a finalidade de obter ulteriores detalhes experimentais para aumentar sua acurácia. O planejamento experimental das replicações foi submetido à avaliação por pares e publicado antes de seu início. Estes estudos aferem, portanto, se os resultados dos estudos primários são reprodutíveis – se permitem obter os mesmos resultados dos estudos primários – porém não fornecem insumos para aumentar sua validade. Se a replicação falhar, diminui a confiabilidade do estudo original, porém não significa que os resultados fossem incorretos, pois detalhes que à primeira vista pareciam irrelevantes podem, na verdade, ser cruciais. Se, por outro lado, a replicação for um sucesso, isso faz aumentar a confiabilidade do estudo primário e a probabilidade da generalização dos resultados. É importante ter em mente que alegações científicas ganham credibilidade pelo acúmulo de evidencias, e apenas uma replicação não permite um julgamento definitivo sobre os resultados da pesquisa original. Os estudos de replicação incluem, ademais dos novos resultados, metanálises da combinação de resultados (originais e replicados) em produzir um efeito estatisticamente significativo, contribuindo para aumentar o poder estatístico da amostra original. A importância da “Reproducibility Initiative” reside no fato que novas evidencias – em caso de falha da reprodução – trazem importantes indicações sobre a causa da irreprodutibilidade e os fatores que a influenciam, bem como oportunidades para melhorá-la.

Os artigos contendo o resultado dos cinco primeiros estudos replicados foram publicados no início de janeiro de 2017 em eLife⁴. A escolha do periódico de acesso aberto lançado em 2012 pelo Howard Hughes Medical Institute, a Sociedade Max Plank e o Wellcome Trust, reside principalmente no sistema de avaliação por pares rápido, eficiente e transparente adotado, que publica junto ao artigo partes selecionadas da avaliação e decisões, mediante autorização de pareceristas e autores. Dois dos estudos reproduziram partes importantes dos artigos originais, e um não reproduziu. Os outros dois estudos não puderam ser interpretados, pois experimentos in vivo referentes ao crescimento de tumores tiveram comportamento inesperado que impossibilitou inferir qualquer conclusão.

Estes primeiros resultados constituem uma pequena percentagem do total de estudos a serem replicados e não permitem tirar conclusões quanto ao sucesso da iniciativa ou afirmar quantos experimentos foram e quantos não foram reproduzidos. Antes de mais nada, é importante ressaltar que a iniciativa Reproducibility é per se um experimento e não há ainda dados disponíveis para concluir se foi bem-sucedido. O fato da metodologia dos estudos replicados ter sido pré-estabelecida, revisada pelos pares e publicada é simultaneamente uma vantagem e desvantagem, pois ao mesmo tempo que evita vieses, impede os pesquisadores independentes de alterar os protocolos quando os resultados são impossíveis de interpretar, em particular nos estudos in vivo. Os responsáveis pelo projeto adiantam que não podemos esperar resultados conclusivos simplesmente positivos (reprodutíveis) ou negativos (irreprodutíveis), porém uma nuance de interpretações.

Há uma crise de reprodutibilidade?

Este comportamento foi de certa forma esperado, muito antes dos primeiros resultados serem obtidos. Uma pesquisa online realizada pela Nature⁵ com mais de 1.500 pesquisadores de todas as áreas do conhecimento e publicada em 2016 mostra que mais de 70% não teve sucesso ao tentar reproduzir experimentos de terceiros e mais de 50% não pode reproduzir seus próprios experimentos. No entanto, apenas 20% dos entrevistados afirma ter sido contatado por outros pesquisadores que não puderam reproduzir seus resultados. Este tópico, entretanto, é delicado, pois corre-se o risco de parecer incompetente ou acusatório. Pelo contrário, quando um resultado não pode ser reproduzido, a tendência dos cientistas é assumir que existe uma razão perfeitamente plausível para o insucesso. De fato, 73% dos entrevistados são de opinião que ao menos 50% dos resultados em suas áreas são reprodutíveis, sendo os físicos e químicos entre os mais confiantes.

Os resultados ilustram o sentimento geral sobre o tema, na opinião de Arturo Casadevall, microbiologista na Johns Hopkins Bloomberg School of Public Health em Baltimore, MD, EUA, “no momento, não há consenso sobre o que reprodutibilidade é ou deveria ser […] e a próxima etapa deveria ser identificar o problema e obter um consenso”. Não se trata de eliminar a irreprodutibilidade, pois a pesquisa de ponta muitas vezes não conta com resultados robustos, afirma Marcus Munafo, psicólogo na Universidade Bristol, Reino Unido, estudioso de reprodutibilidade em pesquisa, que considera um rito de passagem não ser capaz de reproduzir resultados, relatando sua própria experiência.

Quanto à causa da irreprodutibilidade, os fatores mais comuns estão relacionados – como esperado – com a intensa competição e pressão por publicar. Entre os motivos mais citados pelos pesquisadores estão: publicação seletiva de resultados; pressão por publicar; baixa significância estatística; número insuficiente de repetições no próprio laboratório; supervisão insuficiente; metodologia indisponível; design experimental inadequado; dados-fonte indisponíveis; fraude; e avaliação por pares insuficiente.

A pesquisa mostrou que 24% dos entrevistados declarou ter publicado replicações bem-sucedidas e 13% publicou resultados de replicações que foram um insucesso. Na experiência de alguns autores, a publicação de resultados de replicações pode ser facilitada se o artigo oferecer explicação plausível para as possíveis causas do sucesso ou insucesso. Neste sentido, entre 24% (física e engenharia) e 41% (ciências médicas) dos pesquisadores relataram que seus laboratórios têm tomado medidas concretas para aumentar a reprodutibilidade dos ensaios, como repetir os experimentos várias vezes, solicitar a outros laboratórios que repliquem os estudos, ou aumentar o cuidado na padronização dos ensaios e descrição da metodologia empregada. O que pode parecer um gasto de material, tempo e recursos, pode na verdade poupar problemas futuros e retratação de artigos publicados. Segundo a pesquisa, uma das melhores formas de aumentar a reprodutibilidade é o pré-registro de protocolo e metodologias, no qual a hipótese a ser testada e o plano de trabalho são previamente submetidos à terceiros. Lembrando que esta foi, na verdade, a metodologia utilizada pela Reproducibility Initiative, na qual o design experimental foi revisão pelos pares e publicado antes do início dos estudos de replicação. A disponibilização dos resultados brutos em repositórios de dados abertos – open data – atua também neste sentido, prevenindo que os autores escolham publicar apenas os resultados que de fato corroboram sua hipótese.

Como melhorar a reprodutibilidade?

Os pesquisadores ouvidos pela Nature indicaram várias abordagens para aumentar a reprodutibilidade na pesquisa. Mais de 90% indicaram “design experimental mais robusto”; “melhor estatística” e “orientação mais eficiente”. Até mesmo a avaliação por pares pré-publicação foi apontada por Jan Velterop, geofísico marinho, ex-editor científico, defensor do acesso aberto e autor assíduo no blog SciELO em Perspectiva, como fator agravante da falta de reprodutibilidade na ciência. De fato, cerca de 80% dos entrevistados pela Nature são de opinião que agências de fomento e publishers deveriam ter um papel mais significativo neste sentido. Parece ser consenso o fato de que a discussão sobre reprodutibilidade é oportuna e bem-vinda, pois faz um maior número de pessoas se preocupar em melhorá-la. Como afirma Irakli Loladze, biologista matemática no Bryan College of Health Sciences em Lincoln, NE, EUA, “reprodutibilidade é como escovar os dentes, é bom para você, mas demanda tempo e esforço. Uma vez que você aprende, se torna um hábito”.

Notas

1. NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: a ponta do iceberg [online]. SciELO em Perspectiva, 2014 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2014/02/27/reprodutibilidade-em-resultados-de-pesquisa-a-ponta-do-iceberg/

2. NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: os desafios da atribuição de confiabilidade [online]. SciELO em Perspectiva, 2016 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2016/03/31/reprodutibilidade-em-resultados-de-pesquisa-os-desafios-da-atribuicao-de-confiabilidade/

3. VELTEROP, J. A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação? [online]. SciELO em Perspectiva, 2016 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2016/10/20/a-crise-de-reprodutibilidade-pode-estar-sendo-agravada-pela-avaliacao-por-pares-pre-publicacao/

4. NOSEK, B.A. and ERRINGTON, T.M. Making sense of replications. eLife [online]. 2017, vol. 6, p. e23383, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23383. Available from: http://elifesciences.org/content/6/e23383

5. BAKER, M. Is there a reproducibility crisis? Nature [online]. 2016, vol. 533, no. 7604, p. 452 [viewed 24 January 2017]. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Referências

BAKER, M. Independent labs to verify high-profile papers [online]. Nature. 2012 [viewed 24 January 2017]. DOI: 10.1038/nature.2012.11176. Available from: http://www.nature.com/news/independent-labs-to-verify-high-profile-papers-1.11176

BAKER, M. Is there a reproducibility crisis? Nature [online]. 2016, vol. 533, no. 7604, p. 452 [viewed 24 January 2017]. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

BEGLEY, C.G., ELLIS, L.M. Drug development: Raise standards for preclinical cancer research. Nature [online]. 2012, vol. 483, no. 7391, pp. 531–533 [viewed 24 January 2017]. DOI: 10.1038/483531ª. Available from: http://www.nature.com/nature/journal/v483/n7391/full/483531a.html

NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: a ponta do iceberg [online]. SciELO em Perspectiva, 2014 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2014/02/27/reprodutibilidade-em-resultados-de-pesquisa-a-ponta-do-iceberg/

NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: os desafios da atribuição de confiabilidade [online]. SciELO em Perspectiva, 2016 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2016/03/31/reprodutibilidade-em-resultados-de-pesquisa-os-desafios-da-atribuicao-de-confiabilidade/

NOSEK, B.A. and ERRINGTON, T.M. Making sense of replications. eLife [online]. 2017, vol. 6, p. e23383, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23383. Available from: http://elifesciences.org/content/6/e23383

PRINZ, F., SCHLANGE, T. and ASADULLAH, T. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery [online]. 2011, vol. 10, no. 712 [viewed 24 January 2017]. DOI: 10.1038/nrd3439-c1. Available from: http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html

SPINAK, E. Dados Abertos: informação líquida, democracia, inovação… os tempos estão mudando [online]. SciELO em Perspectiva, 2013 [viewed 29 January 2017]. Available from: https://blog.scielo.org/blog/2013/11/18/dados-abertos-informacao-liquida-democracia-inovacao-os-tempos-estao-mudando/

The challenges of replication. eLife [online]. 2017, vol. 6, p. e23693, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23693. Available from: http://elifesciences.org/content/6/e23693

VAN NOORDEN, R. Initiative gets $1.3 million to verify findings of 50 high-profile cancer papers [online]. Nature News Blog, 2013 [viewed 24 January 2017]. Available from: http://blogs.nature.com/news/2013/10/initiative-gets-1-3-million-to-verify-findings-of-50-high-profile-cancer-papers.html

VELTEROP, J. A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação? [online]. SciELO em Perspectiva, 2016 [viewed 24 January 2017]. Available from: https://blog.scielo.org/blog/2016/10/20/a-crise-de-reprodutibilidade-pode-estar-sendo-agravada-pela-avaliacao-por-pares-pre-publicacao/

Links Externos

Laura and John Arnold Foundation – <http://www.arnoldfoundation.org/>

Reproducibility Project: Cancer Biology – <http://validation.scienceexchange.com/#/reproducibility-initiative>

Science Exchange – <http://www.scienceexchange.com/>

Welcome Trust – <http://www.wellcome.ac.uk/About-us/Policy/Spotlight-issues/Open-access/Journal/index.htm>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.