Em post publicado anteriormente neste blog, tratou-se sobre questões da reprodutibilidade de resultados de pesquisa e de como o tema vem ganhando dimensão na comunidade científica e na sociedade. A confiabilidade da pesquisa científica pode ser medida pelo número de artigos retratados que são publicados quando se constata fraude ou erros de experimentação ou de interpretação dos resultados. O número de retratações foi multiplicado por dez desde 1975, porém a maior parte é devido à fraude. Como já foi mencionado, a falta de reprodutibilidade, entretanto, é subavaliada, pois repetir um experimento requer tempo, recursos materiais e humanos e um bom motivo para suspeitar dos resultados.
O desenvolvimento de novos fármacos para tratar de doenças tem início, em grande parte, em estudos científicos conduzidos em instituições de pesquisa na área clínica. As companhias farmacêuticas, portanto, estão entre as maiores interessadas na confiabilidade destes resultados, pois a partir deles são formulados projetos para testar e eventualmente produzir estas drogas, que tem custos consideráveis.
Entretanto, estudos conduzidos pelas companhias farmacêuticas Bayer (Alemanha) e Amgen (Estados Unidos) concluíram que entre 60 e 70% dos estudos na área de biomedicina possam incluir resultados não reprodutíveis. Um estudo sobre ensaios clínicos com drogas em potencial para determinadas doenças realizado em 2011 mostrou que a taxa de sucesso de novos fármacos em ensaios clínicos na Fase II caiu de 28% para 18% nos últimos anos, e a causa mais frequente do insucesso é a baixa eficiência das drogas testadas. Isso aponta para a limitação da previsibilidade de novas drogas em combater doenças para as quais havia indicações que funcionariam. As drogas em potencial provêm de várias fontes, incluindo desenvolvimentos das próprias companhias, mas principalmente relatos da literatura científica publicada em periódicos ou mesmo apresentada em congressos. É fácil imaginar as consequências para as companhias farmacêuticas se os experimentos sobre os quais se embasam estes estudos não forem confiáveis e reprodutíveis. A fase de testes compreende a mudança de abordagem de “interessante” para “factível/vendável” e testar um fármaco que se revelará um fiasco envolve custos respeitáveis.
É por isso que companhias farmacêuticas validam os resultados publicados antes de iniciar um projeto que envolve ensaios clínicos. Estudos da Bayer na Alemanha sobre a reprodutibilidade de resultados de pesquisa de 67 drogas em potencial para tratar câncer (47 drogas, 70%), doenças cardiovasculares (8 drogas, 12%) e para a saúde da mulher (12 drogas, 18%) resultaram em 43 casos (65%) de inconsistências, 14 casos (21%) em que os resultados publicados foram confirmados, 5 casos (7%) em que os principais dados foram reproduzidos, 3 casos (4%) em que alguns resultados foram confirmados, e 2 casos (3%) referem-se a projetos cujas drogas haviam sido desenvolvidas exclusivamente nas próprias companhias. Segundo pesquisadores da Amgen nos Estados Unidos, apenas 6 (11%) de 53 artigos sobre oncologia clínica mostraram-se reprodutíveis.
A falta de reprodutibilidade dos experimentos publicados, como vimos, tem um papel relevante nas falhas contabilizadas em projetos da indústria farmacêutica com base em resultados pré-clínicos. O sistema de avaliação de pesquisadores para contratação e projeção na carreira, bem como a obtenção de financiamento para pesquisa estão largamente baseados em publicações, preferencialmente resultados positivos e diretos publicados em periódicos de alto impacto, em outras palavras “um relato perfeito”. Esta cultura desencoraja a publicação de resultados negativos, ou conclusões alternativas à tese originalmente proposta pelo autor, conduzindo a falsas expectativas em relação a uma nova droga. Editores e peer reviewers têm um papel importante na mudança desta cultura, pois devem aumentar o rigor na avaliação dos trabalhos submetidos. Isso irá requerer um comprometimento maciço da comunidade acadêmica para exigir maior meticulosidade nos experimentos e descrição mais detalhada das condições experimentais, que permitam reproduzi-las por outros laboratórios. É interessante notar que estudos não reprodutíveis publicados em periódicos com Fator de Impacto (FI) situado no primeiro quartil (maior que 20) recebem mais citações do que estudos reprodutíveis publicados no mesmo periódico. Esta relação também se observa em periódicos com FI situado no segundo quartil (5-19), com diferença ainda mais pronunciada, tendendo aos estudos não reprodutíveis.
A terapia genética, parte da ciência denominada genômica, é quando se utiliza fragmentos de DNA como uma “droga” para tratar doenças, o que é geralmente feito incorporando estes fragmentos de DNA nos cromossomas de pacientes por meio da expressão de uma proteína, codificada por aquela sequencia de DNA introduzida¹. Desde a concepção do termo em 1972 até os dias de hoje, foram registrados tratamentos bem sucedidos para doenças congênitas (onde o DNA do paciente apresenta uma ou mais mutações) e algumas formas de câncer.
A genômica é uma disciplina considerada hot topic, consequentemente de natureza competitiva, que é usualmente publicada em periódicos de alto FI e atrai inúmeras citações. A genômica apresenta-se como uma perspectiva totalmente inovadora no tratamento de inúmeras doenças, mas também vem enfrentando o impacto de resultados falso-positivos. Muitas vezes, médicos não adequadamente treinados para interpretar resultados de sequencias gênicas de seus pacientes, publicam resultados sem o devido rigor, e anunciam observações casuais como efeitos biológicos comprovados.
A neurociência é também uma área das ciências médicas que sofre impacto da baixa reprodutibilidade devido ao tamanho das amostras reduzido e à baixa significância estatística dos resultados. Segundo os autores de um detalhado artigo de revisão publicado em Nature Reviews Neurosciences², a melhora da reprodutibilidade depende de princípios metodológicos bem estabelecidos, mas frequentemente ignorados pelos pesquisadores.
Os exemplos acima descritos ilustram como muitas áreas do conhecimento enfrentam uma crise de confiabilidade dos resultados de pesquisa. A tomada de consciência por parte de pesquisadores, editores, dirigentes de instituições de pesquisa, agências de fomento e a iniciativa privada é a primeira etapa na direção da detecção, correção e prevenção do problema. Uma possível mudança de postura por parte da comunidade científica na valorização de resultados positivos e premiação por quantidade – ao invés de qualidade da produção poderia, sem dúvida, contribuir para a solução.
² BUTTON, K. S., et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience. 2013, v. 14, nº 5, pp. 365-376. doi:10.1038/nrn3475
PRINZ, F., SCHLANGE, T., and ASADULLAH, K. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery. 2011. Available from: <http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html>
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: a ponta do iceberg [online]. SciELO em Perspectiva, 2014 [viewed ]. Available from: https://blog.scielo.org/blog/2014/02/27/reprodutibilidade-em-resultados-de-pesquisa-a-ponta-do-iceberg/
Sobre Lilian Nassi-Calò
Últimos comentários