O tema da reprodutibilidade de resultados de pesquisa vem merecendo a atenção da comunidade científica e da sociedade nos últimos anos. A premissa de que a ciência corrige a si própria por evoluir com base na reprodução de estudos anteriores vem sendo posta em dúvida, tendo em vista o número crescente de evidencias em contrário.
A baixa confiabilidade das pesquisas, entretanto, parece não estar associada à má conduta científica, mas a questões que incluem treinamento insuficiente de pessoal técnico e pesquisadores, o incentivo e premiação por resultados positivos em periódicos de alto impacto, e ênfase na elaboração de afirmativas ambiciosas, as quais não são devidamente justificadas pelos resultados. Protocolos experimentais mal elaborados, baixo número de amostras e testes estatísticos inadequados já foram apontados como responsáveis pela baixa reprodutibilidade em pesquisa.
Estas constatações, entre outras, levaram à criação em 2012 da plataforma online Reproducibility Initiative, ou Iniciativa em Reprodutibilidade, que tem por objetivo facilitar a comunicação entre pesquisadores e companhias farmacêuticas para validar e reconhecer resultados reprodutíveis de qualidade sobre testes pré-clínicos publicados. A plataforma conta com a rede Science Exchange, que inclui mais de dois mil laboratórios de 400 instituições de pesquisa que reproduzem os experimentos. As submissões e resultados obtidos são confidenciais e uma vez completados e confirmados, passam a contar com o selo “validado independentemente”. Há iniciativas semelhantes como a Science Check, que estão contribuindo para validar resultados de pesquisa na área clínica e assegurando que estes dados suplementares estejam disponíveis em repositórios de acesso aberto, ao alcance de todos.
Em vista deste cenário preocupante, as questões que se apresentam são: quem é responsável? Porque está ocorrendo? Como pode ser corrigido?
Os pesquisadores-chefe responsáveis pelos laboratórios compartilham os louros das descobertas – principalmente quando são coautores das publicações – e devem igualmente se responsabilizar pela exatidão dos resultados, sua reprodutibilidade, e o tratamento estatístico dos dados, mesmo se o trabalho experimental for conduzido por pesquisadores experientes como pós-doutores. Existem instituições, como o Laboratório de Biologia Molecular em Heidelberg, Alemanha, que limita o tamanho dos laboratórios para que o pesquisador chefe não tenha um número de pessoas que não consiga supervisionar adequadamente. Quando isso não ocorre, deve ser criada uma estrutura hierárquica para melhor controle dos resultados obtidos.
Do ponto de vista dos periódicos, a disponibilização de comentários online aberto é de muita utilidade, assim como a apresentação dos dados fonte a editores e peer reviewers, quando solicitados, bem como incentivar a publicação de resultados negativos.
O campo da psicologia também enfrenta a mesma crise de credibilidade nos resultados publicados, segundo publicação de Yong. Um estudo conduzido em 1959 pelo estatístico Theodore Sterling chegou à conclusão de que 97% dos estudos de psicologia publicados nos quatro principais periódicos da área reportam resultados positivos estatisticamente significativos. Quando o autor repetiu o estudo em 1995, obteve o mesmo resultado. Um dos motivos para explicar o excesso de resultados positivos em psicologia é que periódicos de alto impacto da área favorecem a publicação de artigos inovadores, interessantes, chamativos até, que requerem necessariamente resultados positivos. O anseio dos autores em obter resultados positivos acaba fazendo com que desenhem os experimentos – protocolo experimental, número de amostras, e outros pormenores – de forma que seja difícil, quase impossível, sua reprodução independente por outro estudo. De acordo com Brian Nosek (apud Yong 2012), um psicólogo social da Universidade da Virgínia, em sua área, “To show that ‘A’ is true, you don’t do ‘B’. You do ‘A’ again.”¹ Yong mostra em seu artigo um quadro retirado de Fanelli que mostra a tendência de publicar resultados positivos em 18 áreas do conhecimento. As ciências denominadas “duras” (Ciências Espaciais, Geociências, Física, Ciências da Computação) estão entre as que menos publicam resultados positivos. As Ciências da Vida, Química e Economia encontram-se no estágio intermediário e finalmente Psicologia e Psiquiatria, Medicina Clínica e Ciência dos Materiais estão no topo das que mais publicam resultados positivos. O autor correlaciona este índice com a maior falta de reprodutibilidade dos ensaios nestas áreas.
Muitas pesquisas na área clínica utilizam modelos animais para mimetizar técnicas cirúrgicas, efeito de drogas e outros testes em seres humanos, antes de conduzir ensaios clínicos em humanos. As razões para o uso de cobaias é claro e de fato, muitos pacientes se beneficiam de pesquisas com novos fármacos, porém, há que se melhorar a qualidade dos experimentos em animais.
Os estudos mais confiáveis com modelos animais de doenças em humanos são aqueles que utilizam randomização de amostras para eliminar diferenças sistemáticas entre grupos; conduzir estudo cego, ou seja, induzir a condição em estudo sem saber se aquele animal receberá a droga a ser testada; e avaliar os resultados de forma cega também. Entretanto, o que se observa é que no máximo um em cada três publicações segue estas regras anti-viés, o que indica que autores, peer-reviewers e editores lhes atribuem pouca importância. Como foi visto anteriormente, também aqui o número da amostra influi diretamente na confiabilidade dos resultados, e são poucos os trabalhos que reportam cálculos de tamanho da amostra. A tendência em publicar apenas resultados positivos, que interessam potencialmente a projetos da indústria farmacêutica, também se faz presente nesta área.
Com a finalidade de melhorar a confiabilidade dos ensaios com animais, foi criada em 2010 a iniciativa ARRIVE – Animal Research: Reporting In Vivo Studies (Pesquisa em animais: Relatando estudos In Vivo) autora de guias de experimentação validadas, entre outros, pelo Nature Publishing Group. Espera-se que as recém-criadas instruções possam influenciar positivamente os pesquisadores e mudar a cultura da busca por resultados positivos e imediatos.
Mais recentemente, os Institutos nacionais de Saúde dos Estados Unidos (NIH) lançaram medidas para aumentar a reprodutibilidade e a transparência dos resultados de pesquisa, com ênfase no desenho adequado dos protocolos de pesquisa. Estes incluem promover o treinamento obrigatório de pesquisadores da instituição, a produção de guias de boas práticas de pesquisa a serem disponibilizadas no site dos NIH, a criação de check lists para assegurar uma avaliação sistemática das solicitações de financiamento à pesquisa. O NIH também estuda formas de aumentar a transparecia de dados que constituem a base de manuscritos enviados para publicação, e a criação de repositórios para depositar dados primários denominado Data Discovery Index – DDI. Esta plataforma prevê que se outro autor utilizar os dados primários obtidos por um pesquisador, ele será citado, criando assim uma nova métrica de contribuição científica desvinculada de periódicos.
Em dezembro de 2013, o NIH lançou um fórum online de comentários sobre artigos publicados – o PubMed Commons . Autores que tem publicações em PubMed podem escrever comentários sobre artigos indexados nesta base, bem como ter acesso aos comentários dos colegas. Atualmente, mais de 2 mil autores se inscreveram e postaram mais de 700 comentários.
Sem dúvida, a reprodutibilidade não é um tema que os NIH podem enfrentar sozinhos. A comunidade científica, os publishers, universidades, associações profissionais, a indústria e a sociedade como um todo estão sendo convidados a participar deste debate, que tem por objetivo restaurar a confiabilidade dos resultados de pesquisa. Segundo os autores do NIH, o ponto mais crucial é a mudança de atitude no sistema de incentivo acadêmico, que atualmente premia publicações em periódicos de alto Fator de Impacto para conceder financiamento à pesquisa e atingir promoções na carreira, apesar das recentes iniciativas desestimulando esta prática.
O cenário da baixa reprodutibilidade demonstrado nos exemplos acima confirma a regra não escrita e compartilhada entre pesquisadores acadêmicos e da indústria de que ao menos 50% dos estudos publicados, mesmo em periódicos de alto FI não são reprodutíveis por outros laboratórios, e até no mesmo laboratório, mesmos equipamentos, mesmas pessoas e mesmos experimentos. Como já mencionado, inúmeros fatores foram apontados para explicar a baixa confiabilidade dos resultados, como amostras de tamanho insuficiente, análise estatística incorreta ou inadequada, a competitividade entre cientistas e instituições por resultados positivos e inovadores, que leva a confirmar uma hipótese, mesmo que haja muitos resultados (não publicados) a contradizê-la.
Segundo Prinz, et al editores e peer reviewers não tem condições de repetir os experimentos e ir a fundo nos resultados apresentados. Assim, muitos erros não são detectados. Soma-se a isso o fato de que os trabalhos rejeitados por um periódico acabam publicados por outros, sem alterações ou melhorias significativas.
Nota
¹ “… para provar que ‘A’ é verdadeiro, você não faz ‘B’. Você repete ‘A’.” (Tradução do autor)
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Reprodutibilidade em resultados de pesquisa: iniciativas em curso [online]. SciELO em Perspectiva, 2014 [viewed ]. Available from: https://blog.scielo.org/blog/2014/03/07/reprodutibilidade-em-resultados-de-pesquisa-iniciativas-em-curso/
O tema da reprodutibilidade de resultados de pesquisa vem merecendo a atenção da comunidade científica e da sociedade nos últimos anos. A premissa de que a ciência corrige a si própria por evoluir com base na reprodução de estudos anteriores vem sendo posta em dúvida, tendo em vista o número crescente de evidencias em contrário.
Sobre Lilian Nassi-Calò
Últimos comentários