Embaralhe as cartas e distribua novamente

Por Ernesto Spinak

Imagem: 愚木混株 cdd20.

Mais uma vez voltamos a um velho tema da publicação científica, relacionado à reprodutibilidade dos estudos, o pouco rigor dos desenhos experimentais, as práticas de pesquisa de baixa qualidade, sem mencionar, é claro, os dados fabricados e outras formas de má conduta científica.

A frequência com que os cientistas fabricam e falsificam dados, ou cometem outras formas de má conduta científica, é motivo de controvérsia, embora felizmente tenha permanecido em baixa proporção por mais de uma década, com números estimados em faixas inferiores a 1%.

O grande problema é a confiabilidade dos resultados experimentais que depende do rigor do projeto e das medidas tomadas para reduzir o risco de viés nas amostras e outras situações. Este é um problema antigo que persiste, onde, por exemplo, em 2015, numa amostra de 2.671 publicações do PubMed, verificou-se que as publicações de instituições do Reino Unido identificadas como produtoras de pesquisa dos mais elevados padrões tinham, de fato, um risco substancial de viés, com menos de um terço relatando pelo menos uma das quatro medidas que poderiam ter melhorado a validade de seu trabalho (redução do risco de viés, controles duplo-cegos, cálculo do tamanho da amostra e conflito de interesses).¹

É preocupante que, de mais de 1.000 publicações das principais instituições do Reino Unido, mais de dois terços não relataram nem mesmo um dos quatro itens considerados críticos para reduzir o risco de viés. Mais preocupante é que ainda parece haver uma falta de compromisso com estas questões entre os responsáveis pela avaliação da qualidade da pesquisa publicada.

Sem dúvidas, houve avanços importantes na direção da democratização da ciência com o Acesso Aberto, a disponibilização de dados originais, os servidores de preprints etc., porém ainda persistem questões metodológicas e de reprodutibilidade levantadas repetidamente em artigos publicados recentemente em 2022, incluindo práticas de pesquisa questionáveis.

Estes artigos enfocam a análise em três problemas principais (ao menos): os problemas de pesquisas bem desenhadas e a informação clara e transparente que é publicada. A comunidade científica geralmente acredita que a violação da integridade da pesquisa é rara. Com base nesta crença, o sistema científico nem sempre faz o esforço necessário para examinar a confiabilidade da pesquisa.

As práticas atuais que tratam de possíveis más condutas em pesquisa tendem a proteger a reputação dos autores e de suas instituições, mas deixam de priorizar os interesses de pacientes, médicos e pesquisadores honestos. A remoção de incentivos inadequados, o treinamento de pesquisadores e a aplicação de uma melhor governança são vitais para promover uma boa conduta na pesquisa. A consciência da possibilidade de má conduta e os procedimentos formais que examinam a confiabilidade do estudo são importantes durante a avaliação por pares e nas revisões sistemáticas.

A crescente conscientização sobre questões com a integridade da pesquisa levou o Comitê de Ciência e Tecnologia do Parlamento do Reino Unido a lançar, em julho de 2021, uma investigação sobre a integridade da pesquisa. Ao menos quatro razões potenciais foram reconhecidas como causas prováveis de tentativas malsucedidas de replicar uma descoberta de pesquisa:

• Análises estatísticas falso positivas;
• Baixa generalização dos resultados;
• Desenho do estudo mal concebido (integridade da pesquisa) e
• Desvio de recursos deliberado (integridade do pesquisador).

Cabe recordar que muitos dos problemas em estudos clínicos sofrem de falhas nos métodos estatísticos.

Os problemas são agravados pela falta de treinamento estatístico adequado para os pesquisadores e pela incapacidade dos educadores estatísticos de responder às demandas únicas da pesquisa pré-clínica. A solução é voltar ao básico: educação estatística sob medida para pesquisadores não estatísticos, com comunicação clara de conceitos estatísticos e currículos que abordam dados específicos e questões de design de pesquisa pré-clínica. Os currículos de estatística devem se concentrar na estatística como um processo: amostragem de dados e desenho do estudo antes da análise e inferência. Experimentos adequadamente planejados e analisados são uma questão de ética tanto quanto de procedimento.²

Uma das motivações da ciência aberta e de suas práticas é justamente promover a reprodutibilidade e a confiança. Como especifica a Recomendação da UNESCO sobre Ciência Aberta:³

III. VALORES FUNDAMENTAIS E PRINCIPIOS ORIENTADORES DA CIÊNCIA ABERTA

• Os seguintes princípios orientadores para a ciência aberta fornecem um marco que visa a possibilitar condições e práticas dentro das quais os valores descritos acima são defendidos, e os ideais da ciência aberta se tornam realidade:
  1. Transparência, escrutínio, crítica e reprodutibilidade – deve-se promover uma maior abertura em todas as etapas do empreendimento científico, com o objetivo de reforçar o poder e o rigor dos resultados científicos, aumentar o impacto social da ciência e ampliar a capacidade da sociedade como um todo de resolver problemas complexos e interligados. Mais abertura leva a mais transparência e confiança na informação científica e reforça a característica fundamental da ciência, como uma forma distinta de conhecimento com base em evidências e verificado em relação à realidade, à lógica e ao escrutínio dos pares científicos.

Cabe perguntar que consequências estes problemas têm na comunicação científica. A questão mais importante, uma premissa inevitável, é que deve haver confiança epistêmica dentro da comunidade científica e também fora dela. Uma publicação recente² do Departamento de Filosofia da Universidade de Amsterdam comentou:

Há duas perguntas a respeito:

(1) Qual é o conteúdo desta confiança, por que os cientistas confiam uns nos outros?

(2) Esta confiança é epistemicamente justificada?

Argumenta-se que, se assumirmos uma resposta tradicional para (1), ou seja, que os cientistas confiam uns nos outros como informantes confiáveis, então a resposta à pergunta (2) é negativa [não justificada epistemicamente], e certamente é negativa para as ciências biomédicas e sociais. Isso motiva uma interpretação diferente da confiança entre os cientistas e, portanto, uma resposta diferente da (1): os cientistas confiam uns nos outros para testemunhar apenas sobre alegações apoiadas por evidências coletadas de acordo com os padrões metodológicos vigentes. Com esta resposta, a confiança entre cientistas é epistemicamente justificada. (grifo nosso)

No entanto, algo não está funcionando bem, porque ao analisar as percepções dos formuladores de políticas sobre as supostas “evidências” científicas, um estudo recente⁴ no País de Gales mostra a “amplitude e debilidade” dos critérios com os quais as chamadas evidências são tomadas (publicado no Blog de SciELO em Perspectiva).

Nossa Reflexão

• O objetivo da publicação científica não é o marketing para o avanço da carreira científica dos pesquisadores. Já foi dito antes, mas ainda precisamos repetir: os especialistas apontaram que as atuais estruturas de incentivo nas instituições de pesquisa não incentivam suficientemente os pesquisadores a investir em robustez e transparência e, em vez disso, os incentivam a otimizar sua aptidão na luta por publicações e financiamento à pesquisa.⁵
• Deve ser dada mais ênfase à formação metodológica das equipes de pesquisadores.
• A pesquisa deve ser bem planejada, realizada corretamente e relatada de forma clara e transparente. Um exemplo de modelo para identificar áreas que poderiam ser melhoradas é a chamada Lista de Verificação de Resultados de Qualidade e Avaliação de Conteúdo⁶ (QuOCCA). O QuOCCA é breve e se concentra em conceitos que são amplamente aplicáveis e relevantes para a ciência aberta, de alta qualidade, reprodutível e bem-informada. Devido à sua natureza genérica, o QuOCCA pode ser usado por outras instituições e pesquisadores individuais para avaliar publicações de pesquisa em quase todas as disciplinas de pesquisa, avaliar mudanças na prática de pesquisa ao longo do tempo e orientar a discussão sobre ciência aberta de alta qualidade.

Notas

1. MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

2. RIDDER, J. How to trust a scientist. Studies in History and Philosophy of Science [online]. 2022, vol. 93, pp. 11-20 [viewed 07 March 2023]. https://doi.org/10.1016/j.shpsa.2022.02.003. Available from: https://www.sciencedirect.com/science/article/pii/S0039368122000346

3. UNESCO. Recomendação da UNESCO sobre Ciência Aberta [online]. Unesdoc Digital Library. 2022 [viewed 07 March 2023]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000379949_por

4. MACKILLOP, E. and DOWNE, J. Los investigadores que se dedican a la política deben tener en cuenta las diversas percepciones de la evidencia de los formuladores de políticas [Publicado originalmente en el LSE Impact Blog en enero/2023] [online]. SciELO en Perspectiva, 2023 [viewed 07 March 2023]. Available from: https://blog.scielo.org/es/2023/01/19/los-investigadores-que-se-dedican-a-la-politica-deben-tener-en-cuenta-las-diversas-percepciones-de-la-evidencia-de-los-formuladores-de-politicas/

5.HOLST, M.R., FAUST, A., and STRECH, D. Do German university medical centres promote robust and transparent research? A cross-sectional study of institutional policies. Health Res Policy Sys [online]. 2022, vol. 20, no. 39 [viewed 07 March 2023]. https://doi.org/10.1186/s12961-022-00841-2. Available from: https://health-policy-systems.biomedcentral.com/articles/10.1186/s12961-022-00841-2

6. HÉROUX, M.E., et al. Quality Output Checklist and Content Assessment (QuOCCA): a new tool for assessing research quality and reproducibility. BMJ Open [online]. 2022, vol. 12, no. 9 [viewed 07 March 2023]. https://doi.org/10.1136/bmjopen-2022-060976. Available from: https://bmjopen.bmj.com/content/12/9/e060976

Referências

ELLIS, R.J. Questionable Research Practices, Low Statistical Power, and Other Obstacles to Replicability: Why Preclinical Neuroscience Research Would Benefit from Registered Reports. eNeuro [online]. 2022, vol. 9; no. 4 [viewed 07 March 2023]. https://doi.org/10.1523/eneuro.0017-22.2022. Available from: https://pubmed.ncbi.nlm.nih.gov/35922130/

FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE [online]. 2009, vol. 4, no. 5 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0005738. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

GOPALAKRISHNA, G., et al. Prevalence of questionable research practices, research misconduct and their potential explanatory factors: A survey among academic researchers in The Netherlands. PLoS ONE [online]. 2022, vol. 17, no. 2 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0263023. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0263023

HÉROUX, M.E., et al. Quality Output Checklist and Content Assessment (QuOCCA): a new tool for assessing research quality and reproducibility. BMJ Open [online]. 2022, vol. 12 [viewed 07 March 2023]. http://doi.org/10.1136/bmjopen-2022-060976. Available from: https://bmjopen.bmj.com/content/12/9/e060976.abstract

HOLST, M.R., FAUST, A., and STRECH, D. Do German university medical centres promote robust and transparent research? A cross-sectional study of institutional policies. Health Res Policy Sys [online]. 2022, vol. 20, no. 39 [viewed 07 March 2023]. https://doi.org/10.1186/s12961-022-00841-2. Available from: https://health-policy-systems.biomedcentral.com/articles/10.1186/s12961-022-00841-2

KOUSHOLT, B.S., et al. Reporting quality in preclinical animal experimental research in 2009 and 2018: A nationwide systematic investigation. PLoS ONE [online]. 2022, vol. 17, no. 11 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0275962. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0275962

LI, W., GURRIN, L.C., and MOL., B.W. Violation of research integrity principles occurs more often than we think. Reproductive BioMedicine Online [online]. 2022, vol. 44, no. 2, pp. 207-209 [viewed 07 March 2023]. https://doi.org/10.1016/j.rbmo.2021.11.022. Available from: https://www.sciencedirect.com/science/article/abs/pii/S1472648321005952

MACKILLOP, E. and DOWNE, J. Los investigadores que se dedican a la política deben tener en cuenta las diversas percepciones de la evidencia de los formuladores de políticas [Publicado originalmente en el LSE Impact Blog en enero/2023] [online]. SciELO en Perspectiva, 2023 [viewed 07 March 2023]. Available from: https://blog.scielo.org/es/2023/01/19/los-investigadores-que-se-dedican-a-la-politica-deben-tener-en-cuenta-las-diversas-percepciones-de-la-evidencia-de-los-formuladores-de-politicas/. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273

MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

NUNAMAKER, E.A. and REYNOLDS, P.S. ‘Invisible actors’—How poor methodology reporting compromises mouse models of oncology: A cross-sectional survey. PLoS ONE [online]. 2022, vol. 17, no. 10 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0274738. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0274738

PARKER, L., et al. Experts identified warning signs of fraudulent research: a qualitative study to inform a screening tool. Journal of Clinical Epidemiology [online]. 2022, vol. 151, pp. 1-17 [viewed 07 March 2023]. https://doi.org/10.1016/j.jclinepi.2022.07.006. Available from: https://www.sciencedirect.com/science/article/abs/pii/S0895435622001792

REYNOLDS, P.S. Between two stools: preclinical research, reproducibility, and statistical design of experiments. BMC Res Notes [online]. 2022, vol. 15, no. 73 [viewed 07 March 2023]. https://doi.org/10.1186/s13104-022-05965-w. Available from: https://www.sciencedirect.com/science/article/abs/pii/S1472648321005952

RIDDER, J. How to trust a scientist. Studies in History and Philosophy of Science [online]. 2022, vol. 93, pp. 11-20 [viewed 07 March 2023]. https://doi.org/10.1016/j.shpsa.2022.02.003. Available from: https://www.sciencedirect.com/science/article/pii/S0039368122000346

SCANNELL, J.W., and BOSLEY, J. When Quality Beats Quantity: Decision Theory, Drug Discovery, and the Reproducibility Crisis. PLoS ONE [online]. 2016, vol. 11, no. 2 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0147215. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147215

SIMON-TILLAUX, N., et al. A methodological review with meta-epidemiological analysis of preclinical systematic reviews with meta-analyses. Sci Rep [online]. 2022, vol. 12, 20066 [viewed 07 March 2023]. https://doi.org/10.1038/s41598-022-24447-4. Available from: https://www.nature.com/articles/s41598-022-24447-4

UNESCO. Recomendação da UNESCO sobre Ciência Aberta [online]. Unesdoc Digital Library. 2022 [viewed 07 March 2023]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000379949_por

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

Traduzido do original em espanhol por Lilian Nassi-Calò.