O empreendimento científico depende da capacidade da comunidade científica de examinar afirmações científicas e ganhar confiança ao longo do tempo em resultados e inferências que resistem a repetidos testes. O relato de incertezas em resultados científicos é um princípio central do processo científico. Cabe aos cientistas transmitir a informação adequada e o grau de incerteza na apresentação de suas afirmações. A ciência aponta para graus refinados de confiança, em vez de certeza absoluta.1
Em duas comunicações anteriores2,3 analisamos o cenário da suposta crise de replicação na publicação científica. Houve discussões sobre o significado da terminologia em uso, métodos de pesquisa, coleta de dados e interpretação de estatísticas; em seguida com a análise do Guia da National Academies of Sciences1; chegando finalmente à questão se a reprodutibilidade é um problema social que exigirá mudanças na cultura da ciência com uma abordagem mais sistemática e compreensão de como os cientistas interpretam os problemas de reprodutibilidade para criar intervenções culturalmente competentes.
O Guia1 revisado marcou um avanço na ordenação de conceitos e definições que, embora não fosse suficientemente adequado para contemplar as expectativas das ciências sociais e humanas, ao menos deixava claro que no campo das ciências exatas e experimentais havia situações que claramente requeriam ser corrigidas. Se destacaram, ao menos, vieses de publicação; metodologias; estatísticas e a qualidade dos artigos publicados, que resumiremos no final.
No entanto, primeiro, abordaremos as discrepâncias filosóficas e metodológicas que as ciências sociais e humanas têm apresentado, no que diz respeito às recomendações do referido Guia.1
Os paradigmas nas Ciências Sociais e Humanidades
Há uma longa discussão sobre a possibilidade de o papel da replicação e reprodutibilidade vindo de outras culturas epistêmicas ser transferível para as áreas das ciências sociais e humanas. Este tópico foi o foco de atenção em uma recente conferência patrocinada pela CWTS em 2019.
Em resposta à questão de porque a replicabilidade é importante nas Humanidades, duas correntes de opinião foram expressas.
Alguns consideram que a replicação bem-sucedida da pesquisa em Humanidades também torna mais provável que os resultados originais do estudo estejam corretos, posição apoiada por Peels e Bouter.4,5 Ademais, lhes dá uma melhor possibilidade de obter financiamento por parte das agências que os patrocinam.
Ao tentar apoiar sua afirmação, Peels e Bouter assumem que a replicabilidade é desejável, mas de acordo com seus detratores, eles extraem seus argumentos apenas de uma epistemologia empirista/positivista.
Fundamentalmente, esta conclusão depende de os autores defenderem com sucesso a noção de que a replicação é possível e desejável nas Humanidades. Peels e Bouter argumentam que, embora a replicação possa ser possível em alguns campos das Humanidades, a replicabilidade obviamente não é possível ou desejável em todos os campos desta área de pesquisa. Adotar políticas que exijam replicabilidade de todas as pesquisas em humanidades descartaria a grande maioria das pesquisas metodologicamente sólidas nesta disciplina.
Holbrook, et al.6 adotam uma posição um pouco diferente, oferecendo argumentos sobre culturas epistêmicas interpretativas ou construtivistas, onde o valor da pesquisa é gerado pela adição da diversidade de argumentos.
Compreender fenômenos culturais, como migração ou segurança, depende da diversidade de argumentos e posições para ajudar a desenvolver soluções globais. A interpretação da literatura clássica ou medieval requer o desenvolvimento contínuo de leituras alternativas e concorrentes, e a interpretação dos escritos dos filósofos também se beneficia da diversidade que produz. A desejabilidade da replicação nas humanidades é local e limitada, longe da conveniência universal que Peels e Bouter supõem existir.
Além disso, os objetos de estudo nas humanidades costumam ser fenômenos únicos, como eventos históricos, portanto, não está claro em que sentido um estudo seria replicado.
Em segundo lugar, pode-se pensar que vários métodos nas humanidades, como o método hermenêutico no estudo de um texto, não se prestam bem à replicação, pelo menos não tão bem quanto certos métodos nas ciências empíricas quantitativas.
Em terceiro lugar, os objetos da pesquisa humanista, em oposição aos objetos de pesquisa nas ciências naturais, são muitas vezes objetos com significado e valor, objetos como pinturas, textos, estátuas e edifícios, em oposição a, digamos, objetos como os átomos e vírus que são estudados nas ciências naturais.
Mas o ponto crucial é que as abordagens das ciências sociais permitem aos pesquisadores lidar com a possibilidade de replicação, informando especialmente sobre as consequências das decisões metodológicas e do papel do pesquisador. A pesquisa em humanidades é diferente das ciências não por algum tipo de ingrediente secreto, mas porque os objetos de estudo e as perguntas feitas com frequência, mas nem sempre, não permitem replicação ou mesmo reprodutibilidade. Em vez disso, eles se baseiam na interpretação.
Finalmente, outro aspecto que entra em consideração são os valores sociais. Isso ocorre quando há incerteza no raciocínio com base em evidências empíricas, ou são necessários valores morais ou sociais para preencher a “lacuna evidencial” relevante, e nos deparamos com estatísticas. Assim, a crise de reprodutibilidade é inevitável, segundo Douglas e Elliot (2009)7. Deste ponto de vista, os cientistas têm, por muito tempo, ignorado os aspectos morais e sociais das implicações da prática científica. Assim, quando se trata de uma questão científica para a qual há incerteza, é dever dos cientistas adotar políticas que respeitem nossas obrigações morais e sociais.
Mais uma vez, a posição de Douglas e Elliott7 não sustenta que, quando a evidência é incerta, os cientistas a deixam nas mãos dos formuladores de políticas. Tomar decisões de forma pragmática é o ponto de vista de quem defende ideias científicas isentas de valores. Em vez disso, sua visão é que, moral, social ou de outra forma, as consequências não epistêmicas das decisões científicas são autoevidentes ao decidir quais conclusões tirar. Consequentemente, onde problemas de reprodutibilidade devido ao viés de publicação forem identificados, a recomendação política de Douglas e Elliott seria simplesmente mudar o viés relevante em jogo, de preferência para um que seja moral ou socialmente meritório.
Em conclusão, a maioria dos estudiosos que refutam a ideia de replicação nas humanidades argumenta que a replicação pode ser possível em alguns, mas não em todos os campos das humanidades. A principal razão para isso é que os problemas e questões de pesquisa muitas vezes dependem da interpretação. Mais discussões intra e interdisciplinares sobre este tema devem ser incentivadas.
E há a questão de acessar os dados originais para verificação, porque a replicação geralmente envolve percepções artesanais que não são publicadas nos informes. Mesmo para especialistas, os estudos originais geralmente não fornecem informação suficiente para que se produzam replicações. Em vez de verificação neutra do processo, a replicação às vezes é gerenciada estrategicamente para minar os adversários.
A verificação independente dos resultados só é possível se os dados estiverem disponíveis para outros. Os pesquisadores podem impedir que qualquer outra pessoa verifique os resultados, ou seja, estão se isolando de qualquer demonstração de erro. Esforços para verificar resultados após a publicação podem ser o tipo de trabalho mais tenso interpessoalmente, porque muitas vezes são interpretados como sinais de desconfiança e podem levantar a possibilidade de disputa da honestidade ou competência do pesquisador. Embora a convenção em sociologia tenha sido em grande parte tratar a disponibilidade de dados para verificação como uma questão ética, isso geralmente é tratado por solicitações individuais, e as solicitações nem sempre são atendidas.
Minhas reflexões
A publicação do Guia1 e as discussões interdisciplinares foram um importante avanço na questão da replicação e reprodução de ensaios científicos. No entanto, algumas questões relevantes ainda precisam ser melhoradas e resolvidas.
O viés de publicação
A pesquisa e a publicação científica moderna são altamente competitivas. Os cientistas competem por empregos, financiamento e prestígio, e a capacidade de adquirir estas coisas depende da capacidade de publicar seu trabalho. Além disso, os periódicos científicos competem para publicar os resultados mais interessantes e relevantes, e por isso costumam evitar a publicação de replicações de resultados anteriores e confirmações de hipóteses nulas. O resultado é que o que é publicado na pesquisa científica exibe um viés de publicação. Os cientistas geram e relatam resultados que são publicáveis, ou seja, efeitos estatisticamente significativos, e não necessariamente resultados verdadeiros ou bem justificados.
A situação é tão difundida que o diagnóstico da crise de replicação foi publicado por John Ioannidis sob o título ameaçador, Why Most Published Research Findings Are False8 (2005). Ioannidis define “viés” como “a combinação de vários fatores de projeto, dados, análise e apresentação que tendem a produzir resultados de pesquisa quando não deveriam ser produzidos”, mas que, no entanto, são produzidos para atender igualmente às ambições práticas de periódicos e cientistas. Eles se concentram em “pesquisas conduzidas por nenhum outro motivo além de dar a médicos e pesquisadores qualificações para promoção ou estabilidade na carreira”, mencionando, inclusive casos em que “pesquisadores renomados… suprimem, por meio do processo de avaliação por pares, o aparecimento e a disseminação de resultados que refutam suas descobertas, condenando assim sua área a perpetuar falsos dogmas.”
Metodologias, projetos experimentais e estatísticas
Um problema geral para os pesquisadores, principalmente os iniciantes, é que os cientistas muitas vezes não explicam como escolhem o número de amostras a serem usadas em um estudo. Como Monya Baker comentou na Nature no início de sua carreira “minha surpresa não foi pela omissão desta informação, mas porque eu não tinha ideia de como ou quando calcular o tamanho da amostra.”9
A irreprodutibilidade científica, a incapacidade de repetir os experimentos de outros e chegar à mesma conclusão, é uma preocupação crescente. Muito é atribuído a práticas experimentais deficientes que levam os pesquisadores a favorecer inadvertidamente hipóteses sem suporte. Uma pesquisa da Nature, também publicada por Baker (2016)10 constatou que 87% de mais de 1.500 pesquisadores citaram um projeto experimental ruim como causa de irreprodutibilidade e 89% culparam falhas na análise estatística. No entanto, poucos pesquisadores em início de carreira recebem instrução formal sobre estes tópicos.
Os métodos estatísticos devem permitir que os dados respondam a questões científicas. Uma grande diferença entre usuários de estatística inexperientes e estatísticos especialistas aparece assim que eles contemplam os usos de alguns dados. Embora seja óbvio que os experimentos geram dados para responder a questões científicas, usuários inexperientes de estatística tendem a considerar a ligação entre dados e questões científicas como certa e, como resultado, podem pular diretamente para uma técnica baseada em estrutura de dados em vez de um objetivo científico.
A qualidade e o detalhe da comunicação científica
Em uma frase: faça sua análise detalhada o suficiente para ser reprodutível.
Em conclusão, conforme enfatizado nas duas contribuições anteriores, para os problemas em questão, fica claramente demonstrada a necessidade de compartilhar dados em acesso aberto, métodos, processamento, escrutínio, conclusões e disponibilizá-los aos colegas.
O procedimento adequado deveria ser publicar primeiro como preprint. Isso significa que os artigos junto com os dados podem ser discutidas pelos especialistas em cada área da ciência em prol do aprimoramento dos manuscritos. Além disso, algum consenso precisaria ser alcançado para que os dados pudessem ser compartilhados sistematicamente por meio de reanálise e onde a mineração de dados pudesse ser facilmente realizada.
A série Replicação na Pesquisa consiste em três posts
WICHERTS, J.M., et al. The poor availability of psychological research data for reanalysis. Am Psychol. [online]. 2006, vol. 61, no. 7, pp. 726-728. https://pubmed.ncbi.nlm.nih.gov/17032082/
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
Ernesto Spinak
Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información" pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
SPINAK, E. Reprodução e replicação na pesquisa científica – parte 3 [online]. SciELO em Perspectiva, 2023 [viewed ]. Available from: https://blog.scielo.org/blog/2023/06/19/reproducao-e-replicacao-na-pesquisa-cientifica-parte-3/
Últimos comentários