Rigor científico e ciência aberta: desafios éticos e metodológicos na pesquisa qualitativa

Por Sonia MR Vasconcelos^*,**, Patrick Menezes^*, Mariana D Ribeiro^* e Elizabeth Heitman^***

Integridade em pesquisa e rigor científico

Imagem: Viktor Forgacs.

A discussão sobre integridade em pesquisa e rigor científico vem ganhando atenção crescente nas últimas décadas, especialmente no âmbito da produção científica e desafios associados. Dentre os vários, estão aqueles de natureza ética e metodológica que confrontam a confiabilidade de resultados.

No contexto de publicações acadêmicas, vêm sendo marcantes as transformações no âmbito das políticas editoriais, especialmente nos últimos quinze anos. Em 2009, editoras de grande permeação internacional nas mais diversas áreas, como a Nature Publishing Group (NPG), tornaram mais explícitas suas políticas sobre responsabilidade autoral. De acordo com um Editorial publicado em 2009 pela NPG:

Antes de submeter o artigo, pelo menos um membro sênior de cada grupo colaborador deve assumir a responsabilidade pela contribuição de seu grupo. Há três responsabilidades principais: preservação dos dados originais nos quais o artigo é baseado, verificação de que as figuras e conclusões refletem com precisão os dados coletados e que as manipulações de imagens estão de acordo com as diretrizes da Nature (http://tinyurl.com/cmmrp7) e minimização de obstáculos ao compartilhamento de materiais, dados e algoritmos por meio de um planejamento apropriado.¹

Essa iniciativa foi o resultado de um processo de discussão na editora e acompanhamento de uma consulta aos autores, cujas opiniões sobre políticas mais rígidas sobre autoria científica não eram consensuais. Cerca de um ano antes, em 2008, a NPG se engajou em outra iniciativa focada na ética em publicações, para verificação de originalidade em manuscritos, com o suporte da base de dados CrossCheck. Dentre as editoras científicas envolvidas estavam a Association for Computing Machinery, a American Society of Neuroradiology, a BMJ Publishing Group, a Elsevier, a Institute of Electrical & Electronics Engineers e a NPG. Gradualmente, a atenção a sistemas de detecção de plágio, comerciais e livres, foi se ampliando no contexto de publicações. Essas e outras ações no cenário editorial decorrem de motivações que incluem preocupações de natureza ética e científica – em parte, dos próprios pesquisadores. Tais preocupações vão ao encontro de noções sobre rigor científico, tanto na comunicação de resultados quanto na avaliação pelos pares.

Mas quando falamos sobre rigor científico, em geral, estamos falando de que aspectos, objetivamente? Casadevall e Fang (2016),² dentre os pesquisadores que mais vêm contribuindo com a discussão sobre rigor e integridade científica, citam o Online Etymology Dictionary ao descreverem que a palavra “rigor” deriva de uma antiga palavra francesa, “rigueur” – força e dureza.³ Uma perspectiva prevalente nas ciências naturais e exatas aproxima a ideia de rigor a “trabalho sólido”, expressando um senso de informação confiável. Porém, como definem Casadevall e Fang (2016),² as palavras “exato” e “cuidadoso”, que compõem essa solidez, não dão conta do que seria praticar ciência rigorosa – esse rigor ultrapassa o conceito de exatidão e cuidado no desenho experimental.

Casadevall e Fang (2016)² propõem “um Pentateuco” para representar o rigor científico, cujos itens, apresentados resumidamente, seriam os seguintes: (i) redundância no desenho experimental (uso de controles, replicatas, etc); (ii) análise estatística sólida (observando tamanho de efeito, por exemplo); (iii) reconhecimento de erro (verificação de fontes de erro, como contaminação de reagentes); (iv) precaução para evitar armadilhas lógicas (especialmente na interpretação dos dados); (v) honestidade intelectual (postura ética e boas práticas de pesquisa, como verificação independentemente dos resultados por outros pesquisadores). Para Casadevall e Fang (2016) “o rigor científico é multifacetado e não há um único critério que possa defini-lo”, e “… mesmo a abordagem experimental mais cuidadosa não é rigorosa se a interpretação se basear em uma falácia lógica ou for intelectualmente desonesta.”²

Nesse contexto, o relato da pesquisa vem recebendo particular atenção. Pesquisadores registrados no Swiss Federal Food Safety and Veterinary Office (FSVO), participaram de uma survey (n=530) explorando suas percepções sobre rigor científico na pesquisa com animais. Nesse estudo, a relação com rigor foi explorada considerando a forma como os respondentes gerenciavam o risco de viés na pesquisa, incluindo o relato dos resultados. Como descrito por Reichlin, et al. (2016), “os participantes tiveram um desempenho bem fraco quando solicitados a distinguir entre medidas eficazes e ineficazes contra seis tipos diferentes de vieses.”⁴ Os autores chamam a atenção para a necessidade de indicadores de rigor científico mais confiáveis na pesquisa com animais.

Essa relação do rigor científico com controle de viés nas várias etapas da pesquisa – incluindo o relato – se harmoniza com a perspectiva de um dos maiores financiadores da pesquisa biomédica, os National Institutes of Health (NIH) dos Estados Unidos. Para os NIH, rigor científico seria

… a aplicação estrita do método científico para garantir que os desenho experimental, metodologia, análise, interpretação e relato dos resultados sejam robustos e imparciais. Isso inclui total transparência ao relatar detalhes experimentais para que outros possam reproduzir e ampliar os resultados.⁵

Em 2014, depois de uma série de estudos biomédicos apontados como irreprodutíveis, os NIH anunciaram políticas para responder a essa crise aparente, buscando “restaurar a natureza autocorretiva da pesquisa pré-clínica.”⁶ Entretanto, a agência salientou que embora as discussões sobre reprodutibilidade tenham foco na pesquisa pré-clínica, “os princípios básicos e áreas de enfoque se aplicam a todo o espectro da pesquisa biomédica – da básica à clínica”.⁵ A política principal foi direcionada a uma maior promoção do rigor e da transparência em cada fase da pesquisa. Foi definido que, a partir do 25 de janeiro de 2016, cada aplicação para os NIH deveria esclarecer mais objetivamente como os pesquisadores promoveriam maior rigor e transparência nas pesquisas propostas. Na revisão de seus critérios, os NIH elencaram quatro aspectos que teriam papel relevante nessa promoção de maior transparência e rigor: a premissa científica, o rigor no desenho experimental, as variáveis biológicas relevantes (e.g., sexo) e a autenticação de recursos químicos e biológicos considerados centrais para a pesquisa.

Em outro documento, intitulado Advanced Notice of Coming Requirements for Formal Instruction in Rigorous Experimental Design and Transparency to Enhance Reproducibility, os NIH também passariam a requerer, a partir de 2017, “… instrução formal sobre rigor científico e transparência para aumentar a reprodutibilidade, para todos os indivíduos financiados por meio de ‘training grants’ concedidos às instituições, incluindo os recursos voltados para o desenvolvimento de carreira ou por meio de bolsas individuais”.⁷

Rigor científico na pesquisa qualitativa

No campo da pesquisa qualitativa, a discussão sobre rigor também vem se expandindo nos últimos anos, em uma arena de disputas sobre o próprio conceito. Uma busca (realizada em 28.12.2020) na base Scopus pelos termos “rigor” (que inclui a grafia britânica “rigor”) e “qualitative research” em article titles, abstract, keywords (1999-2019) nos permite observar o crescimento no número de publicações relacionadas, especialmente a partir de 2012. Dos 851 documentos no período, 90% das publicações eram “articles” (76,3%) ou “review” (13,4%). Para o total de documentos, os maiores percentuais de distribuição foram para publicações associadas a Medicina (28%), Ciências Sociais (23%) e Enfermagem (16%).

Dentre os artigos que discutem, mais pontualmente, rigor científico na pesquisa qualitativa, está o de Barbour (2001),⁸ um dos mais citados. Barbour (2001),⁸ ao argumentar sobre como aprimorar o rigor na pesquisa qualitativa, ressalta uma percepção que, para a autora, parece comum entre pesquisadores e que ela julga ser equivocada: a de que uma adesão a procedimentos puramente técnicos na condução e relato da pesquisa qualitativa conferiria rigor aos estudos. Barbour (2001)⁸ sugere que há uma espécie de ponto cego inerente a esse entendimento sobre rigor científico e chama a atenção para o papel do desenho de pesquisa e análise dos dados:

Reduzir a pesquisa qualitativa a uma lista de procedimentos técnicos (como amostragem intencional, teoria fundamentada, codificação múltipla, triangulação e validação de respondentes) é excessivamente prescritiva e resulta em “the tail wagging the dog”. Nenhum desses reparos técnicos, por si só, conferem rigor; eles podem fortalecer o rigor da pesquisa qualitativa somente se estiverem incorporadas a um amplo entendimento do desenho da pesquisa qualitativa e da análise de dados.⁸

Cerca de 20 anos após essa observação de Barbour⁸, a preocupação acadêmica com o rigor científico e a credibilidade da pesquisa qualitativa é observada em recomendações e checklists desenvolvidos e/ou exploradas ao longo desse período. Para Johnson, Adkins e Chauvin (2020),⁹ um dos pontos que afetam diretamente a credibilidade da pesquisa é o relato honesto e transparente sobre como os pesquisadores lidam com os vieses e outros possíveis fatores de confusão ao longo da condução da pesquisa.

No que tange o financiamento de projetos baseados em pesquisa qualitativa, essa atenção ao rigor científico é também de interesse estratégico de agências, como a National Science Foundation (NSF) dos Estados Unidos. Em 2003, a NSF financiou um workshop intitulado Scientific Foundations of Qualitative Research¹⁰ No relatório publicado pelos organizadores, destaca-se a importância de critérios mais claros, incluindo rigor e abordagem sistemática, para a avaliação da pesquisa qualitativa nas propostas de projetos. O relatório acrescenta que “abordagens ad hoc e casuais para coleta ou análise de dados não devem ser consideradas pesquisas qualitativas”.¹⁰

Em 2005, a NSF também financiou o Workshop on Interdisciplinary Standards for Systematic Qualitative Research,¹¹ que explorou abordagens com foco nas áreas de antropologia cultural, direito, ciência politica, e sociologia. Segundo o relatório associado,

… vinte e quatro estudiosos das quatro disciplinas foram encarregados de (1) articular os padrões usados em seus campos específicos para garantir o rigor em toda a gama de abordagens metodológicas qualitativas* [*etnografia, análise histórica e comparativa, análise textual e discursiva, grupos focais, história oral e arquivística, estudos observacionais, interpretação de imagens e materiais culturais e entrevistas não estruturadas e semiestruturadas]; (2) identificar critérios comuns compartilhados entre as quatro disciplinas para projetar e avaliar propostas de pesquisa e promover colaborações multidisciplinares; e (3) desenvolver uma agenda para fortalecer as ferramentas, o treinamento, os dados, o desenho e a infraestrutura de pesquisa utilizando abordagens qualitativas.¹¹

O grupo de especialistas identificou um consenso entre as quatro disciplinas, indicando dez critérios para o desenho e a avaliação de pesquisa qualitativa de boa qualidade. Eles incluem uma base forte na literatura acadêmica associada; uma descrição detalhada dos métodos para a coleta dos dados e as técnicas de análise; conexão clara entre a teoria e os dados. No relatório¹¹ é recomendada a contribuição da NSF para promover o aprimoramento da pesquisa qualitativa. Essa contribuição seria não só por meio do aumento de investimentos que pudessem contemplar “educação, treinamento e infraestrutura”, mas também por meio de divulgação de seu compromisso em apoiar a pesquisa qualitativa “de alto nível”. Também recomendaram financiamento para apoiar a formação de estudantes desenvolvendo pesquisas dessa natureza, não apenas de pesquisadores estabelecidos.

Em 2018, a NSF financiou o Workshop Intention and Implementation: Transparency in Qualitative Social Science, com foco na antropologia, sociologia e ciência política.¹² Uma das questões para apreciação dos pesquisadores participantes foi: “Como os vários contextos e condicionantes de seu trabalho, incluindo atividades específicas de coleta/criação de dados específicos, mas também atividades para as quais a criação de dados de pesquisa não é um objetivo definido, moldam sua compreensão de ‘compartilhamento de dados` ou ‘acesso a dados’ como um meio de alcançar ‘transparência de pesquisa’?”¹²

Essa provocação é consistente com os desafios que se impõem para aprimorar critérios relacionados ao rigor científico e à qualidade da pesquisa em áreas que geram dados qualitativos. Combinada à discussão em curso sobre esses critérios, iniciativas, como essas apoiadas pela NSF, sugerem uma nova agenda no âmbito do julgamento de projetos com base na pesquisa qualitativa. Essa agenda parece se configurar mais claramente quando consideramos que nosso ambiente de pesquisa está em franca transformação. Nesse contexto se inserem releituras sobre, por exemplo, o que confere qualidade e confiabilidade à pesquisa nas mais variadas áreas e sua relação com novas demandas postas pela ciência aberta.

Rigor científico, pesquisa qualitativa e ciência aberta

Dentre os estímulos para a ciência aberta estão uma transformação no acesso às ferramentas científicas, sendo múltiplas as concepções sobre o conceito de ciência aberta. Como descrito por Sarita Albagli, o significado de ciência aberta envolve “… maior porosidade e interlocução da ciência com outros segmentos sociais e outros tipos de saberes, no amplo espectro de possibilidades e espaços de produção do conhecimento.”¹³ De acordo com o Livro Verde–Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional, publicado em 2017 pela Fundação Oswaldo Cruz (Fiocruz),

… Ciência Aberta abarca diferentes pilares, dentre os quais estão o acesso aberto a publicações e a abertura de dados científicos, tendo como principais benefícios: capacidade de reprodutibilidade da pesquisa, maior transparência do financiamento público, aumento da velocidade de circulação da informação como insumo para o progresso da ciência e reuso de dados em novas pesquisas, resultando numa ciência de maior qualidade, com progressos mais rápidos e alinhados às necessidades das sociedades.¹⁴

Essa transformação em curso impõe uma nova abordagem para o processo científico e difusão do conhecimento gerado, estreitando as relações entre ciência e sociedade. No centro dessa abordagem está a remoção de barreiras de compartilhamento de recursos, métodos ou ferramentas, em qualquer estágio do processo de pesquisa. Nesse sentido,

acesso aberto a publicações, dados de pesquisa abertos, software de código aberto, colaboração aberta, revisão por pares aberta, cadernos abertos, recursos educacionais abertos, monografias abertas, ciência cidadã ou financiamento coletivo de pesquisa, estão no escopo da Ciência Aberta.¹⁵

Como descrito em 2018 no documento The state of open science in the Nordic countries,

acesso aberto é um dos meios de alcançar a ciência aberta… Dados de pesquisa referem-se a informações, em particular fatos ou números, recolhidos para serem examinados e considerados como base para o raciocínio, discussão ou cálculo. Em um contexto de pesquisa, exemplos de dados incluem estatísticas, resultados de experimentos, medições, observações resultantes do trabalho de campo, resultados de pesquisas, gravações de entrevistas.¹⁶

Acompanhando os avanços no desenvolvimento de políticas para a ciência aberta, estão preocupações sobre a relação dessa cultura em construção com a tradição de avaliação científica. Em 2016, por exemplo, Portugal constituiu um Grupo de Trabalho Interministerial da Política Nacional de Ciência Aberta (GT-PNCA). No relatório produzido¹⁷, foram feitas recomendações para estimular boas práticas de avaliação científica. Essa política de ciência aberta é apresentada como uma prioridade do Governo e do Ministério da Ciência, Tecnologia e Ensino Superior, MCTES. Ela inclui, dentre os objetivos, reforçar iniciativas para ampliar o acesso público aos resultados da pesquisa científica, cujos principais pilares seriam:

i) a transparência nas práticas, metodologia, observação e recolha de dados, ii) a disponibilização pública e reutilização de dados científicos, o acesso público e transparência na comunicação científica, iii) a utilização de ferramentas baseadas na web de forma a facilitar a colaboração científica.¹⁸

Em 2018, a Comissão Europeia em colaboração com agências de fomento e conselhos científicos de 11 países da Europa decidiu dar um passo radical e lançar uma iniciativa revolucionária, com o objetivo de “tornar uma realidade o acesso aberto total e imediato.”¹⁹ Essa é uma força-tarefa para que só estudos publicados em acesso aberto tenham financiamento via recursos públicos.

Como resposta ao plano de acesso aberto, critérios mais explícitos de qualidade e rigor científico fazem parte das demandas que periódicos ou plataformas devem atender. Essa preocupação está expressa na América Latina, por exemplo, por meio do SciELO, que realizou em setembro de 2018 um evento comemorativo de seus 20 anos, tendo a ciência aberta e suas relações com a dinâmica de comunicação científica, como foco, a Conferência SciELO 20 Anos. Iniciativas como essa são consistentes com outras ações no campo da pesquisa. Uma dessas foi implementada recentemente pela American Psychological Association (APA). Em 2018, a APA lançou o documento Journal Article Reporting Standards for Qualitative Primary, Qualitative Meta-Analytic, and Mixed Methods Research in Psychology: The APA Publications and Communications Board Task Force Report.²⁰

No documento, são descritas características típicas da pesquisa qualitativa:

Pesquisadores qualitativos relatam suas pesquisas de forma a refletir as várias maneiras em que se situam essas pesquisas. Primeiro… o contexto dos próprios pesquisadores é uma questão a ser considerada. A relação dos pesquisadores com o tópico do estudo, com seus participantes e com os compromissos ideológicos relacionados, todos podem ter influência no processo de investigação. Segundo, pesquisadores qualitativos descrevem o contexto em que um fenômeno ou tópico de estudo também está sendo construído… Terceiro, eles também descrevem os contextos de suas fontes de dados… Além de descrever os fenômenos, fontes de dados… em termos de localização, época e períodos, pesquisadores qualitativos buscam situar esses fatores em relação à dinâmica social relevante.²⁰

Um dos aspectos que Levitt, et al. (2018)²⁰ explicitam é que “pesquisadores qualitativos há muito buscam uma linguagem para descrever rigor em suas abordagens.” Os autores listam os detalhes que devem ser descritos em um artigo, com foco em pesquisa qualitativa, de forma a maximizar o rigor e a eticidade do relato. O documento explora diferentes contextos de apropriação da pesquisa qualitativa e apresenta orientações para a revisão em periódicos: Journal Article Reporting Standards for Qualitative Research (JARS-Qual): Information Recommended for Inclusion in Manuscripts That Report Qualitative Meta-Analyses; Information for Inclusion in Qualitative Meta-Analysis Reporting Standards (QMARS); Mixed Methods Article Reporting Standards (MMARS).²⁰ Na seção sobre integridade metodológica, no JARS-Qual, espera-se que o relato da pesquisa inclua uma série de itens como

Demonstrar que as alegações feitas a partir da análise são garantidas e produziram descobertas com integridade metodológica… Apresentar os resultados de uma maneira coerente que explique contradições ou evidências não validadas pelos dados (por exemplo, reconciliar discrepâncias, descrever por que um conflito pode existir nos resultados).²⁰

Sobre explicar “contradições ou evidências não validadas pelos dados”, essa é uma perspectiva que encontra respaldo no próprio conceito de integridade científica trazido por Richard Feynman – há algumas décadas (Feynman, 1974):

… é um tipo de integridade científica, um princípio de pensamento científico que corresponde a um tipo de completa honestidade… por exemplo, se você estiver fazendo um experimento, relate tudo o que acha que pode torná-lo inválido – não apenas o que você acha correto sobre ele: indique outras causas que possam explicar os resultados; e elementos que você pensou que eliminou por outro experimento… para garantir que outros pesquisadores possam identificar o que foi eliminado.²¹

Um rigor anterior: para além da condução e relato da pesquisa

Como vem sendo indicado nesta perspectiva, na atual discussão sobre rigor científico, articulada com percepções sobre integridade em pesquisa, há uma preocupação marcante com a honestidade e transparência no relato científico. Entretanto, um aspecto que vem recebendo menos atenção é a importância da pergunta inicial da pesquisa e os pressupostos que informam a metodologia utilizada.

Na pesquisa qualitativa, essa questão é particularmente relevante quando o objetivo do estudo é, por exemplo, informar políticas públicas. Critérios bem definidos merecem atenção especial na proposição inicial do projeto e não apenas no relato e revisão da pesquisa- em curso ou depois que já foi realizada. Como descreve Fanelli (2018),²¹ “… não há pré-registro, transparência e compartilhamento de dados e código que transforme um estudo mal concebido e mal projetado em um bom.” O autor acrescenta que “… pela obediência superficial a padrões burocráticos de reprodutibilidade, um estudo falho pode adquirir legitimidade imerecida.” Embora mais centrada na reprodutibilidade, cuja aplicação é controversa na pesquisa qualitativa,²² a observação de Fanelli (2018)²³ é um alerta oportuno para que o debate sobre rigor, que se intensifica no âmbito da ciência aberta, não fique concentrado na etapa pós-projeto.

A literatura descreve críticas recorrentes à confiabilidade da pesquisa qualitativa, que incluem alegações de pouco rigor e/ou pouca clareza metodológica. Nesse sentido, Moravcsik (2014)²⁴ argumenta, a partir da perspectiva das ciências políticas, sobre a necessidade de uma revolução na pesquisa qualitativa. Ele cita uma iniciativa da American Political Science Association (APSA), que, em 2013, estabeleceu recomendações para maior transparência na condução e no relato da pesquisa quantitativa e qualitativa. Moravcsik (2014)²⁴ avalia que os resultados da pesquisa científica social são o tempo todo confrontados com a preocupação de que “… as medidas, os casos e as fontes – selecionados pelo autor revelam apenas um subconjunto dos dados que poderiam ser relevantes para a questão de pesquisa. Isso aumenta o risco de viés de seleção…”.²⁴

A influência do viés de confirmação do pesquisador – um tipo de viés cognitivo que, dentre alguns desdobramentos, pode levar o pesquisador a ver o que acredita ou mesmo o que gostaria de ver em sua pesquisa – pode impactar a própria seleção e interpretação de evidências. Ampliar espaços de discussão sobre a influência desse tipo de viés na consideração de estratégias metodológicas e na avaliação de resultados não é uma questão específica para a pesquisa qualitativa. Porém, merece toda a atenção nesse campo, neste momento em que se enriquecem as reflexões sobre o rigor científico na academia.

Neste cenário em transformação, a ciência aberta aumenta as possibilidades para aprofundarmos nossa compreensão sobre os fatores que podem enviesar percepções e/ou interpretações sobre um dado fenômeno social – até mesmo tomadas de decisão – a partir da pesquisa qualitativa. De forma cada vez mais marcada, a apropriação da pesquisa qualitativa é feita por pesquisadores nas mais variadas áreas , não se restringindo àqueles que atuam nas ciências humanas e sociais. Entendemos que estimular, portanto, a discussão sobre rigor científico à luz dessas diferentes apropriações e tradições de pesquisa torna-se cada vez mais necessário. Essa discussão permeia aspectos sobre a integridade e a qualidade da pesquisa qualitativa não só no âmbito das publicações, mas também da proposição e avaliação de projetos de pesquisa.

Notas

* Programa de Educação, Gestão e Difusão em Biociências, Instituto de Bioquímica Médica Leopoldo de Meis (IBqM), Universidade Federal do Rio de Janeiro (UFRJ), Brasil;

** Programa de Mestrado Profissional em Educação, Gestão e Difusão em Biociências, IBqM/UFRJ;

*** Programa de Ética em Ciência e Medicina, University of Texas Southwestern, Estados Unidos.

1. Authorship policies. Nature [online]. 2009, vol. 459, no. 7242, pp. 1078 [viewed 05 January 2021]. https://doi.org/10.1038/4581078a. Available from: https://www.nature.com/articles/4581078a

2. CASADEVALL, A. et al. Rigorous Science: A How-To Guide. mBio [online]. 2016, vol. 07, no. 06, e01902-16 [viewed 05 January 2021]. https://doi.org/10.1128/mbio.01902-16. Available from: https://mbio.asm.org/content/7/6/e01902-16

3. HARPER, D. “Rigor.” [online]. Online etymology dictionary. 2016 [viewed 05 January 2021]. Available from: http://www.etymonline.com/index.php?term=rigor

4. REICHLIN, T. S. et al. The researchers’ view of scientific rigor—Survey on the conduct and reporting of in vivo research. PLOS One [online]. 2016, vol, 11, no. 12 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pone.0165999. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165999

5. National Institutes of Health (NIH). Enhancing reproducibility through rigor and transparency [online]. NOT-OD-15-103. 2015 [viewed 05 January 2021]. Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-15-103.html

6. COLLINS, F. S. et al. Policy: NIH plans to enhance reproducibility. Nature [online]. 2014, vol. 505, no. 7485, pp. 612-613 [viewed 05 January 2021]. https://doi.org/10.1038/505612a. Available from: https://www.nature.com/news/policy-nih-plans-to-enhance-reproducibility-1.14586

7. National Institutes of Health (NIH). Advanced notice of coming requirements for formal instruction in rigorous experimental design and transparency to enhance reproducibility: NIH and AHRG institutional training grants, institutional career development awards, and individual fellowships [online]. NOT-OD-16-034. 2015 [viewed 05 January 2021].  Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-16-034.html

8. BARBOUR, S. R. Checklists for improving rigour in qualitative research: A case of the tail wagging the dog? British Medical Journal [online]. 2001, vol. 322, no. 7294 [viewed 05 January 2021].  https://doi.org/10.1136/bmj.322.7294.1115. Available from: https://www.bmj.com/content/322/7294/1115

9. JOHNSON, J. L. et al. A Review of the Quality Indicators of Rigor in Qualitative Research. American Journal of Pharmaceutical Education [online]. 2020, vol. 84, no. 01, pp. 7120 [viewed 05 January 2021]. https://doi.org/10.5688/ajpe7120. Available from: https://www.ajpe.org/content/84/1/7120

10. RAGIN, C. C. Workshop Scientific Foundations of Qualitative Research [online]. NSF 04-2918. 2004 [viewed 05 January 2021]. Available from: https://www.nsf.gov/pubs/2004/nsf04219/nsf04219.pdf

11. LAMONT, M. Workshop on Interdisciplinary Standards for Systematic Qualitative Research [online]. ISSQR_rpt. 2008 [viewed 05 January 2021]. Available from:  https://www.nsf.gov/sbe/ses/soc/ISSQR_rpt.pdf

12. PLEMMONS, D. Transparency and Qualitative Research Workshop [online]. Open Science Framework. 2018 [viewed 05 January 2021]. Available from: https://osf.io/fshux/

13. ALBAGLI, S. et al. Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO; 2015. Available from: https:/livroaberto.ibict.br/handle/1/1060

14. SANTOS, P. X. et al. Livro Verde – Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional. Rio de Janeiro: FIOCRUZ. 2017.

15. FUENTE, G. B. What is Open Science? Introduction [online]. Foster. [viewed 05 January 2021]. Available from:  https://www.fosteropenscience.eu/content/what-open-science-introduction

16. JAUNSEN, A. The state of Open Science in the Nordic countries: Enabling data-driven science in the Nordic countries [online]. Nordic Co-operation. 2018 [viewed 05 January 2021]. Available from: http://norden.diva-portal.org/smash/record.jsf?pid=diva2%3A1257306&dswid=3471

17. RIBEIRO, L. et al. Política Nacional de Ciência Aberta em Portugal: recomendações do grupo de trabalho sobre Avaliação Científica = National Policy on Open Science in Portugal: recommendations of the working group on Scientific Assessment. Posted Content [online]. 2019 [viewed 05 January 2021]. https://doi.org/10.31229/osf.io/y4gq5. Available from: https://osf.io/preprints/lissa/y4gq5/

18. CARVALHO, J. et al. A Plataforma Integrada de Apoio à Publicação Científica. In: 100 Conferência Luso-Brasileira Ciência Aberta. Manaus, 2019 [viewed 05 January 2021].  Available from:  http://repositorium.sdum.uminho.pt/handle/1822/61749

19. cOAlition S: Making Open Access a reality by 2020 [online]. cOAlition-S. 2018 [viewed 05 January 2021]. Available from: https://www.coalition-s.org/coalition-s-launch/

20. LEVITT, H. M. et al. Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report. American Psychologist [online]. 2018, vol. 73, no. 01, pp. 26-46 [viewed 05 January 2021]. https://doi.org/10.1037/amp0000151. Available from: https://doi.apa.org/fulltext/2018-00750-003.html

21. EYNMAN, R. P. Cargo Culture Science [online]. Cargo Cult Science. 1974 [viewed 05 January 2021]. Available from: http://calteches.library.caltech.edu/51/2/CargoCult.htm.

22. A discussão sobre reprodutibilidade ganha contornos e espaços cada vez mais marcantes e amplos, levantando questões que envolvem estudos conduzidos nas ciências humanas e sociais, como refletido em Peels & Bouter, Palgrave Communications, 2018, https://www.nature.com/articles/s41599-018-0149-x; E Camerer, et al, Nature Human Behaviour, 2018, https://www.nature.com/articles/s41562-018-0399-z

23. FANELLI, D.  “Reproducible” is not synonymous with “true”: a comment on the NAS report [online]. Daniele Fanelli. 2018 [viewed 05 January 2021]. Disponível em: http://danielefanelli.com/Blog.html

24. MORAVCSIK, A. Transparency: The revolution in qualitative research. Political Science & Politics [online]. 2013, vol. 47, no. 1, pp. 48-53 [viewed in 05 February 2021]. DOI: https://doi.org/10.1017%2Fs1049096513001789. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2

Referências

ALBAGLI, S. et al. Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO; 2015. Available from: https:/livroaberto.ibict.br/handle/1/1060

ATLAS, M. C. Emerging ethical issues in instructions to authors of high-impact biomedical journals. Journal of the Medical Library Association [online]. 2003, vol. 91, no. 04, pp. 442-449 [viewed 05 January 2021]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC209510/

Authorship policies. Nature [online]. 2009, vol. 459, no. 7242, pp. 1078 [viewed 05 January 2021]. https://doi.org/10.1038/4581078a. Available from: https://www.nature.com/articles/4581078a

BARBOUR, S. R. Checklists for improving rigour in qualitative research: A case of the tail wagging the dog? British Medical Journal [online]. 2001, vol. 322, no. 7294 [viewed 05 January 2021].  https://doi.org/10.1136/bmj.322.7294.1115. Available from: https://www.bmj.com/content/322/7294/1115

CARVALHO, J. et al. A Plataforma Integrada de Apoio à Publicação Científica. In: 100 Conferência Luso-Brasileira Ciência Aberta. Manaus, 2019 [viewed 05 January 2021].  Available from:  http://repositorium.sdum.uminho.pt/handle/1822/61749

CASADEVALL, A. et al. Rigorous Science: A How-To Guide. mBio [online]. 2016, vol. 07, no. 06, e01902-16 [viewed 05 January 2021]. https://doi.org/10.1128/mbio.01902-16. Available from: https://mbio.asm.org/content/7/6/e01902-16

cOAlition S: Making Open Access a reality by 2020 [online]. cOAlition-S. 2018 [viewed 05 January 2021]. Available from: https://www.coalition-s.org/coalition-s-launch/

COLLINS, F. S. et al. Policy: NIH plans to enhance reproducibility. Nature [online]. 2014, vol. 505, no. 7485, pp. 612-613 [viewed 05 January 2021]. https://doi.org/10.1038/505612a. Available from: https://www.nature.com/news/policy-nih-plans-to-enhance-reproducibility-1.14586

CrossCheck Plagiarism Screening Service launches today [online]. Crossref. 2008 [viewed 05 January 2021]. Available from: https://www.crossref.org/news/2008-06-19-crosscheck-plagiarism-screening-service-launches-today/

CSE’s White Paper on Promoting Integrity in Scientific Journal Publications [online]. Council of Science Editors (CSE). 2006 [viewed 05 January 2021]. Available from: https://cseditors.wpengine.com/wp-content/uploads/CSE-White-Paper_2018-update-050618.pdf

ESF-ORI First World Conference on Research Integrity: Fostering Responsible Research Lisbon [online]. World Conferences on Research Integrity. 2007 [viewed 05 January 2021]. Available from: https://wcrif.org/documents/297-2007-242fp/file

FANELLI, D.  “Reproducible” is not synonymous with “true”: a comment on the NAS report [online]. Daniele Fanelli. 2018 [viewed 05 January 2021]. Disponível em: http://danielefanelli.com/Blog.html

FANG, F. C. et al. .Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences [online]. 2012, vol. 109, no. 42, pp. 17028 – 17033 [viewed 05 January 2021]. https://doi.org/10.1073/pnas.1212247109. Available from: https://www.pnas.org/content/109/42/17028

FEYNMAN, R. P. Cargo Culture Science [online]. Cargo Cult Science. 1974 [viewed 05 January 2021]. Available from: http://calteches.library.caltech.edu/51/2/CargoCult.htm

FUENTE, G. B. What is Open Science? Introduction [online]. Foster. [viewed 05 January 2021]. Available from:  https://www.fosteropenscience.eu/content/what-open-science-introduction

GARNER, H. R. Combating unethical publications with plagiarism detection services. Urologic Oncology: Seminars and Original Investigations [online]. 2011, vol. 29, no. 01, pp. 95-99 [viewed 05 January 2021].  https://doi.org/10.1016/j.urolonc.2010.09.016. Available from: https://www.crossref.org/news/2008-06-19-crosscheck-plagiarism-screening-service-launches-today/

GILES, J. Taking on the cheats. Nature [online]. 2005, vol. 435, no. 7040, pp. 258–259  [viewed 05 January 2021]. https://doi.org/10.1038/435258a. Available from: https://www.nature.com/articles/435258a

HARPER, D. “Rigor.” [online]. Online etymology dictionary. 2016 [viewed 05 January 2021]. Available from: http://www.etymonline.com/index.php?term=rigor

HAVEN, T. L. et al. Preregistering qualitative research. Accountability in Research  [online]. 2019, vol. 26, no. 03, pp. 229-244 [viewed 05 January 2021]. https://doi.org/10.1080/08989621.2019.1580147. Available from: https://www.tandfonline.com/doi/full/10.1080/08989621.2019.1580147

IOANNIDIS, J. P. A. Why most published research findings are false. PLOS Medicine [online]. 2005, vol. 02, no. 08 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

JAUNSEN, A. The state of Open Science in the Nordic countries: Enabling data-driven science in the Nordic countries [online]. Nordic Co-operation. 2018 [viewed 05 January 2021]. Available from: http://norden.diva-portal.org/smash/record.jsf?pid=diva2%3A1257306&dswid=3471

JOHNSON, J. L. et al. A Review of the Quality Indicators of Rigor in Qualitative Research. American Journal of Pharmaceutical Education [online]. 2020, vol. 84, no. 01, pp. 7120 [viewed 05 January 2021]. https://doi.org/10.5688/ajpe7120. Available from: https://www.ajpe.org/content/84/1/7120

KORTELING, J. E. et al. A neural network framework for cognitive bias. Frontiers in Psychology [online]. 2018, vol. 09 [viewed 05 January 2021]. https://doi.org/10.3389/fpsyg.2018.01561. Available from: https://www.frontiersin.org/articles/10.3389/fpsyg.2018.01561/full

LAMONT, M. Workshop on Interdisciplinary Standards for Systematic Qualitative Research [online]. ISSQR_rpt. 2008 [viewed 05 January 2021]. Available from: https://www.nsf.gov/sbe/ses/soc/ISSQR_rpt.pdf

LEVITT, H. M. et al. Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report. American Psychologist [online]. 2018, vol. 73, no. 01, pp. 26-46 [viewed 05 January 2021]. https://doi.org/10.1037/amp0000151. Available from: https://doi.apa.org/fulltext/2018-00750-003.html

LONG, T. C. et al. Responding to possible plagiarism. Science [online]. 2009, vol. 323, no. 5919, pp. 1293-1294 [viewed 05 January 2021]. https://doi.org/10.1126/science.1167408. Available from: https://science.sciencemag.org/content/323/5919/1293

MARSHALL, C. et al. Designing qualitative research. 6th ed. Thousand Oaks: SAGE Publishing, 2014.

Ministério da Ciência, Tecnologia e Ensino Superior. Política Nacional de Ciência Aberta [online]. 2016 [viewed 05 January 2021]. Available from: https://arquivo.pt/wayback/20181013141314/http://www.ciencia-aberta.pt/pnca

MORAVCSIK, A. Transparency: The revolution in qualitative research. PS: Political Science & Politics [online]. 2014, vol. 47, no. 01, pp. 48-53 [viewed 05 January 2021]. https://doi.org/10.1017/s104909651300178. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2

MORSE, J. et al. Verification strategies for establishing reliability validity in qualitative research. International Journal of Qualitative Research [online]. 2002, vol. 01, no. 02, pp. 13-22 [viewed 05 January 2021]. https://doi.org/10.1177/160940690200100202. Available from: https://journals.sagepub.com/doi/10.1177/160940690200100202

National Institutes of Health (NIH). Advanced notice of coming requirements for formal instruction in rigorous experimental design and transparency to enhance reproducibility: NIH and AHRG institutional training grants, institutional career development awards, and individual fellowships [online]. NOT-OD-16-034. 2015 [viewed 05 January 2021].  Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-16-034.html

National Institutes of Health (NIH). Enhancing reproducibility through rigor and transparency [online]. NOT-OD-15-103. 2015 [viewed 05 January 2021]. Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-15-103.html

OBLE, H. et al. Issues of validity and reliability in qualitative research. Evidence-Based Nursing [online]. 2015, vol. 18, no. 02, pp. 34-35 [viewed 05 January 2021].  https://doi.org/10.1136/eb-2015-102054. Available from: https://ebn.bmj.com/content/18/2/34

O’BRIEN, B. C. et al. Standards for reporting qualitative research: a synthesis of recommendations. Academic Medicine [online]. 2014, vol. 89, no. 09, pp. 1245-1251 [viewed 05 January 2021]. https://doi.org/10.1097/acm.0000000000000388. Available from: https://journals.lww.com/academicmedicine/Fulltext/2014/09000/Standards_for_Reporting_Qualitative_Research__A.21.aspx

PLEMMONS, D. Transparency and Qualitative Research Workshop [online]. Open Science Framework. 2018 [viewed 05 January 2021]. Available from: https://osf.io/fshux/

RAGIN, C. C. Workshop Scientific Foundations of Qualitative Research [online]. NSF 04-2918. 2004 [viewed 05 January 2021]. Available from: https://www.nsf.gov/pubs/2004/nsf04219/nsf04219.pdf

REICHLIN, T. S. et al. The researchers’ view of scientific rigor—Survey on the conduct and reporting of in vivo research. PLOS One [online]. 2016, vol, 11, no. 12 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pone.0165999. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165999

RIBEIRO, L. et al. Política Nacional de Ciência Aberta em Portugal: recomendações do grupo de trabalho sobre Avaliação Científica = National Policy on Open Science in Portugal: recommendations of the working group on Scientific Assessment. Posted Content [online]. 2019 [viewed 05 January 2021]. https://doi.org/10.31229/osf.io/y4gq5. Available from: https://osf.io/preprints/lissa/y4gq5/

ROLFE, G. Validity, trustworthiness and rigour: quality and the idea of qualitative research. Journal of Advanced Nursing [online]. 2006, vol. 53, no. 03, pp. 304–310 [viewed 05 January 2021]. https://doi.org/10.1111/j.1365-2648.2006.03727.x. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1365-2648.2006.03727.x 

SANDELOWSKI, M. Rigor or rigor mortis: the problem of rigor in qualitative research revisited. Advanced Nursing Science [online]. 1993, vol. 16, no 02, pp. 01–08 [viewed 05 January 2021]. https://doi.org/10.1097/00012272-199312000-00002. Available from: https://journals.lww.com/advancesinnursingscience/Abstract/1993/12000/Rigor_or_rigor_mortis__The_problem_of_rigor_in.2.aspx

SANTOS, P. X. et al. Livro Verde – Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional. Rio de Janeiro: FIOCRUZ. 2017.

Science as an open enterprise: Open data for open science  [online]. The Royal Society. 2012  [viewed 05 January 2021]. Available from: https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

Science Europe. Briefing Paper: Research Integrity: what it means, why it is important and how we might protect it [online]. Science Europe. 2015 [viewed 05 January 2021]. Available from: http://www.scienceeurope.org/wp-content/uploads/2015/12/Briefing_Paper_Research_Integrity_web.pdf

SILVA, F. C. C. et al. O ecossistema da Ciência Aberta. Transinformação [online]. 2019, vol. 31 [viewed 05 January 2021]. http://dx.doi.org/10.1590/2318-0889201931e190001. Available from: http://ref.scielo.org/zhy758

The truth will out. Nature Physics [online]. 2009; vol. 5, no. 07, pp. 449 [viewed 05 January 2021]. https://doi.org/10.1038/nphys1317. Available from: https://www.nature.com/articles/nphys1317

Who is accountable? Nature [online]. 2007, vol. 450, vol. 7166 [viewed 05 January 2021]. https://doi.org/10.1038/450001a. Available from: https://www.nature.com/articles/450001a

WOELFLE, M. Open science is a research accelerator. Nature Chemistry [online].  2011, vol. 03, no. 10, pp. 745–748 [viewed 05 January 2021]. https://doi.org/10.1038/nchem.1149. Available from: https://www.nature.com/articles/nchem.1149

External links

Grupo de Trabalho Interministerial da Política Nacional de Ciência Aberta (GT-PNCA): http://www.ciencia-aberta.pt/pnca

Online Etymology Dictionary: https://www.etymonline.com/

SciELO 20: https://www.scielo20.org/