Rigor científico y ciencia abierta: desafíos éticos y metodológicos en la investigación cualitativa

Por Sonia MR Vasconcelos^*,**, Patrick Menezes^*, Mariana D Ribeiro^* e Elizabeth Heitman^***

Integridad de la investigación y rigor científico

Imagen: Viktor Forgacs.

La discusión sobre la integridad de la investigación y el rigor científico ha ganado una atención creciente en las últimas décadas, especialmente en el ámbito de la producción científica y los desafíos asociados. Entre los diversos desafíos, se encuentran los de carácter ético y metodológico que confrontan la confiabilidad de los resultados.

En el contexto de las publicaciones académicas, las transformaciones en el alcance de las políticas editoriales han sido notables, especialmente en los últimos quince años. En 2009, editoriales de gran permeabilidad internacional en las áreas más diversas, como Nature Publishing Group (NPG), explicitaron sus políticas sobre responsabilidad de autor. Según Editorial de 2009 de NPG:

la responsabilidad de la contribución de su grupo. Hay tres responsabilidades principales: preservar los datos originales en los que se basa el artículo, verificar que las cifras y conclusiones reflejen con precisión los datos recopilados y que las manipulaciones de las imágenes se realicen de acuerdo con las pautas de Nature (http://tinyurl.com/cmmrp7) y minimizar los obstáculos para compartir materiales, datos y algoritmos mediante una planificación adecuada.¹

Esta iniciativa fue el resultado de un proceso de discusión en la editorial y seguimiento de una consulta con los autores, cuyas opiniones sobre políticas más estrictas en materia de autoría científica no eran consensuadas. Aproximadamente un año antes, en 2008, NPG se comprometió en otra iniciativa centrada en la ética en las publicaciones, para verificar la originalidad de los manuscritos, con el apoyo de la base de datos CrossCheck. Entre los editores científicos involucrados se encontraban la Association for Computing Machinery, American Society of Neuroradiology, BMJ Publishing Group, Elsevier, Institute of Electrical & Electronics Engineers y NPG. Paulatinamente, la atención a los sistemas de detección de plagio, comerciales y gratuitos, se ha expandido en el contexto de las publicaciones. Estas y otras acciones en el escenario editorial surgen de motivaciones que incluyen preocupaciones de carácter ético y científico, en parte, de los propios investigadores. Estas preocupaciones son consistentes con las nociones sobre rigor científico, tanto en la comunicación de resultados como en la revisión por pares.

Pero cuando hablamos de rigor científico, en general, ¿de qué estamos hablando objetivamente? Casadevall y Fang (2016),² entre los investigadores que más han contribuido a la discusión sobre rigor e integridad científica, citan el Online Etymology Dictionary al describir que la palabra “rigor” deriva de una antigua palabra francesa, “rigueur” – fuerza y dureza.³ Una perspectiva predominante en las ciencias naturales y exactas lleva la idea de rigor al “trabajo sólido”, expresando un sentido de información confiable. Sin embargo, como lo definen Casadevall y Fang (2016),² las palabras “exacto” y “cuidadoso”, que componen esta solidez, no dan cuenta de cómo sería practicar una ciencia rigurosa; este rigor va más allá del concepto de precisión y cuidado en el diseño experimental.

Casadevall y Fang (2016)² proponen “un Pentateuco” para representar el rigor científico, cuyos ítems, brevemente presentados, serían los siguientes: (i) redundancia en el diseño experimental (uso de controles, réplicas, etc.); (ii) análisis estadístico sólido (observando el tamaño del efecto, por ejemplo); (iii) reconocimiento de errores (comprobación de las fuentes de error, como la contaminación de los reactivos); (iv) precaución para evitar errores lógicos (especialmente en la interpretación de los datos); (v) honestidad intelectual (postura ética y buenas prácticas de investigación, como la verificación independientemente de los resultados de otros investigadores). Para Casadevall y Fang (2016) “el rigor científico es multifacético y no hay un criterio único que pueda definirlo”, y “… incluso el enfoque experimental más cuidadoso no es riguroso si la interpretación se basa en una falacia lógica o es intelectualmente deshonesto.”²

En este contexto, el informe de investigación ha recibido especial atención. Los investigadores registrados en la Swiss Federal Food Safety and Veterinary Office (FSVO) participaron en una encuesta (n=530) que exploraba sus percepciones sobre el rigor científico en la investigación con animales. En este estudio, se exploró la relación con el rigor considerando la forma en que los encuestados manejaron el riesgo de sesgo en la investigación, incluida la notificación de los resultados. Como describen Reichlin, et al. (2016), “los participantes se desempeñaron muy mal cuando se les pidió que distinguieran entre medidas efectivas e ineficaces frente a seis tipos diferentes de sesgo.”⁴ Los autores llaman la atención sobre la necesidad de indicadores más fiables de rigor científico en la investigación con animales.

Esta relación entre el rigor científico y el control de sesgos en las distintas etapas de la investigación, incluido el informe, armoniza con la perspectiva de uno de los mayores financiadores de la investigación biomédica, los National Institutes of Health (NIH) de Estados Unidos. Para los NIH, el rigor científico sería

… La aplicación estricta del método científico para asegurar que el diseño experimental, la metodología, el análisis, la interpretación y el informe de los resultados sean sólidos e imparciales. Esto incluye total transparencia al informar detalles experimentales para que otros puedan reproducir y expandir los resultados.⁵

En 2014, luego de una serie de estudios biomédicos identificados como no reproducibles, los NIH anunciaron políticas para responder a esta aparente crisis, buscando “restaurar la naturaleza autocorregible de la investigación preclínica.”⁶ Sin embargo, la agencia señaló que aunque las discusiones sobre reproducibilidad tenían que centrarse en la investigación preclínica, “los principios básicos y las áreas de enfoque se aplican a todo el espectro de la investigación biomédica, desde la básica hasta la clínica.”⁵ La política principal tenía como objetivo promover aún más el rigor y la transparencia en cada fase de investigación. Se definió que, a partir del 25 de enero de 2016, cada solicitud de NIH debería aclarar de manera más objetiva cómo los investigadores promoverían un mayor rigor y transparencia en la investigación propuesta. Al revisar sus criterios, los NIH enumeraron cuatro aspectos que jugarían un papel relevante en la promoción de una mayor transparencia y rigor: la premisa científica, el rigor en el diseño experimental, las variables biológicas relevantes (por ejemplo, el sexo) y la autenticación de los recursos químicos y biológicos. considerados fundamentales para la investigación.

En otro documento, titulado Advanced Notice of Coming Requirements for Formal Instruction in Rigorous Experimental Design and Transparency to Enhance Reproducibility, el NIH también comenzaría, a partir de 2017, “… instrucción formal sobre el rigor científico y la transparencia para aumentar la reproducibilidad, para todas las personas financiadas mediante ‘becas de formación’ concedidas a instituciones, incluidos recursos para el desarrollo profesional o mediante becas individuales.”⁷

Rigor científico en la investigación cualitativa

En el campo de la investigación cualitativa, la discusión sobre el rigor también se ha expandido en los últimos años, en un escenario de disputas sobre el concepto en sí. Una búsqueda (28/12/2020) en la base de datos Scopus de los términos “rigor” (que incluye ”rigour” de la ortográfica británica) e “qualitative research” en article titles, abstract, keywords (1999-2019) nos permite observar el crecimiento en el número de publicaciones relacionadas, especialmente a partir de 2012. De los 851 documentos del período, el 90% de las publicaciones fueron “articles” (76,3%) o “review” (13,4%). Para el total de documentos, los mayores porcentajes de distribución fueron para publicaciones asociadas a Medicina (28%), Ciencias Sociales (23%) y Enfermería (16%).

Entre los artículos que discuten, de manera más puntual, el rigor científico en la investigación cualitativa, se encuentra el de Barbour (2001)⁸, uno de los más citados. Barbour (2001),⁸ al argumentar sobre cómo mejorar el rigor en la investigación cualitativa, destaca una percepción que, para la autora, parece común entre los investigadores y que ella cree equivocada: que la adherencia a procedimientos puramente técnicos en la realización y el reporte de la investigación cualitativa le daría rigor a los estudios. Barbour (2001)⁸ sugiere que existe una especie de punto ciego inherente a esta comprensión del rigor científico y llama la atención sobre el papel del diseño de la investigación y el análisis de datos:

Reducir la investigación cualitativa a una lista de procedimientos técnicos (como muestreo intencional, teoría fundamentada, codificación múltiple, triangulación y validación de los encuestados) es demasiado prescriptivo y da como resultado que “el perro menea la cola”. Ninguna de estas reparaciones técnicas por sí sola es rigurosa; pueden fortalecer el rigor de la investigación cualitativa solo si se incorporan a una comprensión amplia del diseño de la investigación cualitativa y el análisis de datos.¹¹

Aproximadamente 20 años después de esta observación de Barbour,⁸ la preocupación académica por el rigor científico y la credibilidad de la investigación cualitativa se observa en las recomendaciones y listas de verificación desarrolladas y/o exploradas durante este período. Para Johnson, Adkins y Chauvin (2020),⁹ uno de los puntos que afecta directamente la credibilidad de la investigación es el relato honesto y transparente de cómo los investigadores manejan los sesgos y otros posibles factores de confusión durante la realización de la investigación.

En cuanto al financiamiento de proyectos basados en la investigación cualitativa, esta atención al rigor científico también es de interés estratégico para agencias, como la National Science Foundation (NSF) en Estados Unidos. En 2003, la NSF financió un taller titulado Scientific Foundations of Qualitative Research.¹⁰ En el informe publicado por los organizadores, se destaca la importancia de criterios más claros, incluido un enfoque riguroso y sistemático, para la evaluación de la investigación cualitativa en las propuestas de proyectos. El informe agrega que “los enfoques ad hoc y casuales para la recopilación o el análisis de datos no deben considerarse investigación cualitativa.”¹⁰

En 2005, la NSF también financió el taller Workshop on Interdisciplinary Standards for Systematic Qualitative Research,¹¹ que exploró enfoques centrados en las áreas de antropología cultural, derecho, ciencias políticas y sociología. Según el informe asociado,

… veinticuatro académicos de las cuatro disciplinas recibieron la tarea de (1) articular los estándares utilizados en sus campos específicos para garantizar el rigor en toda la gama de enfoques metodológicos cualitativos* [*etnografía, análisis histórico y comparativo, análisis textual y discursivo, grupos focales, historia oral y de archivo, estudios observacionales, interpretación de imágenes y materiales culturales y entrevistas no estructuradas y semiestructuradas]; (2) identificar criterios comunes compartidos entre las cuatro disciplinas para diseñar y evaluar propuestas de investigación y promover colaboraciones multidisciplinarias; y (3) desarrollar una agenda para fortalecer las herramientas, capacitación, datos, diseño e infraestructura de investigación utilizando enfoques cualitativos.¹¹

El grupo de expertos identificó un consenso entre las cuatro disciplinas, indicando diez criterios para el diseño y evaluación de una investigación cualitativa de buena calidad. Incluyen una base sólida en la literatura académica asociada; una descripción detallada de los métodos para recopilar los datos y las técnicas de análisis; conexión clara entre teoría y datos. El informe¹¹ recomienda la contribución de la NSF para promover la mejora de la investigación cualitativa. Esta contribución se haría no solo aumentando las inversiones que podrían incluir “educación, capacitación e infraestructura”, sino también dando a conocer su compromiso de apoyar la investigación cualitativa de “alto nivel”. También recomendaron fondos para apoyar la formación de estudiantes mediante la realización de investigaciones de esta naturaleza, no solo investigadores establecidos.

En 2018, NSF financió el Workshop Intention and Implementation: Transparency in Qualitative Social Science, con un enfoque en antropología, sociología y ciencias políticas.²⁶ Uno de los temas para la consideración de los investigadores participantes fue: “Dato que los diversos contextos y condiciones de su trabajo, incluidas las actividades específicas de recopilación/creación de datos específicos, pero también las actividades para las que la creación de datos de investigación no es un objetivo definido, dan forma a su comprensión del ‘intercambio de datos’ o ¿’acceso a datos’ como un medio para lograr la ‘transparencia de la investigación’?”¹²

Esta provocación es consistente con los desafíos que se requieren para mejorar los criterios relacionados con el rigor científico y la calidad de la investigación en áreas que generan datos cualitativos. En combinación con la discusión en curso sobre estos criterios, iniciativas, como las apoyadas por la NSF, sugieren una nueva agenda en el ámbito del juicio de proyectos basado en la investigación cualitativa. Esta agenda parece configurarse con mayor claridad cuando consideramos que nuestro entorno de investigación está experimentando una rápida transformación. En este contexto, se insertan reinterpretaciones sobre, por ejemplo, qué le da calidad y confiabilidad a la investigación en las más variadas áreas y su relación con las nuevas demandas de la ciencia abierta.

Rigor científico, investigación cualitativa y ciencia abierta

Entre los incentivos para la ciencia abierta se encuentra una transformación en el acceso a herramientas científicas, con múltiples concepciones sobre el concepto de ciencia abierta. Como lo describe Sarita Albagli, el significado de ciencia abierta implica “… mayor porosidad y interlocución de la ciencia con otros segmentos sociales y otros tipos de conocimiento, en el amplio abanico de posibilidades y espacios para la producción del conocimiento.”¹³ Según el Livro Verde-Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional, publicado en 2017 por la Fundação Oswaldo Cruz (Fiocruz),

… Open Science engloba diferentes pilares, entre los que se encuentran el acceso abierto a las publicaciones y la apertura de datos científicos, con los principales beneficios: capacidad de reproducibilidad de la investigación, mayor transparencia de la financiación pública, mayor velocidad de circulación de la información como insumo para el progreso de la ciencia y reutilización de datos en nuevas investigaciones, dando como resultado una ciencia de mayor calidad, con un progreso más rápido y en línea con las necesidades de las sociedades¹⁴

Esta transformación en curso impone un nuevo enfoque al proceso científico y la difusión del conocimiento generado, fortaleciendo la relación entre ciencia y sociedad. En el centro de este enfoque está la eliminación de barreras para compartir recursos, métodos o herramientas, en cualquier etapa del proceso de investigación. En ese sentido,

El acceso abierto a las publicaciones, los datos de investigación abiertos, el software de código abierto, la colaboración abierta, la revisión por pares abierta, los cuadernos abiertos, los recursos educativos abiertos, las monografías abiertas, la ciencia ciudadana o la financiación colectiva de la investigación, están dentro del alcance de la Ciencia Abierta.¹⁵

Como se describe en 2018 en el documento The state of open science in the Nordic countries,

El acceso abierto es uno de los medios para lograr la ciencia abierta … Los datos de investigación se refieren a información, en particular hechos o cifras, recopilada para ser examinada y considerada como base para el razonamiento, la discusión o el cálculo. En un contexto de investigación, los ejemplos de datos incluyen estadísticas, resultados de experimentos, mediciones, observaciones resultantes del trabajo de campo, resultados de investigación, grabaciones de entrevistas.¹⁶

Acompañando los avances en el desarrollo de políticas de ciencia abierta, existe preocupación por la relación de esta cultura en construcción con la tradición de la evaluación científica. En 2016, por ejemplo, Portugal formó un Grupo de Trabajo Interministerial sobre la Política Nacional de Ciencia Abierta (Grupo de Trabalho Interministerial da Política Nacional de Ciência Aberta, GT-PNCA). En el informe elaborado,¹⁷ se hicieron recomendaciones para fomentar las buenas prácticas de evaluación científica. Esta política de ciencia abierta se presenta como una prioridad para el Gobierno y el Ministerio de Ciencia, Tecnología y Educación Superior, MCTES. Incluye, entre los objetivos, reforzar iniciativas para incrementar el acceso público a los resultados de la investigación científica, cuyos principales pilares serían:

i) transparencia en las prácticas, metodología, observación y recopilación de datos, ii) disponibilidad pública y reutilización de datos científicos, acceso público y transparencia en la comunicación científica, iii) uso de herramientas basadas en la web para facilitar la colaboración científico.¹⁸

En 2018, la Comisión Europea, en colaboración con agencias de financiación y consejos científicos de 11 países de Europa, decidió dar un paso radical y lanzar una iniciativa revolucionaria, con el objetivo de “hacer realidad el acceso abierto total e inmediato.”¹⁹ Ese es un grupo de trabajo para garantizar que solo los estudios publicados en acceso abierto se financien con recursos públicos.

En respuesta al plan de acceso abierto, criterios más explícitos de calidad y rigor científico forman parte de las demandas que deben cumplir las revistas o plataformas. Esta preocupación se expresa en América Latina, por ejemplo, a través de SciELO, que realizó un evento conmemorativo de su 20 aniversario en septiembre de 2018, con la ciencia abierta y su relación con la dinámica de la comunicación científica como foco, la Conferencia SciELO 20 Años. Iniciativas como esta son coherentes con otras acciones en el campo de la investigación. Uno de estos fue implementado recientemente por la Asociación Americana de Psicología (APA). En 2018, la APA publicó el documento Journal Article Reporting Standards for Qualitative Primary, Qualitative Meta-Analytic, and Mixed Methods Research in Psychology: The APA Publications and Communications Board Task Force Report.²⁰

En el documento se describen las características típicas de la investigación cualitativa:

Los investigadores cualitativos informan sobre su investigación con el fin de reflejar las diversas formas en las que se ubica esta investigación. Primero … el contexto de los propios investigadores es un tema a considerar. La relación de los investigadores con el tema de estudio, con sus participantes y con los compromisos ideológicos relacionados, todos pueden influir en el proceso de investigación. En segundo lugar, los investigadores cualitativos describen el contexto en el que también se está construyendo un fenómeno o tema de estudio … En tercer lugar, también describen los contextos de sus fuentes de datos … Además de describir los fenómenos, las fuentes de datos … en En términos de ubicación, tiempo y períodos, los investigadores cualitativos buscan situar estos factores en relación con las dinámicas sociales relevantes²⁰.

Uno de los aspectos que Levitt et al. (2018)²⁰ hacen explícito es que “los investigadores cualitativos han buscado durante mucho tiempo un lenguaje para describir el rigor en sus enfoques.” Los autores enumeran los detalles que deben describirse en un artículo, con un enfoque en la investigación cualitativa, a fin de maximizar la precisión y la ética del informe. El documento explora diferentes contextos de apropiación de la investigación cualitativa y presenta pautas para la revisión de revistas: Journal Article Reporting Standards for Qualitative Research (JARS-Qual): Information Recommended for Inclusion in Manuscripts That Report Qualitative Meta-Analyses;  Information for Inclusion in Qualitative Meta-Analysis Reporting Standards (QMARS); Mixed Methods Article Reporting Standards (MMARS).²⁰ En la sección sobre integridad metodológica, en JARS-Qual, se espera que el informe de investigación incluya una serie de elementos tales como:

Demostrar que las afirmaciones hechas a partir del análisis están garantizadas y producen hallazgos con integridad metodológica … Presentar los resultados de una manera coherente que explique contradicciones o evidencia no validada por los datos (por ejemplo, conciliando discrepancias, describiendo por qué puede existir un conflicto resultados).²⁰

Acerca de explicar “contradicciones o evidencia no validada por los datos”, esta es una perspectiva que encuentra apoyo en el concepto mismo de integridad científica que trajo Richard Feynman, hace algunas décadas (Feynman, 1974):

… es una especie de integridad científica, un principio del pensamiento científico que corresponde a una especie de total honestidad … por ejemplo, si está haciendo un experimento, informe todo lo que crea que puede invalidarlo, no solo qué cree usted que es correcto al respecto: indique otras causas que puedan explicar los resultados; y elementos que pensó que había eliminado con otro experimento … para asegurarse de que otros investigadores puedan identificar lo que se ha eliminado.²¹

Un rigor anterior: además de realizar y reportar la investigación

Como se ha señalado en esta perspectiva, en la discusión actual sobre el rigor científico, articulada con las percepciones sobre la integridad en la investigación, existe una marcada preocupación por la honestidad y transparencia en la información científica. Sin embargo, un aspecto que ha recibido menos atención es la importancia de la pregunta de investigación inicial y los supuestos que informan la metodología utilizada.

En la investigación cualitativa, este tema es particularmente relevante cuando el objetivo del estudio es, por ejemplo, informar las políticas públicas. Criterios bien definidos merecen especial atención en la propuesta inicial del proyecto y no solo en el informe y revisión de la investigación – en curso o después de que ya se haya realizado. Como lo describe Fanelli (2018),²¹ “… no hay prerregistro, transparencia e intercambio de datos y código que convierta un estudio mal diseñado y mal diseñado en uno bueno.” El autor agrega que “… mediante la obediencia superficial a los estándares burocráticos de reproducibilidad, un estudio defectuoso puede adquirir una legitimidad inmerecida.” Aunque más centrada en la reproducibilidad, cuya aplicación es controvertida en la investigación cualitativa,²² la observación de Fanelli (2018)²³ es una advertencia oportuna de que el debate sobre el rigor, que se intensifica en el ámbito de la ciencia abierta, no quede concentrado en el post proyecto.

La literatura describe críticas recurrentes a la confiabilidad de la investigación cualitativa, que incluyen afirmaciones de poco rigor y/o poca claridad metodológica. En este sentido, Moravcsik (2014)²⁴ sostiene, desde la perspectiva de las ciencias políticas, sobre la necesidad de una revolución en la investigación cualitativa. Cita una iniciativa de la American Political Science Association (APSA) que, en 2013, estableció recomendaciones para una mayor transparencia en la realización y presentación de informes de investigación cuantitativa y cualitativa. Moravcsik (2014)²⁴ evalúa que los resultados de la investigación científica social se enfrentan constantemente a la preocupación de que “… las medidas, los casos y las fuentes – seleccionados por el autor revelan solo un subconjunto de los datos que podrían ser relevantes para la pregunta de investigación. Esto aumenta el riesgo de sesgo de selección …”²⁴

La influencia del sesgo de confirmación del investigador, un tipo de sesgo cognitivo que, entre algunos desarrollos, puede llevar al investigador a ver lo que cree o incluso lo que le gustaría ver en su investigación, puede afectar la selección e interpretación de la evidencia misma. Ampliar los espacios de discusión sobre la influencia de este tipo de sesgos en la consideración de estrategias metodológicas y en la evaluación de resultados no es un tema específico de la investigación cualitativa. Sin embargo, merece toda la atención en este campo, en un momento en el que se enriquecen las reflexiones sobre el rigor científico en el ámbito académico.

En este escenario cambiante, la ciencia abierta aumenta las posibilidades de que profundicemos nuestra comprensión de los factores que pueden desviar las percepciones y/o interpretaciones sobre un fenómeno social determinado, incluso la toma de decisiones, a partir de la investigación cualitativa. De manera cada vez más acentuada, la apropiación de la investigación cualitativa la realizan investigadores de las más variadas áreas, no restringiéndose a quienes se dedican a las ciencias humanas y sociales. Creemos que, por tanto, es cada vez más necesario estimular la discusión sobre el rigor científico a la luz de estas diferentes apropiaciones y tradiciones de investigación. Esta discusión permea aspectos sobre la integridad y calidad de la investigación cualitativa no solo en el ámbito de las publicaciones, sino también en la propuesta y evaluación de proyectos de investigación.

Notas

* Programa de Educação, Gestão e Difusão em Biociências, Instituto de Bioquímica Médica Leopoldo de Meis (IBqM), Universidade Federal do Rio de Janeiro (UFRJ), Brasil;

** Programa de Mestrado Profissional em Educação, Gestão e Difusão em Biociências, IBqM/UFRJ;

*** Programa de Ética em Ciência e Medicina, University of Texas Southwestern, Estados Unidos.

1. Authorship policies. Nature [online]. 2009, vol. 459, no. 7242, pp. 1078 [viewed 05 January 2021]. https://doi.org/10.1038/4581078a. Available from: https://www.nature.com/articles/4581078a

2. CASADEVALL, A. et al. Rigorous Science: A How-To Guide. mBio [online]. 2016, vol. 07, no. 06, e01902-16 [viewed 05 January 2021]. https://doi.org/10.1128/mbio.01902-16. Available from: https://mbio.asm.org/content/7/6/e01902-16

3. HARPER, D. “Rigor.” [online]. Online etymology dictionary. 2016 [viewed 05 January 2021]. Available from: http://www.etymonline.com/index.php?term=rigor

4. REICHLIN, T. S. et al. The researchers’ view of scientific rigor—Survey on the conduct and reporting of in vivo research. PLOS One [online]. 2016, vol, 11, no. 12 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pone.0165999. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165999

5. National Institutes of Health (NIH). Enhancing reproducibility through rigor and transparency [online]. NOT-OD-15-103. 2015 [viewed 05 January 2021]. Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-15-103.html

6. COLLINS, F. S. et al. Policy: NIH plans to enhance reproducibility. Nature [online]. 2014, vol. 505, no. 7485, pp. 612-613 [viewed 05 January 2021]. https://doi.org/10.1038/505612a. Available from: https://www.nature.com/news/policy-nih-plans-to-enhance-reproducibility-1.14586

7. National Institutes of Health (NIH). Advanced notice of coming requirements for formal instruction in rigorous experimental design and transparency to enhance reproducibility: NIH and AHRG institutional training grants, institutional career development awards, and individual fellowships [online]. NOT-OD-16-034. 2015 [viewed 05 January 2021].  Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-16-034.html

8. BARBOUR, S. R. Checklists for improving rigour in qualitative research: A case of the tail wagging the dog? British Medical Journal [online]. 2001, vol. 322, no. 7294 [viewed 05 January 2021].  https://doi.org/10.1136/bmj.322.7294.1115. Available from: https://www.bmj.com/content/322/7294/1115

9. JOHNSON, J. L. et al. A Review of the Quality Indicators of Rigor in Qualitative Research. American Journal of Pharmaceutical Education [online]. 2020, vol. 84, no. 01, pp. 7120 [viewed 05 January 2021]. https://doi.org/10.5688/ajpe7120. Available from: https://www.ajpe.org/content/84/1/7120

10. RAGIN, C. C. Workshop Scientific Foundations of Qualitative Research [online]. NSF 04-2918. 2004 [viewed 05 January 2021]. Available from: https://www.nsf.gov/pubs/2004/nsf04219/nsf04219.pdf

11. LAMONT, M. Workshop on Interdisciplinary Standards for Systematic Qualitative Research [online]. ISSQR_rpt. 2008 [viewed 05 January 2021]. Available from:  https://www.nsf.gov/sbe/ses/soc/ISSQR_rpt.pdf

12. PLEMMONS, D. Transparency and Qualitative Research Workshop [online]. Open Science Framework. 2018 [viewed 05 January 2021]. Available from: https://osf.io/fshux/

13. ALBAGLI, S. et al. Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO; 2015. Available from: https:/livroaberto.ibict.br/handle/1/1060

14. SANTOS, P. X. et al. Livro Verde – Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional. Rio de Janeiro: FIOCRUZ. 2017.

15. FUENTE, G. B. What is Open Science? Introduction [online]. Foster. [viewed 05 January 2021]. Available from:  https://www.fosteropenscience.eu/content/what-open-science-introduction

16. JAUNSEN, A. The state of Open Science in the Nordic countries: Enabling data-driven science in the Nordic countries [online]. Nordic Co-operation. 2018 [viewed 05 January 2021]. Available from: http://norden.diva-portal.org/smash/record.jsf?pid=diva2%3A1257306&dswid=3471

17. RIBEIRO, L. et al. Política Nacional de Ciência Aberta em Portugal: recomendações do grupo de trabalho sobre Avaliação Científica = National Policy on Open Science in Portugal: recommendations of the working group on Scientific Assessment. Posted Content [online]. 2019 [viewed 05 January 2021]. https://doi.org/10.31229/osf.io/y4gq5. Available from: https://osf.io/preprints/lissa/y4gq5/

18. CARVALHO, J. et al. A Plataforma Integrada de Apoio à Publicação Científica. In: 100 Conferência Luso-Brasileira Ciência Aberta. Manaus, 2019 [viewed 05 January 2021].  Available from:  http://repositorium.sdum.uminho.pt/handle/1822/61749

19. cOAlition S: Making Open Access a reality by 2020 [online]. cOAlition-S. 2018 [viewed 05 January 2021]. Available from: https://www.coalition-s.org/coalition-s-launch/

20. LEVITT, H. M. et al. Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report. American Psychologist [online]. 2018, vol. 73, no. 01, pp. 26-46 [viewed 05 January 2021]. https://doi.org/10.1037/amp0000151. Available from: https://doi.apa.org/fulltext/2018-00750-003.html

21. EYNMAN, R. P. Cargo Culture Science [online]. Cargo Cult Science. 1974 [viewed 05 January 2021]. Available from: http://calteches.library.caltech.edu/51/2/CargoCult.htm.

22. La discusión sobre reproducibilidad gana contornos y espacios cada vez más marcados y amplios, planteando interrogantes que involucran estudios realizados en las ciencias humanas y sociales, como se refleja en Peels & Bouter, Palgrave Communications, 2018, https://www.nature.com/articles/s41599-018-0149-x ; E Camerer, et al, Nature Human Behavior, 2018, https://www.nature.com/articles/s41562-018-0399-z

23. FANELLI, D.  “Reproducible” is not synonymous with “true”: a comment on the NAS report [online]. Daniele Fanelli. 2018 [viewed 05 January 2021]. Disponível em: http://danielefanelli.com/Blog.html

24. MORAVCSIK, A. Transparency: The revolution in qualitative research. Political Science & Politics [online]. 2013, vol. 47, no. 1, pp. 48-53 [viewed in 05 February 2021]. DOI: https://doi.org/10.1017%2Fs1049096513001789. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2

Referencias

ALBAGLI, S. et al. Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO; 2015. Available from: https:/livroaberto.ibict.br/handle/1/1060

ATLAS, M. C. Emerging ethical issues in instructions to authors of high-impact biomedical journals. Journal of the Medical Library Association [online]. 2003, vol. 91, no. 04, pp. 442-449 [viewed 05 January 2021]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC209510/

Authorship policies. Nature [online]. 2009, vol. 459, no. 7242, pp. 1078 [viewed 05 January 2021]. https://doi.org/10.1038/4581078a. Available from: https://www.nature.com/articles/4581078a

BARBOUR, S. R. Checklists for improving rigour in qualitative research: A case of the tail wagging the dog? British Medical Journal [online]. 2001, vol. 322, no. 7294 [viewed 05 January 2021].  https://doi.org/10.1136/bmj.322.7294.1115. Available from: https://www.bmj.com/content/322/7294/1115

CARVALHO, J. et al. A Plataforma Integrada de Apoio à Publicação Científica. In: 100 Conferência Luso-Brasileira Ciência Aberta. Manaus, 2019 [viewed 05 January 2021].  Available from:  http://repositorium.sdum.uminho.pt/handle/1822/61749

CASADEVALL, A. et al. Rigorous Science: A How-To Guide. mBio [online]. 2016, vol. 07, no. 06, e01902-16 [viewed 05 January 2021]. https://doi.org/10.1128/mbio.01902-16. Available from: https://mbio.asm.org/content/7/6/e01902-16

cOAlition S: Making Open Access a reality by 2020 [online]. cOAlition-S. 2018 [viewed 05 January 2021]. Available from: https://www.coalition-s.org/coalition-s-launch/

COLLINS, F. S. et al. Policy: NIH plans to enhance reproducibility. Nature [online]. 2014, vol. 505, no. 7485, pp. 612-613 [viewed 05 January 2021]. https://doi.org/10.1038/505612a. Available from: https://www.nature.com/news/policy-nih-plans-to-enhance-reproducibility-1.14586

CrossCheck Plagiarism Screening Service launches today [online]. Crossref. 2008 [viewed 05 January 2021]. Available from: https://www.crossref.org/news/2008-06-19-crosscheck-plagiarism-screening-service-launches-today/

CSE’s White Paper on Promoting Integrity in Scientific Journal Publications [online]. Council of Science Editors (CSE). 2006 [viewed 05 January 2021]. Available from: https://cseditors.wpengine.com/wp-content/uploads/CSE-White-Paper_2018-update-050618.pdf

ESF-ORI First World Conference on Research Integrity: Fostering Responsible Research Lisbon [online]. World Conferences on Research Integrity. 2007 [viewed 05 January 2021]. Available from: https://wcrif.org/documents/297-2007-242fp/file

FANELLI, D.  “Reproducible” is not synonymous with “true”: a comment on the NAS report [online]. Daniele Fanelli. 2018 [viewed 05 January 2021]. Disponível em: http://danielefanelli.com/Blog.html

FANG, F. C. et al. .Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences [online]. 2012, vol. 109, no. 42, pp. 17028 – 17033 [viewed 05 January 2021]. https://doi.org/10.1073/pnas.1212247109. Available from: https://www.pnas.org/content/109/42/17028

FEYNMAN, R. P. Cargo Culture Science [online]. Cargo Cult Science. 1974 [viewed 05 January 2021]. Available from: http://calteches.library.caltech.edu/51/2/CargoCult.htm

FUENTE, G. B. What is Open Science? Introduction [online]. Foster. [viewed 05 January 2021]. Available from:  https://www.fosteropenscience.eu/content/what-open-science-introduction

GARNER, H. R. Combating unethical publications with plagiarism detection services. Urologic Oncology: Seminars and Original Investigations [online]. 2011, vol. 29, no. 01, pp. 95-99 [viewed 05 January 2021].  https://doi.org/10.1016/j.urolonc.2010.09.016. Available from: https://www.crossref.org/news/2008-06-19-crosscheck-plagiarism-screening-service-launches-today/

GILES, J. Taking on the cheats. Nature [online]. 2005, vol. 435, no. 7040, pp. 258–259  [viewed 05 January 2021]. https://doi.org/10.1038/435258a. Available from: https://www.nature.com/articles/435258a

HARPER, D. “Rigor.” [online]. Online etymology dictionary. 2016 [viewed 05 January 2021]. Available from: http://www.etymonline.com/index.php?term=rigor

HAVEN, T. L. et al. Preregistering qualitative research. Accountability in Research  [online]. 2019, vol. 26, no. 03, pp. 229-244 [viewed 05 January 2021]. https://doi.org/10.1080/08989621.2019.1580147. Available from: https://www.tandfonline.com/doi/full/10.1080/08989621.2019.1580147

IOANNIDIS, J. P. A. Why most published research findings are false. PLOS Medicine [online]. 2005, vol. 02, no. 08 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

JAUNSEN, A. The state of Open Science in the Nordic countries: Enabling data-driven science in the Nordic countries [online]. Nordic Co-operation. 2018 [viewed 05 January 2021]. Available from: http://norden.diva-portal.org/smash/record.jsf?pid=diva2%3A1257306&dswid=3471

JOHNSON, J. L. et al. A Review of the Quality Indicators of Rigor in Qualitative Research. American Journal of Pharmaceutical Education [online]. 2020, vol. 84, no. 01, pp. 7120 [viewed 05 January 2021]. https://doi.org/10.5688/ajpe7120. Available from: https://www.ajpe.org/content/84/1/7120

KORTELING, J. E. et al. A neural network framework for cognitive bias. Frontiers in Psychology [online]. 2018, vol. 09 [viewed 05 January 2021]. https://doi.org/10.3389/fpsyg.2018.01561. Available from: https://www.frontiersin.org/articles/10.3389/fpsyg.2018.01561/full

LAMONT, M. Workshop on Interdisciplinary Standards for Systematic Qualitative Research [online]. ISSQR_rpt. 2008 [viewed 05 January 2021]. Available from: https://www.nsf.gov/sbe/ses/soc/ISSQR_rpt.pdf

LEVITT, H. M. et al. Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report. American Psychologist [online]. 2018, vol. 73, no. 01, pp. 26-46 [viewed 05 January 2021]. https://doi.org/10.1037/amp0000151. Available from: https://doi.apa.org/fulltext/2018-00750-003.html

LONG, T. C. et al. Responding to possible plagiarism. Science [online]. 2009, vol. 323, no. 5919, pp. 1293-1294 [viewed 05 January 2021]. https://doi.org/10.1126/science.1167408. Available from: https://science.sciencemag.org/content/323/5919/1293

MARSHALL, C. et al. Designing qualitative research. 6th ed. Thousand Oaks: SAGE Publishing, 2014.

Ministério da Ciência, Tecnologia e Ensino Superior. Política Nacional de Ciência Aberta [online]. 2016 [viewed 05 January 2021]. Available from: https://arquivo.pt/wayback/20181013141314/http://www.ciencia-aberta.pt/pnca

MORAVCSIK, A. Transparency: The revolution in qualitative research. PS: Political Science & Politics [online]. 2014, vol. 47, no. 01, pp. 48-53 [viewed 05 January 2021]. https://doi.org/10.1017/s104909651300178. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2

MORSE, J. et al. Verification strategies for establishing reliability validity in qualitative research. International Journal of Qualitative Research [online]. 2002, vol. 01, no. 02, pp. 13-22 [viewed 05 January 2021]. https://doi.org/10.1177/160940690200100202. Available from: https://journals.sagepub.com/doi/10.1177/160940690200100202

National Institutes of Health (NIH). Advanced notice of coming requirements for formal instruction in rigorous experimental design and transparency to enhance reproducibility: NIH and AHRG institutional training grants, institutional career development awards, and individual fellowships [online]. NOT-OD-16-034. 2015 [viewed 05 January 2021].  Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-16-034.html

National Institutes of Health (NIH). Enhancing reproducibility through rigor and transparency [online]. NOT-OD-15-103. 2015 [viewed 05 January 2021]. Available from: https://grants.nih.gov/grants/guide/notice-files/NOT-OD-15-103.html

OBLE, H. et al. Issues of validity and reliability in qualitative research. Evidence-Based Nursing [online]. 2015, vol. 18, no. 02, pp. 34-35 [viewed 05 January 2021].  https://doi.org/10.1136/eb-2015-102054. Available from: https://ebn.bmj.com/content/18/2/34

O’BRIEN, B. C. et al. Standards for reporting qualitative research: a synthesis of recommendations. Academic Medicine [online]. 2014, vol. 89, no. 09, pp. 1245-1251 [viewed 05 January 2021]. https://doi.org/10.1097/acm.0000000000000388. Available from: https://journals.lww.com/academicmedicine/Fulltext/2014/09000/Standards_for_Reporting_Qualitative_Research__A.21.aspx

PLEMMONS, D. Transparency and Qualitative Research Workshop [online]. Open Science Framework. 2018 [viewed 05 January 2021]. Available from: https://osf.io/fshux/

RAGIN, C. C. Workshop Scientific Foundations of Qualitative Research [online]. NSF 04-2918. 2004 [viewed 05 January 2021]. Available from: https://www.nsf.gov/pubs/2004/nsf04219/nsf04219.pdf

REICHLIN, T. S. et al. The researchers’ view of scientific rigor—Survey on the conduct and reporting of in vivo research. PLOS One [online]. 2016, vol, 11, no. 12 [viewed 05 January 2021]. https://doi.org/10.1371/journal.pone.0165999. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165999

RIBEIRO, L. et al. Política Nacional de Ciência Aberta em Portugal: recomendações do grupo de trabalho sobre Avaliação Científica = National Policy on Open Science in Portugal: recommendations of the working group on Scientific Assessment. Posted Content [online]. 2019 [viewed 05 January 2021]. https://doi.org/10.31229/osf.io/y4gq5. Available from: https://osf.io/preprints/lissa/y4gq5/

ROLFE, G. Validity, trustworthiness and rigour: quality and the idea of qualitative research. Journal of Advanced Nursing [online]. 2006, vol. 53, no. 03, pp. 304–310 [viewed 05 January 2021]. https://doi.org/10.1111/j.1365-2648.2006.03727.x. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1365-2648.2006.03727.x 

SANDELOWSKI, M. Rigor or rigor mortis: the problem of rigor in qualitative research revisited. Advanced Nursing Science [online]. 1993, vol. 16, no 02, pp. 01–08 [viewed 05 January 2021]. https://doi.org/10.1097/00012272-199312000-00002. Available from: https://journals.lww.com/advancesinnursingscience/Abstract/1993/12000/Rigor_or_rigor_mortis__The_problem_of_rigor_in.2.aspx

SANTOS, P. X. et al. Livro Verde – Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional. Rio de Janeiro: FIOCRUZ. 2017.

Science as an open enterprise: Open data for open science  [online]. The Royal Society. 2012  [viewed 05 January 2021]. Available from: https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

Science Europe. Briefing Paper: Research Integrity: what it means, why it is important and how we might protect it [online]. Science Europe. 2015 [viewed 05 January 2021]. Available from: http://www.scienceeurope.org/wp-content/uploads/2015/12/Briefing_Paper_Research_Integrity_web.pdf

SILVA, F. C. C. et al. O ecossistema da Ciência Aberta. Transinformação [online]. 2019, vol. 31 [viewed 05 January 2021]. http://dx.doi.org/10.1590/2318-0889201931e190001. Available from: http://ref.scielo.org/zhy758

The truth will out. Nature Physics [online]. 2009; vol. 5, no. 07, pp. 449 [viewed 05 January 2021]. https://doi.org/10.1038/nphys1317. Available from: https://www.nature.com/articles/nphys1317

Who is accountable? Nature [online]. 2007, vol. 450, vol. 7166 [viewed 05 January 2021]. https://doi.org/10.1038/450001a. Available from: https://www.nature.com/articles/450001a

WOELFLE, M. Open science is a research accelerator. Nature Chemistry [online].  2011, vol. 03, no. 10, pp. 745–748 [viewed 05 January 2021]. https://doi.org/10.1038/nchem.1149. Available from: https://www.nature.com/articles/nchem.1149

External links

Grupo de Trabalho Interministerial da Política Nacional de Ciência Aberta (GT-PNCA): http://www.ciencia-aberta.pt/pnca

Online Etymology Dictionary: https://www.etymonline.com/

SciELO 20: https://www.scielo20.org/