Reproducción & Replicación en investigación científica – parte 3

Por Ernesto Spinak

Introducción

Imagen: Maniac, 1934.

La empresa científica depende de la capacidad de la comunidad científica para examinar las afirmaciones científicas y ganar confianza a lo largo del tiempo en resultados e inferencias que han resistido repetidas pruebas. La notificación de las incertidumbres en los resultados científicos es un principio central del proceso científico. Corresponde a los científicos transmitir la información adecuada y el grado de incertidumbre en la presentación de sus reclamaciones. La ciencia apunta a grados refinados de confianza, en lugar de certeza completa.¹

En dos comunicaciones anteriores^2,3 hemos analizado el escenario de la supuesta crisis de la replicación en la publicación científica. Allí se presentaron discusiones sobre el significado de la terminología en uso, métodos de investigación, recopilación de datos, y la interpretación de las estadísticas; siguiendo luego con el análisis de la Guía de la National Academies of Sciences;¹ llegando finalmente hasta si la reproducibilidad es un problema social que requerirá cambios a la cultura de la ciencia con un enfoque más sistemático y comprensión en cómo los científicos interpretan los problemas de reproducibilidad para crear intervenciones culturalmente competentes.

La Guía¹ reseñada marcó un avance para ordenar conceptos y definiciones que, si bien no fue suficientemente adecuada para incluir las expectativas de las ciencias sociales y humanas, al menos quedó claro que en el campo de las ciencias exactas y experimentales, habían situaciones que claramente precisan corregirse. Al menos se destacaron: los sesgos de publicación; las metodologías; las estadísticas; y la calidad de las comunicaciones que se publican, que resumiremos al final.

Pero antes atenderemos las discrepancias filosóficas y metodológicas que han presentado las ciencias sociales y humanidades, respecto a las recomendaciones de la Guía¹ referida.

Los paradigmas en las Ciencias Sociales y Humanidades

Se ha discutido largamente sobre si el papel de la replicación y la reproducibilidad proveniente de otras culturas epistémicas es transferible a las áreas de las ciencias sociales y humanidades. Este tema fue centro de atención en un reciente congreso patrocinado por el CWTS en 2019.

En respuesta a la pregunta de por qué es importante la replicabilidad en Humanidades, se manifestaron dos corrientes de opinión.

Algunos consideran que la replicación exitosa de las investigaciones en Humanidades también hace más probable que los resultados del estudio original sean correctos, posición respaldada por Peels y Bouter.^4,5 Y también les da más posibilidades de conseguir financiación por las agencias que las patrocinan.

Al intentar respaldar su afirmación, Peels y Bouter presuponen que la replicabilidad es deseable, pero según sus detractores extraen sus argumentos únicamente de una epistemología empirista/positivista.

Fundamentalmente, esta conclusión depende de si los autores defienden con éxito la noción de que la replicación es tanto posible como deseable en las Humanidades. Peels y Bouter argumentan que, aunque la replicación podría ser posible en algunos campos de las Humanidades, la replicabilidad no es obviamente posible ni deseable en todos los campos de esa área de investigación. Adoptar políticas que requieran la replicabilidad de toda la investigación en humanidades descartaría la gran mayoría de las investigaciones metodológicamente sólidas en esa disciplina.

En una posición un tanto diferente se manifiestan Holbrook, et al⁶ ofreciendo argumentos respecto a las culturas epistémicas interpretativas o constructivistas donde el valor de la investigación se genera añadiendo la diversidad de argumentos.

Comprender los fenómenos culturales, como la migración o la seguridad, depende de la diversidad de argumentos y posiciones para ayudar a desarrollar soluciones globales. La interpretación de la literatura clásica o medieval requiere el desarrollo continuo de lecturas alternativas y en competencia, y la interpretación de los escritos de los filósofos se beneficia de manera similar de la diversidad que produce. La conveniencia de la replicación en las humanidades es local y limitada, lejos de la conveniencia universal que Peels y Bouter suponen que existe.

Además, los objetos de estudio en las humanidades son a menudo fenómenos únicos, como los eventos históricos, por lo que no está claro en qué sentido se replicaria un estudio.

En segundo lugar, uno podría pensar que varios métodos en las humanidades, como el método hermenéutico en el estudio de un texto, no se prestan bien a la replicación, al menos no tan bien como ciertos métodos en las ciencias empíricas cuantitativas.

En tercer lugar, los objetos de la investigación humanística, en oposición a los objetos de investigación en las ciencias naturales, son a menudo objetos con significado y valor, objetos como pinturas, textos, estatuas y edificios, en oposición a, digamos, objetos como los átomos. y virus que se estudian en las ciencias naturales.

Pero el punto crucial es que los enfoques de las ciencias sociales permiten a los investigadores lidiar con la posibilidad de replicación dando cuenta particular de las consecuencias de las decisiones metodológicas y el papel del investigador. La investigación en humanidades es diferente de las ciencias no por algún tipo de ingrediente secreto, sino porque los objetos de estudio y las preguntas formuladas, a menudo, pero no siempre, no permiten la replicación o incluso la reproducibilidad. Más bien, se basan en la interpretación.

Finalmente, otro aspecto que entra en consideración son los valores sociales. Esto ocurre cuando hay incertidumbre en el razonamiento sobre la base de la evidencia empírica, o la moral o se necesitan valores sociales para llenar el “vacío evidencial” relevante, y nos enfrentamos con las estadísticas. Entonces la crisis de reproducibilidad es inevitable, según Douglas y Elliot⁷ (2009). Desde ese punto de vista los científicos, durante demasiado tiempo, han ignorado los aspectos morales y sociales en las implicaciones de la práctica científica. Entonces, cuando se trata de un tema científico para el cual lo que hay es incertidumbre, es deber de los científicos adoptar políticas que respeten nuestras obligaciones morales y sociales.

De nuevo, la posición de Douglas y Elliott⁷ no apoya que cuando la evidencia es incierta, los científicos lo dejen en manos de los formuladores de políticas. Tomar decisiones sobre una base pragmática, es el punto de vista de quienes defienden las ideas científicas libre de valores. Más bien, su punto de vista es que en la moral, social o de otro tipo, las consecuencias no epistémicas de las decisiones científicas son en sí mismas evidentes al decidir qué conclusiones sacar. En consecuencia, cuando se hayan identificado problemas de reproducibilidad debidos al sesgo de una publicación, la recomendación de política de Douglas y Elliott sería simplemente cambiar el sesgo relevante en juego, preferiblemente a uno que sea moral o socialmente meritorio.

En conclusión, la mayoría de los estudiosos que refutan la idea de la replicación en las humanidades sostienen que la replicación podría ser posible en algunos, pero no en todos los campos de las humanidades. La razón principal de esto es que los problemas y preguntas de investigación a menudo dependen de la interpretación. Se deben alentar más debates intradisciplinarios e interdisciplinarios sobre este tema.

Y también está el tema del acceso a los datos originales para la verificación debido a que la replicación a menudo implica conocimientos artesanales que no están publicados en los informes. Incluso para los expertos, los estudios originales a menudo no proporcionan suficiente información para que se produzcan replicaciones. En lugar de una verificación neutral del proceso, la replicación a veces se maneja estratégicamente para socavar a los adversarios.

La verificación independiente de los resultados solo es posible si los datos están disponibles para otros. Los investigadores pueden evitar que cualquier otra persona verifique los resultados, o sea, están aislándose contra cualquier demostración de error. Los esfuerzos para verificar los resultados después de la publicación pueden ser el tipo de trabajo más tenso interpersonalmente, porque a menudo se interpretan como señales de desconfianza, y puede plantear la posibilidad de la honestidad o competencia del investigador que está en disputa. Aunque la convención en sociología ha sido, en gran parte, tratar la disponibilidad de datos para la verificación como un asunto ético, esto suele ser manejado por solicitudes individuales, y no siempre se cumple con las solicitudes.

Mis reflexiones

La publicación de la Guía¹ y los debates interdisciplinarios han sido un avance importante en el tema de la replicación y reproducción de los ensayos científicos. No obstante quedan por avanzar y resolver los algunos temas relevantes.

El sesgo de publicación

La investigación y publicación científica moderna es altamente competitiva. Los científicos compiten por puestos de trabajo, financiación y prestigio, y la capacidad de adquirir estas cosas depende de la capacidad para publicar sus trabajos. Además, las revistas científicas compiten por publicar los resultados más interesantes y relevantes, y por esa razón normalmente evitan publicar réplicas de resultados anteriores y confirmaciones de hipótesis nulas. El resultado es que lo publicado de la investigación científica exhibe un “sesgo de publicación“. Los científicos generan e informan resultados que sean publicables, es decir, efectos estadísticamente significativos, y no necesariamente resultados que sean verdaderos o estén bien justificados.

La situación es tan generalizada que el diagnóstico de la crisis de replicación fue publicado por John Ioannidis con el ominoso título, Why Most Published Research Findings Are False⁸ (2005). Ioannidis define “sesgo”, como “la combinación de varios factores de diseño, datos, análisis y presentación que tienden a producir hallazgos de investigación cuando no deben ser producidos”, pero que sin embargo son producidos para servir las ambiciones prácticas de revistas y científicos por igual. Se enfocan en “investigación realizada sin ninguna otra razón que otorgar a los médicos e investigadores calificaciones para la promoción o la permanencia en el cargo”, e incluso menciona casos en los que “prestigiosos investigadores… suprimen a través del proceso de revisión por pares la aparición y difusión de hallazgos que refuten sus hallazgos, condenando así su campo para perpetuar falsos dogmas.”

Las metodologías, diseños experimentales, y las estadísticas

Un problema general para los investigadores, en particular los que se inician, es que los científicos habitualmente no explican cómo eligen la cantidad de muestras que se usarán en un estudio. Como comentaba en Nature Monya Baker al inicio de su carrera “mi sorpresa no fue por la omisión de esa información, sino que fue porque no tenía ni idea de cómo o cuándo calcular el tamaño de la muestra.”⁹

La irreproducibilidad científica, la incapacidad de repetir los experimentos de otros y llegar a la misma conclusión, es una preocupación creciente. Se culpa mucho a prácticas experimentales débiles que hacen que los investigadores, sin darse cuenta, favorezcan hipótesis sin bases sólidas. Una encuesta de Nature, publicada también por Baker¹⁰ (2016) encontró que el 87% de más de 1.500 investigadores mencionaron un diseño experimental deficiente como causa de la irreproducibilidad; El 89% culpó a fallas en el análisis estadístico. Sin embargo, pocos investigadores en los inicios de su carrera reciben instrucción formal sobre estos temas.

Los métodos estadísticos deben permitir que los datos respondan preguntas científicas. Una gran diferencia entre los usuarios inexpertos de las estadísticas y los estadísticos expertos aparece tan pronto como contemplan los usos de algunos datos. Si bien es obvio que los experimentos generan datos para responder preguntas científicas, los usuarios de estadísticas sin experiencia tienden a dar por sentado el vínculo entre los datos y las cuestiones científicas y, como resultado, pueden saltar directamente a una técnica basada en la estructura de datos en lugar de un objetivo científico.

La calidad y detalle de las comunicaciones científicas

En una frase: haga que su análisis sea suficientemente detallado para ser reproducible.

En conclusión, tal como se enfatizó en las dos contribuciones anteriores, para los problemas que nos ocupan, claramente se demuestra la necesidad de compartir los datos en acceso abierto, los métodos, el procesamiento, escrutinio, conclusiones y hacerlo disponible a los colegas.

El procedimiento adecuado debería ser publicar primeramente como preprint. Esto significa que las comunicaciones junto con los datos puedan ser discutidos por los expertos en cada campo de la ciencia en pro del perfeccionamiento de los manuscritos. Además se debe llegar a cierto consenso para que los datos se puedan compartir de manera sistemática mediante el reanálisis y donde la minería de datos pueda llevarse a cabo fácilmente.

La serie Replicación en la investigación consta de tres posts

1. Reproducción & Replicación en investigación científica – parte 1
2. Reproducción & Replicación en investigación científica – parte 2
3. Reproducción & Replicación en investigación científica – parte 3

Notas

1. NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and Replicability in Science. Washington, DC: The National Academies Press, 2019 [viewed 16 June 2023]. https://doi.org/10.17226/25303. Available from: https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

2. SPINAK, E. Reproducción & Replicación en investigación científica – parte 1 [online]. SciELO en Perspectiva, 2023 [viewed 16 June 2023]. Available from: https://blog.scielo.org/es/2023/05/19/reproduccion-replicacion-en-investigacion-cientifica-parte-1/

3. Reproducción & Replicación en investigación científica – parte 2 [online]. SciELO en Perspectiva, 2023 [viewed 16 June 2023]. Available from: https://blog.scielo.org/es/2023/06/02/reproduccion-replicacion-en-investigacion-cientifica-parte-2/

4. PEELS, R. Replicability and replication in the humanities. Res Integr Peer Rev [online]. 2019, vol. 4, 2 [viewed 16 June 2023]. https://doi.org/10.1186/s41073-018-0060-4. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0060-4

5. Replicability in the Humanities – The Embassy of Good Science: https://embassy.science/wiki/Theme:D4b207e5-cbcc-452b-aced-4d7357c8dcb0

6. HOLBROOK, J.B., PENDERS, B. and DE RIJCKE, S. The humanities do not need a replication drive [online]. The CTWS blog, 2019 [viewed 16 June 2023]. Available from: https://www.cwts.nl/blog?article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive

7. DOUGLAS, H. Science, policy, and the value-free ideal. Pittsburgh: University of Pittsburgh Press, 2009. https://doi.org/10.2307/j.ctt6wrc78

8. IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005, vol. 2, no. 8, e124 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

9. BAKER, M. Reproducibility: Seek out stronger science. Nature [online]. 2016, vol. 537, pp. 703–704 [viewed 16 June 2023]. https://doi.org/10.1038/nj7622-703a. Available from: https://www.nature.com/articles/nj7622-703a

10. BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature [online]. 2016, vol. 533, pp. 452–454 [viewed 16 June 2023]. https://doi.org/10.1038/533452a. Available from: https://www.nature.com/articles/533452a

Referencias

BAKER, M. 1,500 scientists lift the lid on reproducibility. Nature [online]. 2016, vol. 533, pp. 452–454 [viewed 16 June 2023]. https://doi.org/10.1038/533452a. Available from: https://www.nature.com/articles/533452a

BAKER, M. Reproducibility: Seek out stronger science. Nature [online]. 2016, vol. 537, pp. 703–704 [viewed 16 June 2023]. https://doi.org/10.1038/nj7622-703a. Available from: https://www.nature.com/articles/nj7622-703a

DOUGLAS, H. Science, policy, and the value-free ideal. Pittsburgh: University of Pittsburgh Press, 2009. https://doi.org/10.2307/j.ctt6wrc78

FREESE, J. and PETERSON, D. Replication in social science. Annual Review of Sociology [online]. 2017; vol. 43, pp. 147–165 [viewed 16 June 2023]. https://doi.org/10.1146/annurev-soc-060116-053450. Available from: https://www.annualreviews.org/doi/10.1146/annurev-soc-060116-053450

HOLBROOK, J.B., PENDERS, B. and DE RIJCKE, S. The humanities do not need a replication drive [online]. The CTWS blog, 2019 [viewed 16 June 2023]. Available from: https://www.cwts.nl/blog?article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive

HUDSON, R. Should We Strive to Make Science Bias-Free? A Philosophical Assessment of the Reproducibility Crisis. J Gen Philos Sci [online]. 2021, vol. 52, pp. 389–405 [viewed 16 June 2023]. https://doi.org/10.1007/s10838-020-09548-w. Available from: https://link.springer.com/article/10.1007/s10838-020-09548-w

IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005, vol. 2, no. 8, e124 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

KASS, R.E., et al. Ten Simple Rules for Effective Statistical Practice. PLoS Comput Biol [online]. 2016, vol. 12, no. 6, e1004961 [viewed 16 June 2023]. https://doi.org/10.1371/journal.pcbi.1004961. Available from: https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1004961

NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and Replicability in Science. Washington, DC: The National Academies Press, 2019 [viewed 16 June 2023]. https://doi.org/10.17226/25303. Available from: https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

PEELS, R. Replicability and replication in the humanities. Res Integr Peer Rev [online]. 2019, vol. 4, 2 [viewed 16 June 2023]. https://doi.org/10.1186/s41073-018-0060-4. Available from: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0060-4

Reproducción & Replicación en investigación científica – parte 2 [online]. SciELO en Perspectiva, 2023 [viewed 16 June 2023]. Available from: https://blog.scielo.org/es/2023/06/02/reproduccion-replicacion-en-investigacion-cientifica-parte-2/

SPINAK, E. Reproducción & Replicación en investigación científica – parte 1 [online]. SciELO en Perspectiva, 2023 [viewed 16 June 2023]. Available from: https://blog.scielo.org/es/2023/05/19/reproduccion-replicacion-en-investigacion-cientifica-parte-1/

WICHERTS, J.M., et al. The poor availability of psychological research data for reanalysis. Am Psychol. [online]. 2006, vol. 61, no. 7, pp. 726-728. https://pubmed.ncbi.nlm.nih.gov/17032082/

Enlaces externos

CWTS – Centre for Science and Technology Studies: https://www.cwts.nl

Paper submissions to open panels – 4S New Orleans: https://www.4s2019.org/accepted-open-panels/

Replicability in the Humanities – The Embassy of Good Science: https://embassy.science/wiki/Theme:D4b207e5-cbcc-452b-aced-4d7357c8dcb0

Sobre Ernesto Spinak

Colaborador de SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.