Reproducción & Replicación en investigación científica – parte 1

Por Ernesto Spinak

Introducción^1,2

Imagen: Maniac, 1934.

La empresa científica depende de la capacidad de la comunidad científica para examinar sus afirmaciones y ganar confianza a lo largo del tiempo en resultados e inferencias que han resistido repetidas pruebas. La notificación de las incertidumbres en los resultados científicos es un principio central del proceso científico. Corresponde a los científicos transmitir la información adecuada y el grado de incertidumbre en la presentación de sus reclamaciones. La ciencia apunta a grados refinados de confianza, en lugar de certeza completa.³

Muchos estudios científicos buscan medir, explicar y hacer predicciones sobre fenómenos naturales. Otros estudios buscan detectar y medir los efectos de una intervención sobre un sistema. La inferencia estadística proporciona un concepto y marco computacional para abordar las cuestiones científicas en cada ajuste. La estimación y la prueba de hipótesis son agrupaciones amplias de procedimientos inferenciales.

La reproducibilidad y replicabilidad en relación con los datos y el trabajo científico intensivo en computación recibió atención con el uso de herramientas computacionales ampliadas. En la década de 1990, Jon Claerbout lanzó el “movimiento de investigación reproducible”. La suposición era que la reanálisis de los mismos datos usando los mismos métodos produciría los mismos resultados.

Con el inicio de análisis masivos de datos, en particular en las ciencias médicas, se introdujeron las siguientes interrogantes

• ¿Cómo deberían ser los estudios e investigaciones en las diversas disciplinas usando el modelo computacional algorítmico?
• ¿Se pueden diseñar enfoques para generar conocimiento confiable de manera eficiente?
• ¿Cómo se podrían comunicar mejor las hipótesis y los resultados para permitir a otros confirmar, refutar o construir sobre esos resultados?
• ¿Cómo pueden los sesgos potenciales de los científicos ser comprendidos, identificados y expuestos a fin de mejorar la precisión en la generación e interpretación de los resultados de la investigación?

Para expresarlo en una frase, considerábamos que la reproducibilidad significaba “obtener los mismos resultados en un estudio independiente cuyos procedimientos son lo más parecido posible al experimento original.” Pero esto no resultó ser así.

La sensación de crisis comenzó con la conciencia generalizada de fallas de reproducibilidad entre el público cuando el Center for Open Science anunció en 2015 que podía confirmar solo 39 de 100 estudios publicados en psicología. Para muchos científicos, sin embargo, no solo en psicología, la reproducibilidad no funcionaba o era efectiva.

Durante más de una década, la imposibilidad de reproducir los hallazgos en varias disciplinas, incluidas las ciencias biomédicas, conductuales y sociales, ha llevado a algunos autores a afirmar que existe la llamada “crisis de reproducibilidad” en esas disciplinas. Algunos síntomas detectados eran:

• varios aspectos de la reproducibilidad de los estudios científicos, incluidas las definiciones de reproducibilidad, se interpretaban en forma ambigua;
• se identificaban muchas variables involucradas en la evaluación del éxito de los intentos de reproducir un estudio, así como otros factores sugeridos responsables de fallas en la reproducibilidad;
• se anotaban varios tipos de validez de los estudios experimentales y amenazas a la validez en relación con la reproducibilidad;
• estas ambigüedades e indefiniciones se presentaban como evidencia de amenazas a la reproducibilidad en la literatura de análisis de las ciencias del comportamiento.

Gran parte de las críticas y comentarios sobre reproducibilidad y soluciones a la crisis, tanto reales como percibidas, se centró en las estadísticas, metodologías y cómo se reportaban las comunicaciones. En la última década, los estadísticos han mostrado cómo las estadísticas pueden ser mal utilizadas involuntariamente o, en algunos casos, abusadas intencionalmente cuando los investigadores intentan producir resultados que atraigan a colegas profesionales y atraigan potenciales financiadores.

La revisión por pares tampoco nos protege lo suficiente. Al día de hoy la revisión por pares es la que supuestamente garantiza lo publicado, que los hallazgos son correctos, e implícitamente, que tales hallazgos podrían ser reproducidos si otros investigadores lo intentaran. Pero como varios académicos han demostrado, la encarnación actual de la revisión por pares, en la que las presentaciones a las revistas son arbitradas por colegas anónimos — es un accidente histórico, lejos de un procedimiento diseñado capaz de separar la verdad de la ficción.

A fines de la década de 1990, la revisión por pares fue objeto de fuertes críticas. Sus muchas fallas, que contribuyen directamente a las dificultades con la reproducibilidad, se han vuelto bien conocidas, pero vale la pena repetirlas: rara vez se presentan estudios con resultados negativos o nulos, y menos son publicados, lo que abre la puerta a falsos positivos. La expectativa es que la ciencia abierta con las prácticas de empezar la comunicación de las investigaciones por preprints, el compartimiento de los datos subyacentes a los textos, y la publicación de los informes de los revisores podría mejorar este problema.

Los fracasos en la reproducibilidad aumentan los costos de la investigación, principalmente en ciencias de la salud. Tomemos como ejemplos algunos artículos recientes.

“Las bajas tasas de reproducibilidad dentro de la investigación en ciencias de la vida socavan la producción de conocimiento acumulativo y contribuyen tanto a los retrasos como a los costos del desarrollo de fármacos terapéuticos. Un análisis de estudios entre 2012 y 2015 indica que la prevalencia acumulada (total) de investigación preclínica irreproducible supera el 50%, lo que genera aproximadamente US$28 mil millones/años gastados en investigación preclínica que no es reproducible, solo en los Estados Unidos”.⁴

También fue significativo un artículo de 2005 de John Ioannidis titulado provocativamente Why Most Published Research Findings Are False.⁵ Ioannidis argumentó que “la mayoría de los resultados de la investigación son falsos para la mayoría de los diseños de investigación y para la mayoría de los campos disciplinarios”⁵ debido a una combinación de sesgos en el diseño, en el análisis y la presentación de informes; pruebas realizadas por múltiples equipos independientes que conducen a la publicación de resultados falsos positivos; y diseños de investigación de baja potencia. Admitiendo que no habría forma de alcanzar el 100 por ciento de certeza, Ioannidis pidió evidencia de mayor poder probativo, corrigiendo el sesgo de publicación y abordando los problemas con otras formas de sesgo.⁶

“Actualmente, muchos resultados de investigaciones publicados son falsos o exagerados. Se estima que el 85% de los recursos de investigación se desperdician.”⁷

Para aquellos involucrados en discusiones sobre rigor, reproducibilidad y replicación en ciencia, las conversaciones sobre la “crisis de reproducibilidad” parecen estar mal estructuradas.

Aparentemente, bajo esta etiqueta, se recogen muchos problemas diferentes, y no solo los relacionados con la “pureza de los reactivos, la accesibilidad del código computacional o la estructura de incentivos en la investigación académica”.

Trabajos en las pasadas dos décadas han intentado abordar estos problemas mediante la creación de variadas definiciones de los términos en discusión como reproducibilidad, replicabilidad, etc. Un análisis de correspondencias de la terminología en las publicaciones científicas realizado por Nelson NC, (2021) Mapping the discursive dimensions of the reproducibility crisis: A mixed methods analysis⁸ identifica tres grupos de discusión en los artículos: un grupo centrado en el uso de reactivos, otro sobre métodos estadísticos, y un grupo final centrado en la heterogeneidad de la naturaleza mundo.

Daniele Fanelli y John Ioannidis de Meta-Research Innovation de Stanford Center de Stanford, argumentaron que “el léxico de la reproducibilidad hasta la fecha ha sido múltiple y mal definido,”⁹ y que la falta de claridad sobre los tipos específicos de reproducibilidad que se discuten fueron un impedimento para avanzar en estos temas. Muchos comentaristas han señalado que existe una confusión considerable entre los términos reproducibilidad y replicabilidad, y que esos términos a menudo se usan indistintamente en la literatura. Victoria Stodden ha argumentado que hay tres tipos principales de reproducibilidad: empírica, estadística y computacional, cada uno de los cuales representa una narrativa distinta vinculada a una disciplina diferente.

Hasta la fecha, los académicos han intentado abordar estas preocupaciones proponiendo definiciones aclaratorias, o tipologías para guiar las discusiones. El Informe Reproducibility and Replicability in Science³ de 2019 de la National Academies of Sciences, Engineering, and Medicine señala el problema de la confusión terminológica y crea una distinción definitoria entre reproducibilidad y replicabilidad, una distinción que se alinea con el uso de estos términos en las ciencias computacionales, pero que está en desacuerdo con las formas más flexibles en que son utilizado por organizaciones importantes como el Center for Open Science y los planes de los National Institutes of Health.

Muchos comentaristas argumentan que la reproducibilidad es un problema social que requerirá cambios a la cultura de la ciencia y, sin embargo, metodologías diseñadas para estudiar la variación cultural y el cambio, como ser: observación participante, etnografía, comparaciones transculturales, análisis cualitativo y análisis de datos. Metodologías que rara vez se emplean en metas científicas u orientadas a la investigación de la reproducibilidad. Lograr un cambio duradero en las culturas científicas requerirá primero un enfoque más sistemático y comprensión de la variación en cómo los científicos interpretan los problemas de reproducibilidad para crear intervenciones “culturalmente competentes”.⁸

Antes de analizar las teorías subyacentes por la falta de replicabildad de los experimentos, veamos algunos problemas básicos que pueden explicarlo. Las bases formales y epistemológicas se presentarán en una contribución posterior, donde se desglosaremos el documento de la National Academies of Sciences³ ya mencionado.

A continuación se presentan dos ejemplos de estudios en los que la no replicación de los resultados llevó a los investigadores a buscar el origen de las discrepancias y, en última instancia, aumentó la comprensión de los sistemas en estudio y cómo se notifican.

¿Cómo se determina hasta qué punto un intento de replicación ha sido exitoso o no? Algunas veces el problema es que el reporte no es suficientemente claro o detallado en los procedimientos.

Dos laboratorios separados estaban realizando experimentos de tejido mamario, usando lo que asumieron que era el mismo protocolo, pero sus resultados continuaron diferentes. Cuando los investigadores de los dos laboratorios se sentaron uno al lado del otro para realizar el experimento, descubrieron que un laboratorio estaba removiendo las células suavemente en el matraz, mientras que el otro laboratorio estaba usando un sistema de agitación más vigoroso.

Ambos métodos son comunes, por lo que ninguno de los investigadores pensó en mencionar los detalles de la proceso de mezcla. Antes de que estos investigadores descubrieran la variación en la técnica, no se sabía que el método de mezcla podría afectar el resultado en este experimento. Tras su descubrimiento, aclarar el tipo de técnica de mezcla en los métodos del estudio se convirtió en una fuente evitable de no replicabilidad.

La no replicabilidad también puede ser el resultado de un error humano o de un investigador inexperiente. Deficiencias en el diseño, en la conducción de un estudio, o en su posterior comunicación pueden contribuir a la no replicabilidad. Consideramos aquí un conjunto seleccionado de tales fuentes evitables de no replicación, que se explicarán en detalle en próximas notas:

• El sesgo de la publicación;
• Incentivos desalineados para publicar;
• El uso de inferencia estadística inapropiada;
• Diseño deficiente del estudio;
• Errores en la conducción;
• Informe incompleto de un estudio.

Para completar la nota de hoy, aportemos algunas sugerencias útiles

Los sistemas necesarios para promover la investigación reproducible debe provenir de las instituciones; los científicos, los patrocinadores porque las revistas no pueden construirlos por sí mismos. Este tipo de cambios requerirá dinero, infraestructura, personal y trámites adicionales. La carga en las instituciones y los investigadores serán reales, pero también lo es la carga de la investigación irreproducible.

Para hacer más confiables las investigaciones publicadas, aquellas prácticas que han mejorado la credibilidad y la eficiencia en campos específicos puede trasplantarse a otras disciplinas para beneficiarse de ellas; las posibilidades incluyen la adopción de sistemas colaborativos a gran escala.

Es necesario hacer modificaciones en el sistema de incentivos y recompensas para la ciencia, afectando, por ejemplo a publicaciones, subvenciones y compras de bienes académicos que estén mejor alineadas con investigaciones reproducibles.

Colofón

En esta entrega hemos presentado un panorama actual de los problemas de la Replicabilidad y Reproducibilidad de la comunicación científica. En las próximas dos entregas abordaremos las bases filosóficas que ofrece la la National Academies of Sciences, hasta dónde son aplicables estas directivas a las ciencias sociales y humanas, y qué contribución puede ofrecer la ciencia abierta, revisión abierta y servidores de preprints.

La serie Replicación en la investigación consta de tres posts

1. Reproducción & Replicación en investigación científica – parte 1
2. Reproducción & Replicación en investigación científica – parte 2
3. Reproducción & Replicación en investigación científica – parte 3

Notas

1. El tema de la replicabilidad ha estado en “crisis” en la publicación científica, por lo cual dedicaremos, comenzando con esta nota, una serie de posts para intentar explicar los significados de los términos: Replicabilidad, Reproducibilidad, Robustez y Generalizabilidad.

También analizaremos cómo se entiende la replicabilidad en las diferentes disciplinas científicas, cuáles son los errores más frecuentes, y qué gravitación tienen para la validación de los conocimientos científicos publicados.

La serie sobre Replicación en la Investigación consistirá en tres posts:

1. Escenario de la supuesta “crisis” de la replicación en la publicación científica.
2. Comentarios de expertos sobre la terminología usada: (a) la Guía publicada por la National Academies of Sciences, Engineering, and Medicine intentando normalizar los conceptos; (b) Opiniones diferentes a la Guía provenientes de disciplinas de las Ciencias Sociales y Humanas cuyos paradigmas no se ajustan a las ciencias exactas, y (c) visiones de las ciencias médicas que apuntan a otros problemas.
3. Resumen de las notas anteriores con sugerencias para resolver los mayores conflictos apuntando a la Ciencia Abierta y el uso de servidores de preprints.

3. Muchos de los conceptos expresados en esta serie de notas son adaptados de un documento guía publicado por la National Academies Press en 2019.³

3. NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and Replicability in Science. Washington, DC: The National Academies Press, 2019. https://doi.org/10.17226/25303. Available from: https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

4. FREEDMAN, L.P., COCKBURN, I.M. and SIMCOE, T.S. The Economics of Reproducibility in Preclinical Research. PLoS Biol [online]. 2015, vol. 13, no. 6, e1002626 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pbio.1002165. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165

5. IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005, vol. 2, no. 8, e124 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

6. SAYRE, F. and RIEGELMAN, A. The reproducibility crisis and academic libraries. College & Research Libraries [online]. 2018, vol. 79, no. 1 [viewed 19 May 2023]. https://doi.org/10.5860/crl.79.1.2. Available from: https://crl.acrl.org/index.php/crl/article/view/16846

7. IOANNIDIS, J.P.A. How to make more published research true. PLoS Med [online]. 2014, vol. 11, e1001747 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pmed.1001747. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747

8. NELSON, N.C., et al. (2021) Mapping the discursive dimensions of the reproducibility crisis: A mixed methods analysis. PLoS ONE [online]. 2021, vol. 16, no. 7, e0254090 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pone.0254090. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0254090

9. GOODMAN, S.N., FANELLI, D. and IOANNIDIS, J.P.A. What does research reproducibility mean? Science Translational Medicine [online]. 2016, vol. 8, no. 341, 341ps12 [viewed 19 May 2023]. https://doi.org/10.1126/scitranslmed.aaf5027. Available from: https://www.science.org/doi/10.1126/scitranslmed.aaf5027

Referencias

CLAERBOUT, J.F., AND KARRENBACH, M. Electronic Documents Give Reproducible Research a New Meaning. SEG Technical Program Expanded Abstracts. 1992, 601-604 [viewed 19 May 2023]. https://doi.org/10.1190/1.1822162. Available from: https://library.seg.org/doi/abs/10.1190/1.1822162

COLLINS, F. AND TABAK, L. Policy: NIH plans to enhance reproducibility. Nature [online]. 2014, vol. 505, pp. 612–613 [viewed 19 May 2023]. https://doi.org/10.1038/505612a. Available from: https://www.nature.com/articles/505612a

FREEDMAN, L.P., COCKBURN, I.M. and SIMCOE, T.S. The Economics of Reproducibility in Preclinical Research. PLoS Biol [online]. 2015, vol. 13, no. 6, e1002626 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pbio.1002165. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165

GOODMAN, S.N., FANELLI, D. and IOANNIDIS, J.P.A. What does research reproducibility mean? Science Translational Medicine [online]. 2016, vol. 8, no. 341, 341ps12 [viewed 19 May 2023]. https://doi.org/10.1126/scitranslmed.aaf5027. Available from: https://www.science.org/doi/10.1126/scitranslmed.aaf5027

HARRIS, R.F. Rigor Mortis: How Sloppy Science Creates Worthless Cures, Crushes Hope, and Wastes Billions. New York: Basic Books, 2017.

HINES, W.C., et al. Sorting out the FACS: A Devil in the Details. Cell Reports. 2014, vol. 6, no. 5, pp. 779-781 [viewed 19 May 2023]. http://doi.org/10.1016/j.celrep.2014.02.021. Available from: https://www.cell.com/cell-reports/fulltext/S2211-1247(14)00121-1

IOANNIDIS, J.P.A. How to make more published research true. PLoS Med [online]. 2014, vol. 11, e1001747 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pmed.1001747. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747

IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLoS Med [online]. 2005, vol. 2, no. 8, e124 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

LARAWAY, S, et al. An Overview of Scientific Reproducibility: Consideration of Relevant Issues for Behavior Science/Analysis. Perspect Behav Sci [online]. 2019, vol.42, no. 1, pp. 33-57 [viewed 19 May 2023]. https://doi.org/10.1007/s40614-019-00193-3. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6701706/

NATIONAL ACADEMIES OF SCIENCES, ENGINEERING, AND MEDICINE. Reproducibility and Replicability in Science. Washington, DC: The National Academies Press, 2019. https://doi.org/10.17226/25303. Available from: https://nap.nationalacademies.org/catalog/25303/reproducibility-and-replicability-in-science

NELSON, N.C., et al. (2021) Mapping the discursive dimensions of the reproducibility crisis: A mixed methods analysis. PLoS ONE [online]. 2021, vol. 16, no. 7, e0254090 [viewed 19 May 2023]. https://doi.org/10.1371/journal.pone.0254090. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0254090

Open Science Collaboration. An open, large-scale, collaborative effort to estimate the reproducibility of psychological science. Perspect Psychol Sci [online]. 2012, vol. 7, pp. 657–660 [viewed 19 May 2023]. https://doi.org/10.1177/1745691612462588. Available from: https://journals.sagepub.com/doi/10.1177/1745691612462588

POPPER, K. The Logic of Scientific Discovery. London: Routledge, 2005.

SAYRE, F. and RIEGELMAN, A. The reproducibility crisis and academic libraries. College & Research Libraries [online]. 2018, vol. 79, no. 1 [viewed 19 May 2023]. https://doi.org/10.5860/crl.79.1.2. Available from: https://crl.acrl.org/index.php/crl/article/view/16846

STODDEN, V. Resolving irreproducibility in empirical and computational research [online]. IMS Bulletin blog, 2013 [viewed 19 May 2023]. Available from: https://imstat.org/2013/11/17/resolving-irreproducibility-in-empirical-and-computational-research/

STUPPLE, A., SINGERMAN, D. and CELI, L.A. The reproducibility crisis in the age of digital medicine. npj Digit. Med. [online]. 2019, vol. 2, no. 1 [viewed 19 May 2023]. https://doi.org/10.1038/s41746-019-0079-z. Available from: https://www.nature.com/articles/s41746-019-0079-z

Enlace externo

Center for Open Science: https://www.cos.io/