La evaluación sobre la reproducibilidad de los resultados de investigación trae más preguntas que respuestas

Por Lilian Nassi-Calò

Fotografía: Kristoffer Trolle.

La ciencia avanza en base al conocimiento adquirido en estudios previos, y la confiabilidad y reproducibilidad de los resultados es uno de los pilares de la investigación científica. Conclusiones importantes se basan en millares de resultados experimentales, en particular la investigación pre clínica y el desarrollo de nuevos fármacos y tratamientos requiere como premisa inicial que los resultados puedan ser confirmados por otros científicos en diferentes laboratorios. Las dudas sobre la reproducibilidad de la investigación aumentaron principalmente después que las empresas farmacéuticas Bayer y Amgen hubieran informado que no podían reproducir gran parte de los artículos que describían nuevas drogas como potenciales fármacos para el tratamiento del cáncer y otras dolencias, como fue informado anteriormente en este blog^1-3.

Reproducibility Initiative

Tomando nota que numerosas compañías farmacéuticas emplean investigadores para validar resultados experimentales con potenciales nuevos medicamentos, Elizabeth Iorns, presidente ejecutiva de Science Exchange – servicio que trae investigadores de los proveedores de trabajo experimental – desarrolló el “Reproducibility Project: Cancer Biology”. La iniciativa, creada en 2013, que tenía por objetivo validar 50 artículos publicados entre los más relevantes y de alto impacto en la investigación oncológica, contó para esa finalidad con financiamiento por US$ 1,3 millones provenientes de una fundación privada – la Arnold Foundation – supervisada por el Center for Open Science y por científicos independientes mediante Science Exchange, que presentaron previamente a los autores de los artículos originales la metodología y materiales para la verificación de los experimentos. En la ocasión, la reacción a la iniciativa fue recibida con reservas por algunos investigadores: “es muy difícil reproducir ciencia de vanguardia” advierte Peter Sorger, biólogo en la Harvard Medical School, en Boston, MA, EUA; o muy positivamente por otros: William Gunn, co-director de la iniciativa afirmó que “el proyecto es crucial para resolver lo que ha sido una plaga en la ciencia por años”; John Ioannidis, epidemiólogo en la Stanford University y especialista en estadística, que integra el comité asesor de la iniciativa, es de la opinión que el proyecto puede ayudar a la comunidad académica a reconocer fallas en el diseño experimental de los estudios, afirmando que “un piloto como este puede decirnos donde podemos mejorar “; Muin Khoury, que dirige el área Public Health Genomics de los Centers for Disease Control and Prevention en Atlanta, GA, EUA, aprobó la idea afirmando que el proyecto “va a permitir enfrentar la primera de las muchas etapas involucradas en la traducción de los descubrimientos científicos y la efectiva mejoría de la salud”.

Transcurridos más de tres años desde el lanzamiento del proyecto, los resultados de las investigaciones que intentaron reproducir los resultados originales comienzan a ser publicados, indicando que hay espacio para mejorar la reproducibilidad de los estudios pre clínicos en investigación sobre el cáncer. Para comenzar, es necesario definir replicación. Según Brian Nosek y Timothy Errington⁴, al analizar los resultados de los primeros cinco estudios reproducidos, replicar significa “repetir independientemente la metodología de un estudio previo y obtener los mismos resultados”. Pero, ¿qué quiere decir “mismos resultados”? Según los autores, los resultados no tienen respuestas simples, todo lo contrario.

Cada uno de los primeros cinco estudios sobre medicamente potenciales para el tratamiento de ciertos tipos de cáncer fue replicado directamente por científicos independientes en diferentes laboratorios. La replicación directa significa que fueron usados los mismos protocolos (metodología y materiales) de los estudios primarios, después de haber sido revisados por los autores originales con la finalidad de obtener más detalles experimentales para aumentar su precisión. El diseño experimental de las replicaciones fue sometido a la revisión por pares y publicado antes de su inicio. Estos estudios evalúan por lo tanto, si los resultados de los estudios primarios son reproducibles – si permiten obtener los mismos resultados de los estudios primarios – sin embargo no proporcionan insumos para aumentar su validez. Si la replicación falla, disminuye la confiabilidad del estudio original, sin embargo no significa que los resultados fuesen incorrectos, pues los detalles que a primera vista parecieran irrelevantes pueden, en verdad, ser cruciales. Si, en cambio, la replicación tiene éxito, se incrementa la confiabilidad del estudio primario y la probabilidad de generalización de los resultados. Es importante tener en mente que las afirmaciones científicas ganan credibilidad por la acumulación de evidencia, y solo una replicación no permite un juicio definitivo sobre los resultados de las investigación original. Los estudios de replicación incluyen, además de nuevos resultados, meta-análisis de la combinación de resultados (originales y replicaciones) para producir un efecto estadísticamente significativo, contribuyendo a aumentar el poder estadístico de la muestra original. La importancia de la “Reproducibility Initiative” reside en el hecho de que nuevas evidencias – en caso de falla de la reproducción – traen indicaciones importantes sobre la causa de la no reproducibilidad y los factores que la influyen, así como oportunidades para mejorarla.

Los artículos conteniendo el resultado de los primeros cinco estudios replicados fueron publicados a inicios de enero de 2017 en eLife⁴. La elección de la revista de acceso abierto lanzada en 2012 por el Howard Hughes Medical Institute, la Sociedad Max Plank y el WellcomeTrust, radica principalmente en el sistema adoptado de evaluación por pares rápido, eficiente y transparente, que publica junto al artículo partes seleccionadas de la evaluación y las decisiones, mediante autorización de los evaluadores y los autores. Dos de los artículos reprodujeron partes importantes de los estudios originales, y uno no se reprodujo, Los otros dos estudios no pudieron ser interpretados, pues los experimentos en vivo referente al crecimiento de tumores tuvieron comportamientos inesperados que no hizo posible inferir ninguna conclusión.

Estos primeros resultados constituyen un pequeño porcentaje del total de estudios a ser replicados y no permiten extraer conclusiones en cuanto al éxito de la iniciativa o afirmar cuántos experimentos fueron y cuántos no fueron reproducidos. Antes que nada, es importante resaltar que la iniciativa Reproducibility es per se un experimento y todavía no hay datos disponibles para concluir si fue exitoso. El hecho de que la metodología de los estudios replicados ha sido pre-establecida, revisada por pares y publicada es simultáneamente una ventaja y desventaja, pues al mismo tiempo que evita sesgos, impide a los investigadores independientes alterar los protocolos cuando los resultados son imposibles de interpretar, en particular los estudios in vivo. Los responsable por el proyecto adelantan que no podemos esperar resultados conclusivos simplemente positivos (reproducibles) o negativos (no reproducibles), sino un matiz de interpretaciones.

¿Hay una crisis de reproducibilidad?

Este comportamiento era de cierta forma esperado, mucho antes de que fueran obtenidos los primeros resultados. Una investigación online realizada por Nature⁵ con más de 1.500 investigadores de todas las áreas del conocimiento y publicada en 2016 muestra que más del 70% no tuvo éxito al intentar reproducir experimentos de terceros y más del 50% no puede reproducir sus propios experimentos. Sin embargo, apenas el 20% de los entrevistados afirmó haber sido contactado por otros investigadores que no pudieron reproducir sus resultados. Este tema, sin embargo, es delicado pues se corre el riesgo de parecer incompetente o acusatorio. Por el contrario, cuando un resultado no puede ser reproducido, la tendencia de los científicos es asumir que existe una razón plausible para el fracaso. De hecho, el 73% de los entrevistados son de la opinión de que al menos 50% de los resultados en sus áreas son reproducibles, estando los físicos y los químicos entre los más confiados.

Los resultados ilustran el sentimiento general sobre el tema, en la opinión de Arturo Casadevall, microbiólogo en la Johns Hopkins Bloomberg School of Public Health en Baltimore, MD, EUA “por el momento, no hay consenso sobre qué es la reproducibilidad y lo que debería ser […] y la próxima etapa debería ser identificar el problema y obtener un consenso”. No se trata de eliminar la reproducibilidad, pues la investigación de punta muchas veces no cuenta con resultados robustos, afirma Marcus Munafo, psicólogo de la Universidad de Bristol, Reino Unido, estudioso de reproducibilidad en investigación, que considera un rito de pasaje no ser capaz de reproducir resultados, relatando su propia experiencia.

En cuanto a la causa de la no reproducibilidad, los factores más comunes están relacionados – como se esperaba – con la intensa competencia y presión por publicar. Ente los motivos más citados por los investigadores están: publicación selectiva de resultados; presión por publicar; baja significación estadística; número insuficiente de repeticiones en el propio laboratorio; supervisión insuficiente; metodología no disponible; diseño experimental inadecuado; datos fuentes no disponibles; fraude; y evaluación por pares insuficiente.

La investigación mostró que el 24% de los entrevistados afirmó haber publicado replicaciones exitosas y 13% publicó resultados de replicaciones que no tuvieron éxito. En la experiencia de algunos autores, la publicación de resultados de replicaciones puede ser facilitada si el artículo ofrece explicación plausible para las posibles causas del éxito o del fracaso. En este sentido, entre 24% (física e ingeniería) y 41% (ciencias médicas) de los investigadores informaron que sus laboratorios han tomado medidas concretas para aumentar la reproducibilidad de los ensayos, como repetir los experimentos varias veces, solicitar a otros laboratorios que repliquen los estudios, o aumentar el cuidado en la normalización de los ensayos y la descripción de la metodología empleada. Lo que puede parecer un gasto de material, tiempo y recursos, puede en verdad ahorrar problemas futuros y la retractación de artículos publicados. Según la investigación, una de las mejores formas de aumentar la reproducibilidad es el pre-registro del protocolo y metodologías, en el que la hipótesis a comprobar y el plan de trabajo son previamente presentados a terceros. Recordemos que esta fue, en verdad, la metodología usada por la Reproducibility Initiative, en la que el diseño experimental fue revisado por los pares y publicado antes del inicio de los estudios de replicación. La disponibilidad de los resultados en bruto en repositorios de datos abiertos – open data – actúa también en este sentido, para evitar que los autores opten por publicar solo los resultados que de hecho corroboran su hipótesis.

¿Cómo mejorar la reproducibilidad?

Los investigadores consultados por Nature indicaron varios enfoques para aumentar la reproducibilidad en la investigación. Más del 90% indicaron “diseño experimental más robusto”; “mejor estadística” y “orientación más eficiente”. Incluso la evaluación por pares pre-publicación fue señalada por Jan Velterop, geofísico marino, ex-editor científico, defensor del acceso abierto y autor asiduo en el blog SciELO en Perspectiva, como factor agravante de la falta de reproducibilidad en la ciencia. De hecho, cerca del 80% de los entrevistados por Nature son de la opinión de que las agencias de promoción y las editoriales deberían tener un papel más significativo en este sentido. Parece haber consenso con el hecho que de la discusión sobre la reproducibilidad es oportuna y bienvenida, pues hace que un mayor número de personas se preocupen en mejorarla. Como afirma Irakli Loladze, bióloga matemática en el Bryan College of Health Sciences en Lincoln, NE, EUA, “la reproducibilidad es como cepillarse los dientes, es bueno para uno, pero demanda más tiempo y esfuerzo, pero una vez que se aprende, se torna un hábito.

Notas

1. NASSI-CALÒ, L. La reproducibilidad en los resultados de investigación: la punta del iceberg [online]. SciELO en Perspectiva, 2014 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2014/02/27/la-reproducibilidad-en-los-resultados-de-investigacion-la-punta-del-iceberg/

2. NASSI-CALÒ, L. Reproducibilidad en resultados de investigación: los desafíos de asignar fiabilidad [online]. SciELO en Perspectiva, 2016 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2016/03/31/reproducibilidad-en-resultados-de-investigacion-los-desafios-de-asignar-fiabilidad/

3. VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

4. NOSEK, B.A. and ERRINGTON, T.M. Making sense of replications. eLife [online]. 2017, vol. 6, p. e23383, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23383. Available from: http://elifesciences.org/content/6/e23383

5. BAKER, M. Is there a reproducibility crisis? Nature [online]. 2016, vol. 533, no. 7604, p. 452 [viewed 24 January 2017]. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Referencias

BAKER, M. Independent labs to verify high-profile papers [online]. Nature. 2012 [viewed 24 January 2017]. DOI: 10.1038/nature.2012.11176. Available from: http://www.nature.com/news/independent-labs-to-verify-high-profile-papers-1.11176

BAKER, M. Is there a reproducibility crisis? Nature [online]. 2016, vol. 533, no. 7604, p. 452 [viewed 24 January 2017]. DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

BEGLEY, C.G., ELLIS, L.M. Drug development: Raise standards for preclinical cancer research. Nature [online]. 2012, vol. 483, no. 7391, pp. 531–533 [viewed 24 January 2017]. DOI: 10.1038/483531ª. Available from: http://www.nature.com/nature/journal/v483/n7391/full/483531a.html

NASSI-CALÒ, L. La reproducibilidad en los resultados de investigación: la punta del iceberg [online]. SciELO en Perspectiva, 2014 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2014/02/27/la-reproducibilidad-en-los-resultados-de-investigacion-la-punta-del-iceberg/

NASSI-CALÒ, L. Reproducibilidad en resultados de investigación: los desafíos de asignar fiabilidad [online]. SciELO en Perspectiva, 2016 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2016/03/31/reproducibilidad-en-resultados-de-investigacion-los-desafios-de-asignar-fiabilidad/

NOSEK, B.A. and ERRINGTON, T.M. Making sense of replications. eLife [online]. 2017, vol. 6, p. e23383, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23383. Available from: http://elifesciences.org/content/6/e23383

PRINZ, F., SCHLANGE, T. and ASADULLAH, T. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery [online]. 2011, vol. 10, no. 712 [viewed 24 January 2017]. DOI: 10.1038/nrd3439-c1. Available from: http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html

SPINAK, E. Datos Abiertos: información líquida, democracia, innovación… los tiempos se están cambiando [online]. SciELO en Perspectiva, 2013 [viewed 29 January 2017]. Available from: http://blog.scielo.org/es/2013/11/18/datos-abiertos-informacion-liquida-democracia-innovacion-los-tiempos-se-estan-cambiando/

The challenges of replication. eLife [online]. 2017, vol. 6, p. e23693, ISSN: 2050-084X [viewed 24 January 2017]. DOI: 10.7554/eLife.23693. Available from: http://elifesciences.org/content/6/e23693

VAN NOORDEN, R. Initiative gets $1.3 million to verify findings of 50 high-profile cancer papers [online]. Nature News Blog, 2013 [viewed 24 January 2017]. Available from: http://blogs.nature.com/news/2013/10/initiative-gets-1-3-million-to-verify-findings-of-50-high-profile-cancer-papers.html

VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 24 January 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

Enlaces externos

Laura and John Arnold Foundation – <http://www.arnoldfoundation.org/>

Reproducibility Project: Cancer Biology – <http://validation.scienceexchange.com/#/reproducibility-initiative>

Science Exchange – <http://www.scienceexchange.com/>

Welcome Trust – <http://www.wellcome.ac.uk/About-us/Policy/Spotlight-issues/Open-access/Journal/index.htm>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.