La reproducibilidad en los resultados de investigación: la punta del iceberg

Imagen: Osccarr

En un post publicado anteriormente en este blog, tratamos sobre el tema de la reproducibilidad de los resultados de la investigación y cómo el tema viene ganando escala en la comunidad científica y en la sociedad. La confiabilidad en la investigación científica puede ser medida por el número de artículos retractados que son publicados cuando se constata fraude o errores de experimentación o de interpretación de los resultados. El número de retractaciones se multiplicó por diez desde 1975, pero la mayor parte se debió a fraude. Como ya se ha mencionado, la falta de reproducibilidad, sin embargo, está subvalorada, pues repetir requiere tiempo, recursos y mano de obra y una buena razón para sospechar de los resultados.

El desarrollo de nuevos fármacos para tratar enfermedades tiene inicio, en gran parte, en estudios científicos llevados a cabo en las instituciones de investigación en el área clínica. Las compañías farmacéuticas, sin embargo, se encuentran entre los más interesados en la fiabilidad de los resultados, pues a partir de ellos son formulados proyectos de experimentación y finalmente producen estas drogas, que tienen costos considerables.

Sin embargo, los estudios realizados por las compañías farmacéuticas Bayer (Alemania) y Amgen (Estados Unidos) llegaron a la conclusión de que entre el 60 y el 70% de los estudios en el campo de la biomedicina pueden incluir resultados no reproducibles. Un estudio de los ensayos clínicos de fármacos potenciales para ciertas enfermedades llevado a cabo en 2011 mostró que la tasa de éxito de nuevos fármacos en ensayos clínicos en la Fase II se redujo del 28% al 18% en los últimos años, y la causa más frecuente del fracaso es la baja eficiencia de los fármacos probados. Eso apunta a los límites de la previsibilidad de los nuevos fármacos para combatir las enfermedades para las que no había indicios de que iban a funcionar. Los fármacos potenciales provienen de diversas fuentes, incluyendo el desarrollo de las propias empresas, pero en su mayoría de informes de la literatura científica publicada en revistas o incluso presentados en congresos. Es fácil imaginar las consecuencias para las compañías farmacéuticas si los experimentos sobre los que se basan estos estudios no son fiables y reproducibles. La fase de pruebas comprende el cambio de enfoque de “interesante” para “factible/vendible” y probar un medicamento que resultará en un fracaso implica costos de reputación.

Es por eso que las compañías farmacéuticas validan los datos publicados antes de iniciar un proyecto que involucra a los ensayos clínicos. Los estudios de Bayer en Alemania sobre la reproducibilidad de los resultados de investigación de 67 medicamentos potenciales para tratar cáncer (47 medicamentos, 70%) enfermedades cardiovasculares (8 medicamentos, 12%) y para la salud de la mujer (12 medicamentos, 18%) resultaron en 43 casos (65%) de inconsistencias, 14 casos (21%) en que los resultados publicados fueron confirmados, 5 casos (7%) en que los datos principales fueron reproducidos, 3 casos (4%) en que algunos resultados fueron confirmados, y 2 casos (3%) se refieren a proyectos cuyos medicamentos habían sido desarrollados exclusivamente en las propias compañías. De acuerdo con los investigadores de Amgen en los Estados Unidos, apenas 6 (%) de 53 artículos sobre oncología clínica demostraron ser reproducibles.

La falta de reproducibilidad de los experimentos publicados, como hemos visto, tiene un papel importante en los fracasos registrados en los proyectos de la industria farmacéutica basados en los resultados pre clínicos. El sistema de evaluación de los investigadores para su contratación y proyección de su carrera, así como la obtención de financiación de la investigación se basa en gran medida en las publicaciones, preferentemente con resultados directos y positivos en revistas de alto impacto, en otras palabras “un relato perfecto”. Esta cultura desalienta la publicación de resultados negativos, o conclusiones alternativas a la tesis propuesta originalmente por el autor, lo que lleva a falsas expectativas en relación a un nuevo medicamento. Los editores y revisores tiene un papel importante en el cambio de esta cultura, pues deben aumentar el rigor en la evaluación de los trabajos presentados. Se requerirá un gran compromiso de la comunidad académica para exigir mayor rigor en los experimentos y la descripción más detallada de las condiciones experimentales, que permitan reproducirlos por otros laboratorios. Es interesante notar que los estudios no reproducibles publicados en las revistas con Factor de Impacto (FI) situado en el primer cuartil (mayor que 20) reciben más citaciones que los estudios reproducibles publicados en la misma revista. Esta relación también se observa en las revistas con FI situado en el segundo cuartil (5-19), con una diferencia todavía más pronunciada, tendiendo a los estudios no reproducibles.

La terapia genética, parte de la ciencia llamada genómica, es cuando los fragmentos de ADN se usan como “medicamentos” para el tratamiento de enfermedades, que normalmente se realiza mediante la incorporación de esos fragmentos de ADN en los cromosomas de los pacientes, a través de la expresión de una proteína codificada por la secuencia de ADN introducida¹. Desde la concepción del término en 1972 hasta nuestros días, se registraron tratamientos exitosos para enfermedades congénitas (donde el ADN del paciente tiene una o más mutaciones) y algunas formas de cáncer.

La genómica es una disciplina considerada hot topic, en consecuencia de naturaleza competitiva, que se publica habitualmente en revistas de alto FI y atrae numerosas citaciones. La genómica se presenta como una perspectiva totalmente innovadora en el tratamiento de muchas enfermedades, pero también viene enfrentando el impacto de resultados falsos positivos. Muchas veces, los médicos no capacitados adecuadamente para interpretar resultados de las secuencias de genes de sus pacientes, publican resultados sin el debido rigor, y anuncian observaciones casuales como efectos biológicos comprobados.

La neurociencia es también un área de la ciencia médica que sufre el impacto de la baja reproducibilidad debido al tamaño reducido de las muestras y la baja significación estadística de los resultados. De acuerdo con los autores de un artículo de revisión detallado publicado en Nature Reviews Neurosciences², la mejora de la reproducibilidad depende de principios metodológicos bien establecidos, pero frecuentemente ignorado por los investigadores.

Los ejemplos anteriores ilustran cómo muchas áreas del conocimiento se enfrentan a una crisis de confiabilidad de los resultados de la investigación. La toma de conciencia por parte de los investigadores, editores, directores de instituciones de investigación, agencias de financiación y la iniciativa privada es la primera etapa en la dirección de la detección, corrección y prevención del problema. Un posible cambio de actitud por parte de la comunidad científica en la apreciación de los resultados positivos y premios por cantidad – en lugar de la calidad de la producción, podría sin duda contribuir a la solución.

Notas

¹ Wikipedia. Gene Therapy. Available from: http://en.wikipedia.org/wiki/Gene_therapy

² BUTTON, K. S., et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience. 2013, v. 14, nº 5, pp. 365-376. doi:10.1038/nrn3475

Referencias

ARROWSMITH, J. Phase II failures: 2008–2010. Nature Reviews Drug Discovery. 2011. Available from: <http://www.nature.com/nrd/journal/v10/n5/full/nrd3439.html>

BEGLEY C. G., and ELLIS, L. M. Drug development: Raise standards for preclinical cancer research. Nature. 2012. Available from:<http://www.nature.com/nature/journal/v483/n7391/full/483531a.html>

Declaration recommends eliminate the use of Impact factor for research evaluation. SciELO in Perspective. [viewed 31 January 2014]. Available from: http://blog.scielo.org/en/2013/07/16/declaration-recommends-eliminate-the-use-of-impact-factor-for-research-evaluation/

Error prone. Editorial.  Nature. 26 July 2012. doi:10.1038/487406a

FANG, F.C., STREEN, R. G., and CASADEVALL, A. Misconduct accounts for the majority of retracted scientific publications. PNAS. 2012. Available from: <http://www.pnas.org/content/early/2012/09/27/1212247109>

JOHNSON, G. New Truth That Only One Can See. The New York Times. January 20, 2014. Available from:<http://mobile.nytimes.com/2014/01/21/science/new-truths-that-only-one-can-see.html?referrer=>

La reproducibilidad en los resultados de investigación: la mirada subjetiva. SciELO en Perspectiva. [viewed 24 February 2014]. Available from: <http://blog.scielo.org/es/2014/02/19/la-reproducibilidad-en-los-resultados-de-investigacion-la-mirada-subjetiva/>

Nature. 2012. Available from: <http://www.nature.com/nature/journal/v483/n7391/full/483531a.html>

Open Access and a call to prevent the looming crisis in science. SciELO in Perspective. [viewed 31 January 2014]. Available from: http://blog.scielo.org/en/2013/07/31/open-access-and-a-call-to-prevent-the-looming-crisis-in-science/

PRINZ, F., SCHLANGE, T., and ASADULLAH, K. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery. 2011. Available from: <http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.