{"id":796,"date":"2014-02-27T10:42:27","date_gmt":"2014-02-27T13:42:27","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=796"},"modified":"2017-02-09T11:47:47","modified_gmt":"2017-02-09T13:47:47","slug":"la-reproducibilidad-en-los-resultados-de-investigacion-la-punta-del-iceberg","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2014\/02\/27\/la-reproducibilidad-en-los-resultados-de-investigacion-la-punta-del-iceberg\/","title":{"rendered":"La reproducibilidad en los resultados de investigaci\u00f3n: la punta del iceberg"},"content":{"rendered":"
\"\"<\/a>

Imagen: Osccarr<\/a><\/p><\/div>\n

En un post publicado anteriormente en este blog, tratamos sobre el tema de la reproducibilidad de los resultados de la investigaci\u00f3n y c\u00f3mo el tema viene ganando escala en la comunidad cient\u00edfica y en la sociedad. La confiabilidad en la investigaci\u00f3n cient\u00edfica puede ser medida por el n\u00famero de art\u00edculos retractados que son publicados cuando se constata fraude o errores de experimentaci\u00f3n o de interpretaci\u00f3n de los resultados. El n\u00famero de retractaciones se multiplic\u00f3 por diez desde 1975, pero la mayor parte se debi\u00f3 a fraude. Como ya se ha mencionado, la falta de reproducibilidad, sin embargo, est\u00e1 subvalorada, pues repetir requiere tiempo, recursos y mano de obra y una buena raz\u00f3n para sospechar de los resultados.<\/p>\n

El desarrollo de nuevos f\u00e1rmacos para tratar enfermedades tiene inicio, en gran parte, en estudios cient\u00edficos llevados a cabo en las instituciones de investigaci\u00f3n en el \u00e1rea cl\u00ednica. Las compa\u00f1\u00edas farmac\u00e9uticas, sin embargo, se encuentran entre los m\u00e1s interesados en la fiabilidad de los resultados, pues a partir de ellos son formulados proyectos de experimentaci\u00f3n y finalmente producen estas drogas, que tienen costos considerables.<\/p>\n

Sin embargo, los estudios realizados por las compa\u00f1\u00edas farmac\u00e9uticas Bayer (Alemania) y Amgen (Estados Unidos) llegaron a la conclusi\u00f3n de que entre el 60 y el 70% de los estudios en el campo de la biomedicina pueden incluir resultados no reproducibles. Un estudio de los ensayos cl\u00ednicos de f\u00e1rmacos potenciales para ciertas enfermedades llevado a cabo en 2011 mostr\u00f3 que la tasa de \u00e9xito de nuevos f\u00e1rmacos en ensayos cl\u00ednicos en la Fase II se redujo del 28% al 18% en los \u00faltimos a\u00f1os, y la causa m\u00e1s frecuente del fracaso es la baja eficiencia de los f\u00e1rmacos probados. Eso apunta a los l\u00edmites de la previsibilidad de los nuevos f\u00e1rmacos para combatir las enfermedades para las que no hab\u00eda indicios de que iban a funcionar. Los f\u00e1rmacos potenciales provienen de diversas fuentes, incluyendo el desarrollo de las propias empresas, pero en su mayor\u00eda de informes de la literatura cient\u00edfica publicada en revistas o incluso presentados en congresos. Es f\u00e1cil imaginar las consecuencias para las compa\u00f1\u00edas farmac\u00e9uticas si los experimentos sobre los que se basan estos estudios no son fiables y reproducibles. La fase de pruebas comprende el cambio de enfoque de \u201cinteresante\u201d para \u201cfactible\/vendible\u201d y probar un medicamento que resultar\u00e1 en un fracaso implica costos de reputaci\u00f3n.<\/p>\n

Es por eso que las compa\u00f1\u00edas farmac\u00e9uticas validan los datos publicados antes de iniciar un proyecto que involucra a los ensayos cl\u00ednicos. Los estudios de Bayer en Alemania sobre la reproducibilidad de los resultados de investigaci\u00f3n de 67 medicamentos potenciales para tratar c\u00e1ncer (47 medicamentos, 70%) enfermedades cardiovasculares (8 medicamentos, 12%) y para la salud de la mujer (12 medicamentos, 18%) resultaron en 43 casos (65%) de inconsistencias, 14 casos (21%) en que los resultados publicados fueron confirmados, 5 casos (7%) en que los datos principales fueron reproducidos, 3 casos (4%) en que algunos resultados fueron confirmados, y 2 casos (3%) se refieren a proyectos cuyos medicamentos hab\u00edan sido desarrollados exclusivamente en las propias compa\u00f1\u00edas. De acuerdo con los investigadores de Amgen en los Estados Unidos, apenas 6 (%) de 53 art\u00edculos sobre oncolog\u00eda cl\u00ednica demostraron ser reproducibles.<\/p>\n

La falta de reproducibilidad de los experimentos publicados, como hemos visto, tiene un papel importante en los fracasos registrados en los proyectos de la industria farmac\u00e9utica basados en los resultados pre cl\u00ednicos. El sistema de evaluaci\u00f3n de los investigadores para su contrataci\u00f3n y proyecci\u00f3n de su carrera, as\u00ed como la obtenci\u00f3n de financiaci\u00f3n de la investigaci\u00f3n se basa en gran medida en las publicaciones, preferentemente con resultados directos y positivos en revistas de alto impacto, en otras palabras \u201cun relato perfecto\u201d. Esta cultura desalienta la publicaci\u00f3n de resultados negativos, o conclusiones alternativas a la tesis propuesta originalmente por el autor, lo que lleva a falsas expectativas en relaci\u00f3n a un nuevo medicamento. Los editores y revisores tiene un papel importante en el cambio de esta cultura, pues deben aumentar el rigor en la evaluaci\u00f3n de los trabajos presentados. Se requerir\u00e1 un gran compromiso de la comunidad acad\u00e9mica para exigir mayor rigor en los experimentos y la descripci\u00f3n m\u00e1s detallada de las condiciones experimentales, que permitan reproducirlos por otros laboratorios. Es interesante notar que los estudios no reproducibles publicados en las revistas con Factor de Impacto (FI) situado en el primer cuartil (mayor que 20) reciben m\u00e1s citaciones que los estudios reproducibles publicados en la misma revista. Esta relaci\u00f3n tambi\u00e9n se observa en las revistas con FI situado en el segundo cuartil (5-19), con una diferencia todav\u00eda m\u00e1s pronunciada, tendiendo a los estudios no reproducibles.<\/p>\n

La terapia gen\u00e9tica, parte de la ciencia llamada gen\u00f3mica, es cuando los fragmentos de ADN se usan como \u201cmedicamentos\u201d para el tratamiento de enfermedades, que normalmente se realiza mediante la incorporaci\u00f3n de esos fragmentos de ADN en los cromosomas de los pacientes, a trav\u00e9s de la expresi\u00f3n de una prote\u00edna codificada por la secuencia de ADN introducida\u00b9. Desde la concepci\u00f3n del t\u00e9rmino en 1972 hasta nuestros d\u00edas, se registraron tratamientos exitosos para enfermedades cong\u00e9nitas (donde el ADN del paciente tiene una o m\u00e1s mutaciones) y algunas formas de c\u00e1ncer.<\/p>\n

La gen\u00f3mica es una disciplina considerada hot topic<\/i>, en consecuencia de naturaleza competitiva, que se publica habitualmente en revistas de alto FI y atrae numerosas citaciones. La gen\u00f3mica se presenta como una perspectiva totalmente innovadora en el tratamiento de muchas enfermedades, pero tambi\u00e9n viene enfrentando el impacto de resultados falsos positivos. Muchas veces, los m\u00e9dicos no capacitados adecuadamente para interpretar resultados de las secuencias de genes de sus pacientes, publican resultados sin el debido rigor, y anuncian observaciones casuales como efectos biol\u00f3gicos comprobados.<\/p>\n

La neurociencia es tambi\u00e9n un \u00e1rea de la ciencia m\u00e9dica que sufre el impacto de la baja reproducibilidad debido al tama\u00f1o reducido de las muestras y la baja significaci\u00f3n estad\u00edstica de los resultados. De acuerdo con los autores de un art\u00edculo de revisi\u00f3n detallado publicado en Nature Reviews Neurosciences\u00b2<\/i>, la mejora de la reproducibilidad depende de principios metodol\u00f3gicos bien establecidos, pero frecuentemente ignorado por los investigadores.<\/p>\n

Los ejemplos anteriores ilustran c\u00f3mo muchas \u00e1reas del conocimiento se enfrentan a una crisis de confiabilidad de los resultados de la investigaci\u00f3n. La toma de conciencia por parte de los investigadores, editores, directores de instituciones de investigaci\u00f3n, agencias de financiaci\u00f3n y la iniciativa privada es la primera etapa en la direcci\u00f3n de la detecci\u00f3n, correcci\u00f3n y prevenci\u00f3n del problema. Un posible cambio de actitud por parte de la comunidad cient\u00edfica en la apreciaci\u00f3n de los resultados positivos y premios por cantidad \u2013 en lugar de la calidad de la producci\u00f3n, podr\u00eda sin duda contribuir a la soluci\u00f3n.<\/p>\n

Notas<\/h3>\n

\u00b9 Wikipedia. Gene Therapy. Available from: http:\/\/en.wikipedia.org\/wiki\/Gene_therapy<\/a><\/p>\n

\u00b2 BUTTON, K. S., et al<\/i>. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience<\/i>. 2013, v. 14, n\u00ba 5, pp. 365-376. doi:10.1038\/nrn3475<\/p>\n

Referencias<\/h3>\n

ARROWSMITH, J. Phase II failures: 2008\u20132010. Nature Reviews Drug Discovery<\/i>. 2011. Available from: <http:\/\/www.nature.com\/nrd\/journal\/v10\/n5\/full\/nrd3439.html<\/a>><\/p>\n

BEGLEY C. G., and ELLIS, L. M. Drug development<\/i>: Raise standards for preclinical cancer research. Nature. 2012. Available from:<http:\/\/www.nature.com\/nature\/journal\/v483\/n7391\/full\/483531a.html<\/a>><\/span><\/p>\n

Declaration recommends eliminate the use of Impact factor for research evaluation<\/i>. SciELO in Perspective. [viewed 31 January 2014]. Available from: http:\/\/blog.scielo.org\/en\/2013\/07\/16\/declaration-recommends-eliminate-the-use-of-impact-factor-for-research-evaluation\/<\/a><\/p>\n

Error prone<\/i>. Editorial. \u00a0Nature. 26 July 2012. doi:10.1038\/487406a<\/p>\n

FANG, F.C., STREEN, R. G., and CASADEVALL, A. Misconduct accounts for the majority of retracted scientific publications. PNAS<\/i>. 2012. Available from: <http:\/\/www.pnas.org\/content\/early\/2012\/09\/27\/1212247109<\/a>><\/p>\n

JOHNSON, G. New Truth That Only One Can See. The New York Times<\/i>. January 20, 2014. Available from:<http:\/\/mobile.nytimes.com\/2014\/01\/21\/science\/new-truths-that-only-one-can-see.html?referrer=<\/a>><\/p>\n

La reproducibilidad en los resultados de investigaci\u00f3n: la mirada subjetiva<\/i>. SciELO en Perspectiva. [viewed 24 February 2014]. Available from: <http:\/\/blog.scielo.org\/es\/2014\/02\/19\/la-reproducibilidad-en-los-resultados-de-investigacion-la-mirada-subjetiva\/<\/a>><\/p>\n

Nature.<\/i> 2012. Available from: <http:\/\/www.nature.com\/nature\/journal\/v483\/n7391\/full\/483531a.html<\/a>><\/p>\n

Open Access and a call to prevent the looming crisis in science<\/i>. SciELO in Perspective. [viewed 31 January 2014]. Available from: http:\/\/blog.scielo.org\/en\/2013\/07\/31\/open-access-and-a-call-to-prevent-the-looming-crisis-in-science\/<\/a><\/p>\n

PRINZ, F., SCHLANGE, T., and ASADULLAH, K. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery<\/i>. 2011. Available from: <http:\/\/www.nature.com\/nrd\/journal\/v10\/n9\/full\/nrd3439-c1.html<\/a>><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

La investigaci\u00f3n sobre los ensayos cl\u00ednicos con potencial medicinal es el fundamento sobre el cual las empresas farmac\u00e9uticas se basan para desarrollar nuevos medicamentos y por lo tanto su confiabilidad es esencial. Sin embargo, los estudios indican que entre el 60-70% de estos estudios pudieran incluir resultados no reproducibles… Es necesario que las partes interesadas tomen conciencia de la magnitud del problema y se unan para encontrar una soluci\u00f3n. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":797,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[7,37,58],"class_list":["post-796","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-comunicacion-cientifica","tag-etica-en-la-comunicacion-cientifica","tag-reproducibilidad"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t