El camino hacia las pruebas de reproducibilidad es a través de informes registrados

Por Lilian Calò

Imagen: Chromatograph.

Cuando se lanzó en 2013, la ambiciosa iniciativa “Reproducibility Project: Cancer Biology” pretendía verificar los resultados de 50 artículos publicados entre 2010 y 2012 de mayor relevancia e impacto en la investigación preclínica sobre biología del cáncer. Sin embargo, los primeros resultados publicados a principios de 2017 trajeron más preguntas que respuestas. En el mismo año, el proyecto se redujo a 29 artículos, y en 2018, se redujo aún más a 18 artículos, principalmente por razones presupuestarias, y los resultados de cada experimento de replicación están lejos de ser simplemente catalogados con exitoso o no exitoso. Muchos estudios se han reproducido íntegramente, a otros se les ha reproducido parte de los experimentos y a otros no, otros afirman que el intento de reproducir los experimentos en ese artículo han fracasado totalmente, y todavía hay quienes informan que las réplicas arrojaron resultados que no pudieron ser interpretados. Los resultados de todas las réplicas están disponibles en una colección en la revista eLife con un enlace a estudios individuales, acceso abierto.

Lo que pretendía ser una simple confirmación – o no – de los resultados de la investigación mostró que las pruebas de reproducibilidad, para que tengan significado, deben realizarse en las condiciones especificadas por los autores originales. En teoría, el autor del artículo sabe, o debería saber, qué condiciones experimentales pueden alterar los resultados. De hecho, a veces, los autores encuentran que la luz ambiental, el clima o la presencia de ciertos minerales en el agua pueden interferir con los resultados solo cuando el experimento no se reproduce. Pero no todos los autores e investigadores asignados a la tarea de reproducir un experimento dado están de acuerdo con el concepto mismo de pruebas de reproducibilidad. Hay quienes consideran estos ensayos como una refutación de la idea original del artículo, otros encuentran fallas metodológicas en el trabajo de replicación. El hecho es que en lugar de aceptar el nuevo experimento como trabajo intelectual y utilizar la nueva evidencia para revisar las conclusiones, optan por confrontar. Este comportamiento, según Brian Nosek y Timothy Errington, debe atribuirse a la naturaleza humana y los incentivos académicos, en un artículo de Nature¹ que retoma el tema y propone que los investigadores originales y aquellos que pretenden replicar un estudio establezcan un protocolo experimental y establezcan expectativas de antemano.

Para aprovechar al máximo la replicación, y evitar ser visto como un acto hostil, en lugar de su verdadera naturaleza, es decir, un paso consecuente y deseable en el proceso científico, es necesario crear las condiciones necesarias para repetir un resultado. Muchos investigadores experimentados admiten no haber intentado reproducir sus propios experimentos en sus laboratorios adecuados, sin que esto signifique que los resultados originales hayan sido invalidados.

Por lo tanto, el enfoque debe buscar una respuesta precisa en lugar de defender resultados. El hecho de que los investigadores “apuesten” por una réplica con detalles experimentales relativamente amplios indica su confianza en un resultado generalizado y robusto. Por otro lado, cuanto más restringidas sean las condiciones experimentales, se espera que el resultado² sea menos confiable. Sin embargo, es necesario destacar que una réplica de buena fe tendrá en cuenta el protocolo experimental del estudio original en sus detalles. Si se especifica, por ejemplo, que la humedad del aire ambiente es relevante en el experimento, esta condición también debe observarse en la réplica. Esta alineación de las condiciones establecidas entre los autores originales y los replicadores se denominó compromiso previo (precommittment).

El concepto de alineación entre el protocolo experimental del original y los estudios de replicación, de hecho, existe desde 2013 y se denomina Informe Registrado (Registered Report). En este sistema, la revisión por pares del artículo se realiza en dos etapas. Inicialmente, en el Paso 1, los autores presentan la hipótesis del artículo, la revisión bibliográfica, la metodología y los estudios preliminares. Los árbitros evalúan la validez de la investigación a realizar, la justificación de la hipótesis a probar, así como la metodología a utilizar. Si se aprueba, esto significa que la investigación se publicará independientemente de los resultados obtenidos, que incluso pueden ser negativos, contradiciendo la hipótesis inicial, si los autores simplemente se adhieren al protocolo propuesto e interpretan los resultados de acuerdo con la evidencia. Es importante señalar que tan pronto como se apruebe el manuscrito en el Paso 1, los autores deben depositarlo en un repositorio (por ejemplo, Open Science Framework Registered Reports) para acceso público inmediato o bajo embargo temporal hasta la conclusión, aprobación y publicación de los resultados. y discusión (manuscrito del Paso 2).

Nosek y Errington consideran que la infraestructura de informes registrados es perfectamente adecuada para implementar el compromiso previo necesario para los estudios de replicación. The Reproducibility Project: Cancer Biology utilizó, para cada artículo, un informe registrado que detalla el diseño experimental y el protocolo propuesto para las réplicas, que fue revisado por pares y publicado antes de la recopilación de datos. El formato de publicación que utiliza Informes registrados está disponible actualmente en más de 250 revistas y, por lo tanto, es cada vez más un recurso disponible para implementar estudios de replicación. Ver ejemplos de Informes Registrados^3,4,5, de algunos de los artículos del Reproducibility Project, donde es posible observar la estructura compuesta por Resumen; Introducción; Materiales y métodos; Referencias; Carta de decisión del editor; Respuesta del autor; Información sobre el artículo y autores, afiliación institucional, financiamiento del proyecto de Reproducibilidad y agradecimientos; y métricas.

La infraestructura, sin embargo, no es el único cuello de botella para estudios de replicación adicionales, sin mencionar el financiamiento, ya que los costos de estos proyectos son considerablemente altos. Los investigadores tienden a considerar los resultados como activos personales, que provienen de sus ideas y trabajo duro, y la reproducción, en cierto modo, se ve como un riesgo de perder una propiedad ‘preciosa’. Con los Informes Registrados, la transparencia de la investigación aumenta considerablemente y los científicos tienen la fuerza para iniciar los experimentos en base a un protocolo preaprobado y validado por los pares, además de la garantía de publicar los resultados, aunque sean negativos, controvertidos o contradictorios de lo que se sabía hasta ahora sobre un tema en particular. El compromiso previo anclado en los Informes Registrados ofrece a los estudios de replicación la misma base sólida y la perspectiva de acordar con los replicadores un protocolo experimental que aumente las posibilidades de reproducibilidad.

Al reproducir el diagrama de flujo de Nosek y Errington¹, los estudios de replicación basados en los informes registrados seguirían los siguientes pasos:

• Artículo original publicado >> Preparación para replicar >> Replicadores y autores originales acuerdan un protocolo experimental que debería generar resultados significativos >> SÍ: Compromiso previo >> Declaraciones y métodos revisados publicados como Informes registrados >> Replicación >> Generación de hipótesis para el trabajo futuro >> Avanzando en el conocimiento
• Artículo original publicado >> Preparación para replicar >> Replicadores y autores originales acuerdan un protocolo experimental que debe generar resultados significativos >> NO: Status quo >> Replicación >> Confrontación >> Punto muerto

Creo que no debería tardar el día en que las instituciones de investigación, los editores de revistas y las agencias de financiación empiecen a exigir indicadores de reproducibilidad en la evaluación de la producción científica de los investigadores, al igual que ahora contamos el número de publicaciones para evaluar, al revés de su impacto. Debemos estar preparados.

Notas

1. NOSEK, B.A. and ERRINGTON, T.M. 2020. The best time to argue about what a replication means? Before you do it. Nature [online]. 2020, vol. 583, no. 7817, pp. 518-520 [viewed in 26 August 2020]. DOI: 10.1038/d41586-020-02142-6. Available from: https://www.nature.com/articles/d41586-020-02142-6

2. Nosek y Errington citan como ejemplo un estudio que muestra que el ejercicio físico regular fortalece la memoria. Al discutir un protocolo para reproducir el estudio, los autores insisten en restringir la definición de “ejercicio regular” a correr, pero no a andar en bicicleta, además de reducir la edad de las personas a menos de 35 años y las pruebas de memoria se administran solo en período nocturno. Si las condiciones son tan específicas, la pregunta sigue siendo si los propios autores consideran que sus propios resultados son reproducibles.

3. PHELPS, M. Registered report: Coding-independent regulation of the tumor suppressor PTEN by competing endogenous mRNAs. eLife [online]. 2016, vol. 5, e12470 [viewed in 26 August 2020]. DOI: 10.7554/eLife.12470. Available from: https://elifesciences.org/articles/12470

4. SHARMA, V., et. al. Registered report: Diverse somatic mutation patterns and pathway alterations in human cancers. eLife [online]. 2016, vol. 5, e11566 [viewed in 26 August 2020]. DOI: 10.7554/eLife.11566. Available from: https://elifesciences.org/articles/11566

5. RICHARDSON, A.D., et al. Registered report: IDH mutation impairs histone demethylation and results in a block to cell differentiation. 2016, vol. 5, e10860 [viewed in 26 August 2020]. DOI: 10.7554/eLife.10860. Available from: https://elifesciences.org/articles/10860

Referencias

CHAMBERS, C. What’s next for Registered Reports? Nature [online]. 2019, vol. 573, no. 7773, pp. 187-189 [viewed in 26 August 2020]. DOI: 10.1038/d41586-019-02674-6. Available from: https://www.nature.com/articles/d41586-019-02674-6

KAISER, J. 2018. Plan to replicate 50 high-impact cancer papers shrinks to just 18 [online]. Science Magazine. 2018 [viewed in 26 August 2020]. DOI: 10.1126/science.aau9619. Available from: https://www.sciencemag.org/news/2018/07/plan-replicate-50-high-impact-cancer-papers-shrinks-just-18

NASSI-CALÒ, L. La evaluación sobre la reproducibilidad de los resultados de investigación trae más preguntas que respuestas [online]. SciELO en Perspectiva, 2017 [viewed 26 August 2020]. Available from: https://blog.scielo.org/es/2017/02/08/la-evaluacion-sobre-la-reproducibilidad-de-los-resultados-de-investigacion-trae-mas-preguntas-que-respuestas/

NOSEK, B.A. and ERRINGTON, T.M. 2020. The best time to argue about what a replication means? Before you do it. Nature [online]. 2020, vol. 583, no. 7817, pp. 518-520 [viewed in 26 August 2020]. DOI: 10.1038/d41586-020-02142-6. Available from: https://www.nature.com/articles/d41586-020-02142-6

PHELPS, M. Registered report: Coding-independent regulation of the tumor suppressor PTEN by competing endogenous mRNAs. eLife [online]. 2016, vol. 5, e12470 [viewed in 26 August 2020]. DOI: 10.7554/eLife.12470. Available from: https://elifesciences.org/articles/12470

RICHARDSON, A.D., et al. Registered report: IDH mutation impairs histone demethylation and results in a block to cell differentiation. 2016, vol. 5, e10860 [viewed in 26 August 2020]. DOI: 10.7554/eLife.10860. Available from: https://elifesciences.org/articles/10860

SHARMA, V., et. al. Registered report: Diverse somatic mutation patterns and pathway alterations in human cancers. eLife [online]. 2016, vol. 5, e11566 [viewed in 26 August 2020]. DOI: 10.7554/eLife.11566. Available from: https://elifesciences.org/articles/11566

Enlaces externos

eLife – Reproducibility Project: Cancer Biology <https://elifesciences.org/collections/9b1e83d1/reproducibility-project-cancer-biology>

Reproducibility Initiative <http://validation.scienceexchange.com/#/reproducibility-initiative

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.