{"id":4587,"date":"2020-08-26T15:30:46","date_gmt":"2020-08-26T18:30:46","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=4587"},"modified":"2020-08-26T15:32:35","modified_gmt":"2020-08-26T18:32:35","slug":"el-camino-hacia-las-pruebas-de-reproducibilidad-es-a-traves-de-informes-registrados","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2020\/08\/26\/el-camino-hacia-las-pruebas-de-reproducibilidad-es-a-traves-de-informes-registrados\/","title":{"rendered":"El camino hacia las pruebas de reproducibilidad es a trav\u00e9s de informes registrados"},"content":{"rendered":"

Por Lilian Cal\u00f2<\/strong><\/p>\n

\"\"<\/a>

Imagen: Chromatograph<\/a>.<\/em><\/p><\/div>\n

Cuando se lanz\u00f3 en 2013, la ambiciosa iniciativa \u201cReproducibility Project: Cancer Biology<\/a><\/em>\u201d pretend\u00eda verificar los resultados de 50 art\u00edculos publicados entre 2010 y 2012 de mayor relevancia e impacto en la investigaci\u00f3n precl\u00ednica sobre biolog\u00eda del c\u00e1ncer. Sin embargo, los primeros resultados publicados a principios de 2017 trajeron m\u00e1s preguntas que respuestas. En el mismo a\u00f1o, el proyecto se redujo a 29 art\u00edculos, y en 2018, se redujo a\u00fan m\u00e1s a 18 art\u00edculos, principalmente por razones presupuestarias, y los resultados de cada experimento de replicaci\u00f3n est\u00e1n lejos de ser simplemente catalogados con exitoso o no exitoso. Muchos estudios se han reproducido \u00edntegramente, a otros se les ha reproducido parte de los experimentos y a otros no, otros afirman que el intento de reproducir los experimentos en ese art\u00edculo han fracasado totalmente, y todav\u00eda hay quienes informan que las r\u00e9plicas arrojaron resultados que no pudieron ser interpretados. Los resultados de todas las r\u00e9plicas est\u00e1n disponibles en una colecci\u00f3n en la revista eLife<\/em><\/a> con un enlace a estudios individuales, acceso abierto.<\/p>\n

Lo que pretend\u00eda ser una simple confirmaci\u00f3n \u2013 o no \u2013 de los resultados de la investigaci\u00f3n mostr\u00f3 que las pruebas de reproducibilidad, para que tengan significado, deben realizarse en las condiciones especificadas por los autores originales. En teor\u00eda, el autor del art\u00edculo sabe, o deber\u00eda saber, qu\u00e9 condiciones experimentales pueden alterar los resultados. De hecho, a veces, los autores encuentran que la luz ambiental, el clima o la presencia de ciertos minerales en el agua pueden interferir con los resultados solo cuando el experimento no se reproduce. Pero no todos los autores e investigadores asignados a la tarea de reproducir un experimento dado est\u00e1n de acuerdo con el concepto mismo de pruebas de reproducibilidad. Hay quienes consideran estos ensayos como una refutaci\u00f3n de la idea original del art\u00edculo, otros encuentran fallas metodol\u00f3gicas en el trabajo de replicaci\u00f3n. El hecho es que en lugar de aceptar el nuevo experimento como trabajo intelectual y utilizar la nueva evidencia para revisar las conclusiones, optan por confrontar. Este comportamiento, seg\u00fan Brian Nosek y Timothy Errington, debe atribuirse a la naturaleza humana y los incentivos acad\u00e9micos, en un art\u00edculo de Nature<\/em><\/a>1<\/sup> que retoma el tema y propone que los investigadores originales y aquellos que pretenden replicar un estudio establezcan un protocolo experimental y establezcan expectativas de antemano.<\/p>\n

Para aprovechar al m\u00e1ximo la replicaci\u00f3n, y evitar ser visto como un acto hostil, en lugar de su verdadera naturaleza, es decir, un paso consecuente y deseable en el proceso cient\u00edfico, es necesario crear las condiciones necesarias para repetir un resultado. Muchos investigadores experimentados admiten no haber intentado reproducir sus propios experimentos en sus laboratorios adecuados, sin que esto signifique que los resultados originales hayan sido invalidados.<\/p>\n

Por lo tanto, el enfoque debe buscar una respuesta precisa en lugar de defender resultados. El hecho de que los investigadores \u201capuesten\u201d por una r\u00e9plica con detalles experimentales relativamente amplios indica su confianza en un resultado generalizado y robusto. Por otro lado, cuanto m\u00e1s restringidas sean las condiciones experimentales, se espera que el resultado2<\/sup> sea menos confiable. Sin embargo, es necesario destacar que una r\u00e9plica de buena fe tendr\u00e1 en cuenta el protocolo experimental del estudio original en sus detalles. Si se especifica, por ejemplo, que la humedad del aire ambiente es relevante en el experimento, esta condici\u00f3n tambi\u00e9n debe observarse en la r\u00e9plica. Esta alineaci\u00f3n de las condiciones establecidas entre los autores originales y los replicadores se denomin\u00f3 compromiso previo (<\/em>precommittment<\/em>).<\/em><\/p>\n

El concepto de alineaci\u00f3n entre el protocolo experimental del original y los estudios de replicaci\u00f3n, de hecho, existe desde 2013 y se denomina Informe Registrado (<\/em>Registered Report)<\/em>. En este sistema, la revisi\u00f3n por pares del art\u00edculo se realiza en dos etapas. Inicialmente, en el Paso 1, los autores presentan la hip\u00f3tesis del art\u00edculo, la revisi\u00f3n bibliogr\u00e1fica, la metodolog\u00eda y los estudios preliminares. Los \u00e1rbitros eval\u00faan la validez de la investigaci\u00f3n a realizar, la justificaci\u00f3n de la hip\u00f3tesis a probar, as\u00ed como la metodolog\u00eda a utilizar. Si se aprueba, esto significa que la investigaci\u00f3n se publicar\u00e1 independientemente de los resultados obtenidos, que incluso pueden ser negativos, contradiciendo la hip\u00f3tesis inicial, si los autores simplemente se adhieren al protocolo propuesto e interpretan los resultados de acuerdo con la evidencia. Es importante se\u00f1alar que tan pronto como se apruebe el manuscrito en el Paso 1, los autores deben depositarlo en un repositorio (por ejemplo, <\/em>Open Science Framework Registered Reports<\/em><\/a>) para acceso p\u00fablico inmediato o bajo embargo temporal hasta la conclusi\u00f3n, aprobaci\u00f3n y publicaci\u00f3n de los resultados. y discusi\u00f3n (manuscrito del Paso 2).<\/p>\n

Nosek y Errington consideran que la infraestructura de informes registrados es perfectamente adecuada para implementar el compromiso previo necesario para los estudios de replicaci\u00f3n. The Reproducibility Project: Cancer Biology<\/em><\/a> utiliz\u00f3, para cada art\u00edculo, un informe registrado que detalla el dise\u00f1o experimental y el protocolo propuesto para las r\u00e9plicas, que fue revisado por pares y publicado antes de la recopilaci\u00f3n de datos. El formato de publicaci\u00f3n que utiliza Informes registrados est\u00e1 disponible actualmente en m\u00e1s de 250 revistas y, por lo tanto, es cada vez m\u00e1s un recurso disponible para implementar estudios de replicaci\u00f3n. Ver ejemplos de Informes Registrados3,4,5<\/sup>, de algunos de los art\u00edculos del Reproducibility Project<\/em>, donde es posible observar la estructura compuesta por Resumen; Introducci\u00f3n; Materiales y m\u00e9todos; Referencias; Carta de decisi\u00f3n del editor; Respuesta del autor; Informaci\u00f3n sobre el art\u00edculo y autores, afiliaci\u00f3n institucional, financiamiento del proyecto de Reproducibilidad y agradecimientos; y m\u00e9tricas.<\/p>\n

La infraestructura, sin embargo, no es el \u00fanico cuello de botella para estudios de replicaci\u00f3n adicionales, sin mencionar el financiamiento, ya que los costos de estos proyectos son considerablemente altos. Los investigadores tienden a considerar los resultados como activos personales, que provienen de sus ideas y trabajo duro, y la reproducci\u00f3n, en cierto modo, se ve como un riesgo de perder una propiedad ‘preciosa’. Con los Informes Registrados, la transparencia de la investigaci\u00f3n aumenta considerablemente y los cient\u00edficos tienen la fuerza para iniciar los experimentos en base a un protocolo preaprobado y validado por los pares, adem\u00e1s de la garant\u00eda de publicar los resultados, aunque sean negativos, controvertidos o contradictorios de lo que se sab\u00eda hasta ahora sobre un tema en particular. El compromiso previo anclado en los Informes Registrados ofrece a los estudios de replicaci\u00f3n la misma base s\u00f3lida y la perspectiva de acordar con los replicadores un protocolo experimental que aumente las posibilidades de reproducibilidad.<\/p>\n

Al reproducir el diagrama de flujo de Nosek y Errington<\/a>1<\/sup>, los estudios de replicaci\u00f3n basados en los informes registrados seguir\u00edan los siguientes pasos:<\/p>\n