Barajar las cartas y volver a repartir

Por Ernesto Spinak

Imagen: 愚木混株 cdd20.

Una vez más volvemos a un viejo tema de la publicación científica, que tiene que ver con la reproducibilidad de los estudios, el pobre rigor de los diseños experimentales, las prácticas de baja calidad de la investigación, sin hablar, por supuesto de datos fabricados, y otras formas de mala conducta científica.

Sobre la frecuencia con la que los científicos fabrican y falsifican datos, o cometen otras formas de mala conducta científica, es motivo de controversia, aunque afortunadamente se ha mantenido en baja proporción en más de una década, con cifras que estiman en rangos menores al 1%.

El problema mayor es la fiabilidad de los resultados experimentales que depende del rigor de diseño y las medidas tomadas para reducir el riesgo de sesgo en las muestras y otras situaciones. Este es un viejo problema que se mantiene, donde por ejemplo en el año 2015, sobre una muestra de 2.671 publicaciones de PubMed, se encontraron que las publicaciones de instituciones del Reino Unido identificadas como productoras de investigación de los más altos estándares tenían, de hecho, un riesgo sustancial de sesgo, con menos de un tercio informando incluso una de las cuatro medidas que podrían haber mejorado la validez de su trabajo (reducir el riesgo de sesgo, controles doble ciego, cálculo del tamaño de la muestra, conflicto de interés).¹

Es preocupante que de más de 1.000 publicaciones de instituciones líderes del Reino Unido, más de dos tercios no informaron ni siquiera uno de los cuatro elementos considerados críticos para reducir el riesgo de sesgo. Más preocupante es que todavía parece haber una falta de compromiso con estos temas entre los encargados de evaluar la calidad de la investigación publicada.

Sin dudas, que ha habido avances importantes en la dirección de la democratización de la ciencia, con el Acceso Abierto, la disponibilidad de los datos originales, los servidores de preprints, etc., pero todavía persisten problemas metodológicos y de reproducibilidad como se plantearon en repetidos artículos recientemente publicados el año pasado 2022, incluyendo prácticas de investigación cuestionables.

Estos artículos ponen el foco del análisis a tres problemas principales (al menos): los problemas de investigaciones bien diseñadas, y la información clara y transparente que se publica. La comunidad científica generalmente cree que la violación de la integridad de la investigación es rara. Basado en esta creencia, el sistema científico no siempre hace el esfuerzo necesario por examinar la confiabilidad de la investigación.

Las prácticas actuales que abordan la posible mala conducta en la investigación tienden a proteger la reputación de los autores y sus instituciones, pero dejan de privilegiar los intereses de los pacientes, los médicos y los investigadores honestos. Eliminar los incentivos inadecuados, capacitar a los investigadores e imponer una mejor gobernanza son vitales para promover buenas conductas en la investigación. La conciencia de la posibilidad de mala conducta y los procedimientos formales que examinan la confiabilidad del estudio son importantes durante la revisión por pares y en las revisiones sistemáticas.

La creciente conciencia de los problemas con la y la integridad de la investigación llevó al Comité de Ciencia y Tecnología del Parlamento del Reino Unido a lanzar, en julio de 2021, una investigación sobre la y la integridad de la investigación. Se reconocieron al menos cuatro razones potenciales por las que los intentos de replicar un hallazgo de investigación pueden no tener éxito:

• análisis estadísticos falsos positivos,
• baja generalización de los hallazgos,
• diseños de estudio subóptimos (integridad de la investigación) y
• malversación deliberada (integridad del investigador).

No viene a mal recordar que buena parte de los problemas de los estudio clínicos adolecen de fallas en los métodos estadísticos.

Los problemas se ven agravados por la falta de capacitación estadística adecuada para los investigadores y la incapacidad de los educadores estadísticos para dar cuenta de las demandas únicas de la investigación preclínica. La solución es volver a lo básico: educación estadística adaptada a investigadores no estadísticos, con una comunicación clara de los conceptos estadísticos y planes de estudio que aborden los problemas de diseño y datos específicos de la investigación preclínica. Los planes de estudios de estadística deben centrarse en la estadística como proceso: muestreo de datos y diseño de estudios antes del análisis y la inferencia. Los experimentos adecuadamente diseñados y analizados son una cuestión de ética tanto como de procedimiento.”²

Una de las motivaciones de la ciencia abierta y sus prácticas es justamente promover la reproducibilidad y confianza. Como dice La Recomendación de la UNESCO sobre la Ciencia Abierta:³

III. VALORES FUNDAMENTALES Y PRINCIPIOS RECTORES DE LA CIENCIA ABIERTA

• Los siguientes principios rectores de la ciencia abierta proporcionan un marco para establecer condiciones y prácticas favorables al respeto de los valores enunciados anteriormente y a la consecución de los ideales de la ciencia abierta:
  1. transparencia, control, crítica y reproducibilidad: se debería promover una mayor apertura en todas las etapas de la actividad científica, con miras a reforzar la solidez y el rigor de los resultados científicos, aumentar la repercusión de la ciencia en la sociedad y mejorar la capacidad de la sociedad en su conjunto para resolver problemas complejos e interconectados. Esta mayor apertura contribuye a aumentar la transparencia y la confianza en la información científica y refuerza la característica fundamental de la ciencia, que es una forma específica de conocimiento basada en pruebas y verificada a la luz de la realidad, la lógica y el control por pares científicos;

Cabe preguntar qué consecuencias tienen estos problemas en la comunicación científica. La cuestión más importante, una premisa inevitable, es que debe haber confianza epistémica dentro de la comunidad científica y también hacia afuera. Un publicación reciente² del Departamento de Filosofía de la Universidad de Ámsterdam comentaba:

Hay dos preguntas al respecto:

(1) ¿Cuál es el contenido de esta confianza, para qué confían los científicos unos en otros?

(2) ¿Se justifica epistémicamente tal confianza?

Se argumenta que si asumimos una respuesta tradicional a (1), a saber, que los científicos confían unos en otros por ser informantes confiables, entonces la respuesta a la pregunta (2) es negativa [no se justifica epistémicamente], y ciertamente no lo es para las ciencias biomédicas y sociales. Esto motiva una interpretación diferente de la confianza entre los científicos y, por lo tanto, una respuesta diferente a (1): los científicos confían entre sí para testificar solo sobre afirmaciones respaldadas por evidencia recopilada de acuerdo con los estándares metodológicos vigentes. Con esta respuesta, la confianza entre los científicos se justifica epistémicamente. (destacado nuestro)

Sin embargo algo no está funcionando bien, porque cuando se analizan las percepciones por los formuladores de políticas a la supuesta “evidencia” científica, un reciente estudio⁴ en Gales muestra la “amplitud y laxitud” de criterios con los que se toma la llamada evidencia. (publicado en el Blog de SciELO en Perspectiva)

Nuestra Reflexión

• El objetivo de la publicación científica no es márketing para el avance de las carreras científicas de los investigadores. Ya se ha comentado antes, pero igual debemos repetirlo: Los expertos han señalado que las estructuras de incentivos actuales en las instituciones de investigación no incentivan lo suficiente a los investigadores para invertir en solidez y transparencia y, en cambio, los incentivan a optimizar su aptitud en la lucha por publicaciones y subvenciones.⁵
• Debería ponerse más acento en la capacitación metodológica de los equipos investigadores.
• La investigación debe estar bien diseñada, llevarse a cabo correctamente y debe informarse de manera clara y transparente. Un modelo de identificación de las áreas que podrían mejorarse que se ofrece como ejemplo, es la llamada Lista de verificación de resultados de calidad y evaluación de contenido⁶ (QuOCCA) El QuOCCA es breve y se enfoca en conceptos ampliamente aplicables y relevantes para la ciencia abierta, de alta calidad, reproducible y bien informada. Dada su naturaleza genérica, QuOCCA podría ser utilizado por otras instituciones e investigadores individuales para evaluar publicaciones de investigación en casi cualquier disciplina de investigación, evaluar cambios en la práctica de investigación a lo largo del tiempo y guiar la discusión sobre ciencia abierta de alta calidad.

Notas

1. MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

2. RIDDER, J. How to trust a scientist. Studies in History and Philosophy of Science [online]. 2022, vol. 93, pp. 11-20 [viewed 07 March 2023]. https://doi.org/10.1016/j.shpsa.2022.02.003. Available from: https://www.sciencedirect.com/science/article/pii/S0039368122000346

3. UNESCO. Recomendação da UNESCO sobre Ciência Aberta [online]. Unesdoc Digital Library. 2022 [viewed 07 March 2023]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000379949_por

4. MACKILLOP, E. and DOWNE, J. Los investigadores que se dedican a la política deben tener en cuenta las diversas percepciones de la evidencia de los formuladores de políticas [Publicado originalmente en el LSE Impact Blog en enero/2023] [online]. SciELO en Perspectiva, 2023 [viewed 07 March 2023]. Available from: https://blog.scielo.org/es/2023/01/19/los-investigadores-que-se-dedican-a-la-politica-deben-tener-en-cuenta-las-diversas-percepciones-de-la-evidencia-de-los-formuladores-de-politicas/

5.HOLST, M.R., FAUST, A., and STRECH, D. Do German university medical centres promote robust and transparent research? A cross-sectional study of institutional policies. Health Res Policy Sys [online]. 2022, vol. 20, no. 39 [viewed 07 March 2023]. https://doi.org/10.1186/s12961-022-00841-2. Available from: https://health-policy-systems.biomedcentral.com/articles/10.1186/s12961-022-00841-2

6. HÉROUX, M.E., et al. Quality Output Checklist and Content Assessment (QuOCCA): a new tool for assessing research quality and reproducibility. BMJ Open [online]. 2022, vol. 12, no. 9 [viewed 07 March 2023]. https://doi.org/10.1136/bmjopen-2022-060976. Available from: https://bmjopen.bmj.com/content/12/9/e060976

Referencias

ELLIS, R.J. Questionable Research Practices, Low Statistical Power, and Other Obstacles to Replicability: Why Preclinical Neuroscience Research Would Benefit from Registered Reports. eNeuro [online]. 2022, vol. 9; no. 4 [viewed 07 March 2023]. https://doi.org/10.1523/eneuro.0017-22.2022. Available from: https://pubmed.ncbi.nlm.nih.gov/35922130/

FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE [online]. 2009, vol. 4, no. 5 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0005738. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

GOPALAKRISHNA, G., et al. Prevalence of questionable research practices, research misconduct and their potential explanatory factors: A survey among academic researchers in The Netherlands. PLoS ONE [online]. 2022, vol. 17, no. 2 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0263023. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0263023

HÉROUX, M.E., et al. Quality Output Checklist and Content Assessment (QuOCCA): a new tool for assessing research quality and reproducibility. BMJ Open [online]. 2022, vol. 12 [viewed 07 March 2023]. http://doi.org/10.1136/bmjopen-2022-060976. Available from: https://bmjopen.bmj.com/content/12/9/e060976.abstract

HOLST, M.R., FAUST, A., and STRECH, D. Do German university medical centres promote robust and transparent research? A cross-sectional study of institutional policies. Health Res Policy Sys [online]. 2022, vol. 20, no. 39 [viewed 07 March 2023]. https://doi.org/10.1186/s12961-022-00841-2. Available from: https://health-policy-systems.biomedcentral.com/articles/10.1186/s12961-022-00841-2

KOUSHOLT, B.S., et al. Reporting quality in preclinical animal experimental research in 2009 and 2018: A nationwide systematic investigation. PLoS ONE [online]. 2022, vol. 17, no. 11 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0275962. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0275962

LI, W., GURRIN, L.C., and MOL., B.W. Violation of research integrity principles occurs more often than we think. Reproductive BioMedicine Online [online]. 2022, vol. 44, no. 2, pp. 207-209 [viewed 07 March 2023]. https://doi.org/10.1016/j.rbmo.2021.11.022. Available from: https://www.sciencedirect.com/science/article/abs/pii/S1472648321005952

MACKILLOP, E. and DOWNE, J. Los investigadores que se dedican a la política deben tener en cuenta las diversas percepciones de la evidencia de los formuladores de políticas [Publicado originalmente en el LSE Impact Blog en enero/2023] [online]. SciELO en Perspectiva, 2023 [viewed 07 March 2023]. Available from: https://blog.scielo.org/es/2023/01/19/los-investigadores-que-se-dedican-a-la-politica-deben-tener-en-cuenta-las-diversas-percepciones-de-la-evidencia-de-los-formuladores-de-politicas/. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273

MACLEOD, M.R., et al. Risk of Bias in Reports of In Vivo Research: A Focus for Improvement. PLoS Biol [online].2015, vol. 13, no. 10, e1002273 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pbio.1002273. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273

NUNAMAKER, E.A. and REYNOLDS, P.S. ‘Invisible actors’—How poor methodology reporting compromises mouse models of oncology: A cross-sectional survey. PLoS ONE [online]. 2022, vol. 17, no. 10 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0274738. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0274738

PARKER, L., et al. Experts identified warning signs of fraudulent research: a qualitative study to inform a screening tool. Journal of Clinical Epidemiology [online]. 2022, vol. 151, pp. 1-17 [viewed 07 March 2023]. https://doi.org/10.1016/j.jclinepi.2022.07.006. Available from: https://www.sciencedirect.com/science/article/abs/pii/S0895435622001792

REYNOLDS, P.S. Between two stools: preclinical research, reproducibility, and statistical design of experiments. BMC Res Notes [online]. 2022, vol. 15, no. 73 [viewed 07 March 2023]. https://doi.org/10.1186/s13104-022-05965-w. Available from: https://www.sciencedirect.com/science/article/abs/pii/S1472648321005952

RIDDER, J. How to trust a scientist. Studies in History and Philosophy of Science [online]. 2022, vol. 93, pp. 11-20 [viewed 07 March 2023]. https://doi.org/10.1016/j.shpsa.2022.02.003. Available from: https://www.sciencedirect.com/science/article/pii/S0039368122000346

SCANNELL, J.W., and BOSLEY, J. When Quality Beats Quantity: Decision Theory, Drug Discovery, and the Reproducibility Crisis. PLoS ONE [online]. 2016, vol. 11, no. 2 [viewed 07 March 2023]. https://doi.org/10.1371/journal.pone.0147215. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147215

SIMON-TILLAUX, N., et al. A methodological review with meta-epidemiological analysis of preclinical systematic reviews with meta-analyses. Sci Rep [online]. 2022, vol. 12, 20066 [viewed 07 March 2023]. https://doi.org/10.1038/s41598-022-24447-4. Available from: https://www.nature.com/articles/s41598-022-24447-4

UNESCO. Recomendação da UNESCO sobre Ciência Aberta [online]. Unesdoc Digital Library. 2022 [viewed 07 March 2023]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000379949_por

Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información" pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

See Full Bio