Revista DADOS crea editoría especializada en replicabilidad

Por Bruno Schaefer, Luiz Augusto Campos y Marcia Rangel Cándido

1. Introducción

Imagen: Swapnil Sharma.

A partir de este año, la revista DADOS contará con un editor creado específicamente para abordar cuestiones de replicabilidad de sus artículos. Desde su fundación en 1966, la publicación ha construido su nombre sobre el compromiso de producir información objetiva y válida sobre el mundo social. Este compromiso supuso una ruptura con el ensayismo en favor de una visión más sistemática de la investigación, lo que determinó la difusión de manuscritos fuertemente sustentados en evidencia empírica.

Continuando con la tradición de innovación, DADOS, junto con otras revistas brasileñas e internacionales, está viviendo una revolución en el mundo científico, postulada por el movimiento de ciencia abierta, que, entre otras cosas, tiene que ver con los procesos de disponibilidad y replicación de datos. Para estar al día con los cambios recientes, adoptamos un Consejo Editorial de Replicabilidad, ahora encabezado por el profesor del Instituto de Estudios Sociales y Políticos de la Universidade do Estado do Rio de Janeiro (UERJ), el politólogo Bruno Schaefer.

Este texto se divide en siete secciones y analiza la importancia de la replicabilidad en las ciencias sociales; el concepto de replicabilidad que utilizamos en el proceso editorial de DADOS; las diferencias en replicabilidad entre investigación cuantitativa y cualitativa; experiencias internacionales y nacionales sobre el tema; las cuestiones éticas involucradas en la replicabilidad; y, finalmente, los impactos en el flujo de trabajo y gestión de envíos a la revista.

2. ¿Qué significa replicabilidad y por qué es importante?

Desde hace casi dos décadas, el debate sobre la “crisis de replicabilidad” es un espectro que rodea la práctica científica, ya sea en las ciencias “más duras” (química, física, biología) o en las ciencias sociales (psicología, economía, ciencias políticas, sociología, entre otras). El artículo de Ioannidis, Why Most Published Research Findings Are False¹, publicado en 2005, postuló que la mayoría de los estudios aleatorios en el campo de la epidemiología tienen resultados falsos, ya que no son replicables. Este hallazgo implicó principalmente la observación de dos problemas: investigaciones con un bajo número de casos analizados y sesgos de significación estadística. Fue, por tanto, la recurrencia de encuestas con poca evidencia empírica y que “exageraron demasiado” a alcanzar un valor p inferior al 5%, criterio de fiabilidad. En el campo de la psicología, un esfuerzo por replicar 100 experimentos que presuponían inferencias causales logró encontrar los mismos resultados en menos de la mitad de ellos. En Ciencia Política, el artículo reciente Transparencia y Replicación en la Ciencia Política Brasileña: Una Primera Mirada ² publicado en DADOS indicó un desempeño aún peor de la producción brasileña. De un corpus con 197 artículos con algún tipo de análisis cuantitativo, sólo el 28% de sus respectivos autores aceptaron compartir los datos y códigos, de los cuales sólo se pudo intentar replicar el 14%, con un 5% de éxito. Los problemas más comunes en el proceso de replicación involucraron la ausencia de alguna rutina computacional (script), problemas con los resultados y problemas con los datos.

Antes de analizar qué hay detrás de esta “crisis de replicabilidad”, es importante entender qué significa el concepto. Para Janz (2016), replicación significa: “Proceso mediante el cual los hallazgos de un artículo publicado se vuelven a analizar para confirmar, avanzar o cuestionar los resultados originales”³ (Traducción libre). Para King (1995), replicabilidad significa: “(…) que existe información suficiente para comprender, evaluar y desarrollar trabajos previos, si un tercero puede replicar los resultados sin ninguna información adicional del autor”⁴ (Traducción libre).

A pesar de las diferencias entre los autores, un punto en común es la idea de que la investigación replicable es aquella que proporciona claramente el proceso de recolección, procesamiento y análisis de datos, de modo que un tercero pueda seguir el mismo camino y encontrar resultados similares, ya sea analizando el mismo material empírico (base de datos, por ejemplo), o aplicar el diseño de investigación a otros casos.

Figueiredo Filho, et al. (2019)⁵ postulan siete razones para tomar en serio la replicabilidad en Ciencias Sociales:

• La disponibilidad de datos previene errores y malas conductas. En el primer caso, los investigadores pueden cometer errores en el proceso de análisis de datos que serán corregidos, ya que el material empírico y las técnicas de análisis están ampliamente disponibles para los árbitros y la comunidad científica. En el segundo caso, tomar en serio la replicación permite identificar malas conductas (invención de datos, p-hacking, entre otros fraudes);
• Pensar en la investigación basada en patrones de replicación facilita la realización del análisis en sí. Cuando sabemos que nuestros análisis pueden replicarse, hacemos un esfuerzo adicional para aclarar nuestras ideas y elecciones;
• La replicación facilita el proceso de evaluación del trabajo. Sin alguna posibilidad de replicación, nos vemos obligados a confiar ciegamente en lo que está escrito, lo que limita mucho la evaluación;
• Los materiales replicables ayudan en la acumulación de conocimiento y desarrollo del campo científico. Además de que la propia replicación proporciona una mayor validación de los descubrimientos científicos, garantiza la accesibilidad a pruebas y bases de datos que antes eran completamente inaccesibles para un público más amplio;
• La replicabilidad aumenta la reputación de los investigadores;
• Proporcionar material de investigación ayuda en el proceso de aprendizaje y formación de nuevos investigadores;
• La replicabilidad aumenta el impacto del trabajo. Los artículos que publican sus bases de datos tienen más citas que los artículos que no lo hacen (Christensen, et al. 2019).⁶

3. Replicabilidad, reproducción y transparencia

El concepto de replicabilidad se utiliza a menudo como sinónimo de otras prácticas igualmente importantes: como la reproducibilidad o la transparencia, que pueden generar confusión y ruido. La transparencia es un concepto más amplio, que implica comunicar de manera clara y abierta cómo se llevaron a cabo los procedimientos de investigación, cómo se da el camino entre la pregunta de investigación y los resultados encontrados. En este sentido, la idea de transparencia dialoga con el movimiento de ciencia abierta: “el amplio acceso a las fuentes de conocimiento involucradas y producidas por la investigación apunta a maximizar la razón de ser de la ciencia como empresa cooperativa cultural y social.”⁷ Ser transparente implica habilidades de comunicación. La reproducción, o reproducibilidad, a su vez, comprende la provisión de investigaciones paso a paso, generalmente guiones o rutinas computacionales que posibilitan la reproducción de la obra. Un trabajo reproducible es aquel en el que el reanálisis de los mismos datos utilizando los mismos métodos produciría los mismos resultados.

La investigación sólo puede ser replicable si es transparente, del mismo modo que la investigación es reproducible si es replicable. El concepto implica la necesidad de claridad en el proceso de producción de conocimiento, que puede o no ser reproducible en base a rutinas computacionales. En otras palabras, toda investigación replicable es transparente, pero no necesariamente reproducible en sentido estricto, ya que puede utilizar métodos de recolección y análisis de datos que no son directamente reproducibles (etnografía y otros métodos cualitativos), o no utilizan rutinas computacionales (scripts). El concepto de replicabilidad también es más amplio y subyace a la idea de que el mismo diseño de investigación puede usarse para otro material empírico.

Gran parte de la “crisis de replicabilidad” implica precisamente la imposibilidad de replicar experimentos en otros contextos. Por ejemplo, realizar un experimento con estudiantes universitarios que encuentre resultados positivos para la hipótesis de que las personas tienden a obedecer ciegamente a las autoridades (el experimento de Milgram) debería ser replicable en otro contexto (otros estudiantes y otra universidad).

En DADOS adoptamos como concepto de replicabilidad la idea de que la investigación debe ser clara y transparente en cuanto al paso a paso metodológico (camino entre problema y respuestas), poner a disposición todos los datos necesarios para que se encuentren los mismos resultados y, cuando sea posible, compartir rutinas computacionales que faciliten la reproducción de los hallazgos.

4. Replicabilidad en la investigación cuantitativa y cualitativa

El debate sobre replicabilidad y reproducibilidad es bastante rico y no pretendemos cubrirlo todo aquí. El punto que nos gustaría resaltar es que a menudo, en las ciencias sociales, podemos abordar problemas que no son directamente replicables. El debate entre investigación cualitativa y cuantitativa da sustancia a esta cuestión. A mediados de los años 90, King, Kehone & Verba (en adelante KKV) publicaron un libro fundamental sobre metodología en ciencias sociales, Design Social Inquiry: scientific inference in qualitative research.⁸ El argumento defendido por los autores es que el objetivo de las ciencias sociales sería construir inferencias válidas, descriptivas o explicativas, y la investigación cualitativa y cuantitativa tendría esta misma lógica. La esencia de la ciencia sería el método, no los temas tratados.

En este sentido, los partidarios del enfoque cualitativo deberían prestar atención al uso de estrategias metodológicas, ya utilizadas por los cuantitativistas (especialmente importadas de la estadística), que sean capaces de construir inferencias válidas. Entre la descripción de un fenómeno y la búsqueda de una o más causas, la investigación debe centrarse en la búsqueda de causalidad(es). Para los autores, la inferencia se refiere, por tanto, al proceso en el que utilizamos información conocida (y disponible) para conocer información desconocida (y no disponible).

Las críticas a la propuesta del KKV vinieron de varios frentes. Brady y Collier (2004), por ejemplo, en Rethinking Social Inquiry: Diverse Tools, Shared Standards⁹ atacan la noción de KKV de que la estructura del enfoque cuantitativo sería la única posibilidad de lograr inferencias válidas o un estándar de cientificidad. Para Haverland y Yanow (2012), entre otros, también sería necesario hacer una distinción entre métodos y metodología. Según estos últimos autores, la confusión entre términos tiende a ocurrir en numerosas ocasiones, lo que afecta la construcción de la investigación y el análisis de los resultados. Mientras que el método se refiere a las herramientas y técnicas utilizadas en una obra, la metodología se refiere a un nivel más integral, que concierne a las construcciones ontológicas y epistemológicas que guían la adopción de un método u otro. Precisamente en este punto se haría necesario diferenciar la construcción de conocimiento propuesta por enfoques cuantitativos o cualitativos. Mientras que para los investigadores guiados por un diseño cuantitativo la cuestión principal sería “explicar” un determinado fenómeno, a grandes rasgos, el efecto de X¹ y X² sobre Y; los investigadores guiados por un diseño de investigación cualitativo tienden a centrarse en la interpretación y el significado de ciertos resultados.

En A Tale of Two Cultures: qualitative and quantitative research in social sciences,¹⁰ Goertz y Mahoney (2012) proponen una posible integración entre la investigación cualitativa y cuantitativa. Para los autores, es necesario considerar que estos enfoques provienen de posiciones epistemológicas diferentes. La investigación cuantitativa se basa en una epistemología objetivista (sin mencionar el término positivismo, que se utiliza incorrectamente la mayor parte del tiempo), mientras que la investigación cualitativa se basa en una epistemología constructivista o interpretativista. Esta diferencia sería incluso matemática, considerando que los primeros se basarían en la estadística y la probabilidad, mientras que los segundos en la lógica y la teoría de conjuntos. Dentro de estos enfoques, o “culturas”, todavía habría divisiones: la investigación cuantitativa interesada en hacer inferencias causales o descriptivas (el avance de la informática y el aprendizaje automático, entre otros); y “Qualitativistas” centrados en la interpretación y producción de significado (con Q mayúscula) o que están trabajando con métodos cualitativos guiados por la epistemología objetivista, como QCA, process tracing, entre otros.

Las distinciones antes mencionadas son de interés aquí ya que se relacionan con el debate sobre la replicabilidad. Los estudios cuantitativos suelen ser más replicables porque, idealmente, utilizan bases de datos estructuradas, rutinas computacionales y métodos de análisis que pueden reproducirse, así como ampliarse. La investigación cualitativa que utiliza métodos como el QCA o el seguimiento de procesos sigue patrones similares. Ahora bien, otras técnicas y métodos son por naturaleza no reproducibles. ¿Cómo rehacer una etnografía? ¿Retroceder en el tiempo y observar, con los mismos ojos, el mismo fenómeno? De esta manera, en DADOS adoptamos como estándar en la investigación cualitativa realizada con base en la epistemología interpretativa, la idea de que los autores deben ser lo más transparentes posible en la descripción de sus métodos, y es deseable que, junto con los artículos, envíen información metodológica. anexos que pueden publicarse: videos, transcripciones y grabaciones de entrevistas, diarios de campo, entre otros.

La disponibilidad de estos materiales provenientes de la investigación cualitativa cumple dos funciones adicionales. En primer lugar, garantiza que haya información complementaria disponible más allá de los límites cada vez más limitados de un artículo académico. En segundo lugar, ayuda a preservar datos de investigaciones calificadas que a menudo se pierden encerrados en archivos personales o restringidos. Por todas estas razones, DADOS recomienda encarecidamente la disponibilidad de evidencia proveniente de investigaciones cualitativas (transcripciones de entrevistas, videos, grabaciones, codificación utilizada para el análisis de contenido, diarios de campo, entre otros).

5. Experiencias Nacionales e Internacionales

Aunque la “crisis de replicabilidad” ha llamado la atención de científicos de todo el mundo, las políticas editoriales que realmente fomentan una mayor transparencia, replicación y reproducibilidad son minoritarias en las ciencias sociales. En el período reciente, ha habido avances en los esfuerzos por hacer que los datos estén disponibles y en la adhesión de las revistas al movimiento de ciencia abierta. En ciencia política y sociología, principales áreas de actividad de DADOS, es posible identificar un marcado avance en revistas con mayor factor de impacto, caracterizado por la institución de políticas de replicabilidad en casos como Political Analysis, la American Political Science Review, la American Journal of Political Science y la Sociological Methods & Research. El British Journal of Political Science, por ejemplo, empezó a exigir que los autores depositaran sus datos, el libro de códigos, la rutina computacional y las tablas, gráficos y figuras que generaban los análisis.

En el contexto nacional, la Brazilian Political Science Review fue pionera en poner a disposición los datos de los artículos en el repositorio Dataverse y, más recientemente, adhirió a un proceso de curación de datos: son reproducidos por los editores de la revista y, una vez obtenidos los mismos resultados, el artículo es publicado.

En un sentido más amplio, iniciativas como la Rede Brasileira de Reprodutibilidade (RBR) buscan reunir diferentes organizaciones y áreas de conocimiento: “(…) promover la ciencia rigurosa, confiable y transparente en Brasil”.¹¹ La creación de un repositorio de datos brasileño, Lattes Data, también demuestra un paso importante.

6. Cuestiones éticas de replicabilidad

La búsqueda de replicabilidad aborda importantes cuestiones éticas, que van desde controlar las malas prácticas científicas hasta poner información valiosa a disposición de la sociedad, que muchas veces la financia con recursos públicos. Pero dependiendo de la naturaleza de los datos, la replicabilidad puede plantear problemas éticos, que casi siempre tienen que ver con el riesgo de identificación directa o indirecta de los individuos u organizaciones que son el foco de la investigación.

La identificación directa ocurre cuando elementos de la identidad de un individuo u organización se incluyen explícitamente en las bases de datos enviadas para replicación. Esto no siempre es un problema, al contrario. Figuras públicas como políticos y servidores públicos hacen públicos muchos de sus datos personales precisamente para que exista un mayor control civil sobre sus actividades. Sin embargo, no ocurre lo mismo con todos. Hay sujetos cuya exposición es sensible, como menores de edad o personas en conflicto con la ley. En tales casos, las bases de datos o las pruebas suelen ser desidentificadas, ya sea eliminando o modificando variables de identificación (nombre, CPF, dirección, etc.).

La identificación indirecta, a su vez, puede ocurrir cuando datos no identificados todavía permiten un conocimiento detallado de los casos. Esto puede ocurrir en bases de datos que recopilan mucha información sobre casos específicos. Aunque no conozca ningún dato personal sobre un caso determinado, puedo localizarlo en el mundo porque la base de datos disponible contiene mucha información indirecta (raza, género, región, educación, edad, etc.). Aunque más difíciles de evaluar, estos casos deben ser juzgados conjuntamente por autores y editores, para garantizar una mayor replicabilidad sin exponer a ningún riesgo a las poblaciones estudiadas.

7. Editoría sobre replicabilidad de datos

Habiendo considerado los aspectos conceptuales y cíclicos, en esta sección describimos cómo funcionará la Editoría de Replicabilidad de DADOS. Es importante comenzar resaltando que la creación de dicha función está en línea con iniciativas recientes para modernizar la revista, que se ha sumado al movimiento de ciencia abierta, comenzando a recibir envíos de preprints y exigiendo el envío de bases de datos para fomentar la transparencia en las evaluaciones de las investigaciones. Además, también hemos mejorado las acciones de divulgación científica e instituido políticas para promover la diversidad y la igualdad de género y racial entre revisores y autores.

En términos generales, la revista ya cuenta en sus reglas de envío con lineamientos para que los investigadores envíen sus materiales de investigación detallados, sus rutinas computacionales y otra información al momento de enviar el manuscrito para evaluación. Esto facilita el trabajo de verificación preliminar por parte de los editores y revisores que, sin embargo, no tienen las mismas responsabilidades que un editor de replicabilidad. DADOS tiene una página en el portal Dataverse, que solo publicará lo que, luego de la aprobación en la revisión documental y la revisión por pares, sea autorizado por el editor de replicabilidad.

El principal cambio, por lo tanto, es que la revista ahora cuenta con una dirección específica para curar la evidencia científica presentada en los manuscritos. Esto significa que, incluso si son aceptados, los artículos solo se publicarán cuando el editor de replicabilidad determine que su material de análisis es reproducible. El proceso desde el envío hasta la publicación será el siguiente:

1. Envío del artículo (en formato preprint o tradicional);
2. Revisión documental;
3. Designación de revisores;
4. Comentarios y respuestas de los autores a opiniones;
5. Aprobación (o no);
6. Curación de datos (replicación de los hallazgos de los artículos por parte de los editores y asistentes de la revista), que implicará la comunicación entre los autores y la revista;
7. Publicación del artículo y disponibilidad de datos en el repositorio de Dataverse.

La acción tiene como objetivo garantizar mayor seguridad y rigor en los hallazgos que difundimos, contribuir de manera más amplia al proceso de construcción de conocimiento en ciencias sociales, así como alinear las prácticas editoriales de DADOS con estándares de replicabilidad nacionales e internacionales de vanguardia. De esta forma, siguiendo el paradigma de una ciencia abierta. En medio de la rápida transformación del trabajo científico y de los instrumentos de comunicación con la llegada de diversos recursos de inteligencia artificial, la promoción de la transparencia es cada vez más necesaria y beneficiosa para los intercambios entre la comunidad académica y el público en general, y también puede ser una herramienta que mejore la confianza en la ciencia.

Notas

1. IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLOS Medicine [online]. 2005, vol. 2, no. 8, e124. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

2. AVELINO, G., DESPOSATO, S. and MARDEGAN, I. Transparency and Replication in Brazilian Political Science: A First Look. Dados rev. ciênc. sociais [online].  2021, vol. 64, no. 3, e20190304 [viewed 20 October 2023]. https://doi.org/10.1590/dados.2021.64.3.242. Available from: https://www.scielo.br/j/dados/a/4pMrxZVYv4pXypfGrRr55Nx/

3. JANZ, N. Bringing the Gold Standard into the Classroom: Replication in University Teaching. International Studies Perspectives [online]. 2016, vol. 17, no. 4, pp. 392–407 [viewed 20 October 2023]. https://doi.org/10.1111/insp.12104. Available from: https://academic.oup.com/isp/article-abstract/17/4/392/2528285?redirectedFrom=fulltext

4. KING, G. Replication, Replication. PS: Political Science & Politics [online]. 1995, vol. 28, no. 3, pp. 444-452 [viewed 20 October 2023]. https://doi.org/10.2307/420301. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357

5. FIGUEIREDO FILHO, D. et al. Seven Reasons Why: A User’s Guide to Transparency and Reproducibility. Bras. Political Sci. Rev.  [online]. 2019, vol. 13, no. 2 [viewed 20 October 2023]. https://doi.org/10.1590/1981-3821201900020001. Available from: https://www.scielo.br/j/bpsr/a/sytyL4L63976XCHfK3d7Qjh/

6. CHRISTENSEN, G. et al. A Study of the Impact of Data Sharing on Article Citations Using Journal Policies as a Natural Experiment. PLoS One [online]. 2019, vol. 1, no. 12, e0225883 [viewed 20 October 2023]. https://doi.org/10.1371%2Fjournal.pone.0225883. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0225883

7. Ciencia abierta y el nuevo modus operandi de comunicar la investigación – Parte II [online]. SciELO en Perspectiva, 2019 [viewed 20 October 2023]. Available from: https://blog.scielo.org/es/2019/08/01/ciencia-abierta-y-el-nuevo-modus-operandi-de-comunicar-la-investigacion-parte-ii/

8. KING, G., KEOHANE, R.O. and VERBA, S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 2021.

9. COLLIER, D. and BRADY, H.E. Rethinking Social Inquiry: Diverse Tools, Shared Standards. Lanham: Rowman & Littlefield Publishers, 2004.

10. GOERTZ, G. and MAHONEY, J. A tale of two cultures: Qualitative and quantitative research in the social sciences. Princeton: Princeton University Press, 2012.

11. Rede Brasileira De Reprodutibilidade – Site Institucional: https://www.reprodutibilidade.org

Referencias

AVELINO, G., DESPOSATO, S. and MARDEGAN, I. Transparency and Replication in Brazilian Political Science: A First Look. Dados rev. ciênc. sociais [online].  2021, vol. 64, no. 3, e20190304 [viewed 20 October 2023]. https://doi.org/10.1590/dados.2021.64.3.242. Available from: https://www.scielo.br/j/dados/a/4pMrxZVYv4pXypfGrRr55Nx/

CHRISTENSEN, G. et al. A Study of the Impact of Data Sharing on Article Citations Using Journal Policies as a Natural Experiment. PLoS One [online]. 2019, vol. 1, no. 12, e0225883 [viewed 20 October 2023]. https://doi.org/10.1371%2Fjournal.pone.0225883. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0225883

DINIZ, D. Ética na pesquisa em ciências humanas: novos desafios. Ciência & Saúde Coletiva [online]. 2008, vol.13, no. 2, pp. 417–26 [viewed 20 October 2023]. https://doi.org/10.1590/S1413-81232008000200017. Available from: https://www.scielo.br/j/csc/a/QDNVw9nGF7X7b8Kf4LNvRVs/

FIGUEIREDO FILHO, D. et al. Seven Reasons Why: A User’s Guide to Transparency and Reproducibility. Bras. Political Sci. Rev.  [online]. 2019, vol. 13, no. 2 [viewed 20 October 2023]. https://doi.org/10.1590/1981-3821201900020001. Available from: https://www.scielo.br/j/bpsr/a/sytyL4L63976XCHfK3d7Qjh/

GHERGHINA, S. and ALEXIA, K. Data Availability in Political Science Journals. European Political Science [online], vol. 12, no. 3, pp. 333–49 [viewed 20 October 2023]. https://doi.org/10.1057/eps.2013.8. Available from: https://link.springer.com/article/10.1057/eps.2013.8

GOERTZ, G. and MAHONEY, J. A tale of two cultures: Qualitative and quantitative research in the social sciences. Princeton: Princeton University Press, 2012.

IOANNIDIS, J.P.A. Why Most Published Research Findings Are False. PLOS Medicine [online]. 2005, vol. 2, no. 8, e124. https://doi.org/10.1371/journal.pmed.0020124. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

JANZ, N. Bringing the Gold Standard into the Classroom: Replication in University Teaching. International Studies Perspectives [online]. 2016, vol. 17, no. 4, pp. 392–407 [viewed 20 October 2023]. https://doi.org/10.1111/insp.12104. Available from: https://academic.oup.com/isp/article-abstract/17/4/392/2528285?redirectedFrom=fulltext

KIDDER, L.H. and FINE, M. Qualitative and Quantitative Methods: When Stories Converge. New Directions for Program Evaluation [online]. 1987, vol. 35, pp. 57–75 [viewed 20 October 2023]. https://doi.org/10.1002/ev.1459. Available from: https://onlinelibrary.wiley.com/doi/10.1002/ev.1459

KING, G., KEOHANE, R.O. and VERBA, S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 2021.

KING, G. Replication, Replication. PS: Political Science & Politics [online]. 1995, vol. 28, no. 3, pp. 444-452 [viewed 20 October 2023]. https://doi.org/10.2307/420301. Available from: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357

MAKEL, M.C., et al. Replication is relevant to qualitative research. Educational Research and Evaluation [online]. 2022, vol. 27, vol. 1, pp. 215–19 [viewed 20 October 2023]. https://doi.org/10.1080/13803611.2021.2022310. Available from: https://www.tandfonline.com/doi/full/10.1080/13803611.2021.2022310

OPEN SCIENCE COLLABORATION. Estimating the reproducibility of psychological science. Science [online]. 2015, vol. 349, no. 6251, aac4716 [viewed 20 October 2023]. https://doi.org/10.1126/science.aac4716. Available from: https://www.science.org/doi/10.1126/science.aac4716

Ciencia abierta y el nuevo modus operandi de comunicar la investigación – Parte II [online]. SciELO en Perspectiva, 2019 [viewed 20 October 2023]. Available from: https://blog.scielo.org/es/2019/08/01/ciencia-abierta-y-el-nuevo-modus-operandi-de-comunicar-la-investigacion-parte-ii/

PIPER, K. Science Has Been in a ‘Replication Crisis’ for a Decade. Have We Learned Anything? [online]. Vox. 2020 [viewed 20 October 2023]. Available from: https://www.vox.com/future-perfect/21504366/science-replication-crisis-peer-review-statistics.

POWNALL, M. Is Replication Possible for Qualitative Research? [online]. PsyArXiv. 2022 [viewed 20 October 2023]. https://doi.org/10.31234/osf.io/dwxeg. Available from: https://osf.io/preprints/psyarxiv/dwxeg/

SPINAK, E. Reproducción & Replicación en investigación científica – parte 1 [online]. SciELO en Perspectiva, 2023 [viewed 20 October 2023]. Available from: https://blog.scielo.org/es/2023/05/19/reproduccion-replicacion-en-investigacion-cientifica-parte-1/

Enlaces externos

Instituto de Estudos Sociais e Políticos da Universidade do Estado do Rio de Janeiro (UERJ),  https://iesp.uerj.br/

Lattes Data (CNPq): https://lattesdata.cnpq.br/

Rede Brasileira De Reprodutibilidade – Site Institucional: https://www.reprodutibilidade.org

Revista DADOS – Dataverse: https://dataverse.harvard.edu/dataverse/revistadados

Revista DADOS: https://www.scielo.br/j/dados/

Traducido del original en portugués por Ernesto Spinak.