Impacto más allá de la academia: la presencia de SciELO en las políticas públicas

Por Evandro Coggo Cristofoletti, Sergio Salles-Filho, Yohanna Juk, Bernardo Cabral, Karen Esteves Fernandes Pinto, Carlos Graziani e César Antonio Pereira

Introducción

Imagem: Ed Us via Unsplash

Las agencias de financiamiento, las universidades y los responsables de políticas de Ciencia, Tecnología e Innovación (CT&I) han trabajado para fortalecer el desarrollo de indicadores, métricas y evaluaciones de la relevancia social de la investigación, incluyendo su impacto en las políticas públicas. Para el Programa SciELO, medir el impacto de la investigación en las políticas públicas representa una dimensión fundamental para demostrar el valor social de los resultados de investigación publicados en revistas indexadas por SciELO. Como una de las principales plataformas de publicación científica a nivel mundial, SciELO tiene la oportunidad de demostrar cómo la investigación que indexa trasciende el ámbito académico y contribuye eficazmente a la formulación de políticas con impacto social, ofreciendo métricas que complementan los índices bibliométricos tradicionales.

Metodología

Evaluar el impacto de la investigación en políticas públicas no es una tarea fácil. Además de implicar varios desafíos metodológicos y prácticos, también existe la dificultad relacionada con la disponibilidad de datos que permitan la producción de métricas e indicadores consistentes. Los enfoques cualitativos o de métodos mixtos, basados en estudios de caso de políticas influidas por la investigación — mediante investigación documental, cuestionarios, entrevistas o etnografías —, siguen siendo ampliamente utilizados y reconocidos en la literatura. Al mismo tiempo, un número creciente de iniciativas busca identificar elementos de investigación (menciones o uso de artículos, autores, instituciones, agencias de financiamiento, entre otros) en documentos de políticas públicas. Si bien aún es exploratorio e incipiente, este enfoque tiene la ventaja de permitir trabajar con grandes volúmenes de datos y aplicar técnicas bibliométricas y cienciométricas para desarrollar métricas de impacto. Entre las herramientas utilizadas en este contexto, destaca Overton, una base de datos que agrega documentos de políticas públicas de diferentes países, lo que permite vincularlos con las publicaciones académicas citadas o utilizadas en su desarrollo.

Con este enfoque en mente, recopilamos y procesamos datos de archivos XML proporcionados por SciELO, con un total aproximado de 6 GB. Estos archivos se organizaron por país y se subdividieron en varias carpetas. Inicialmente, extrajimos el “publisher-id” (id_scielo) de todos los archivos XML y, cuando estaba disponible, el DOI de los artículos, abarcando las carpetas de Chile, Ecuador, Paraguay, SciELO Brasil y SciELO Public Health. Las carpetas restantes contenían únicamente el id_scielo. Posteriormente, utilizando la biblioteca Xylose, obtuvimos DOI adicionales mediante la API ArticleMeta. En total, identificamos 620.411 DOI (de un universo de aproximadamente 1,2 millones de registros), que se utilizaron como base para una búsqueda en Overton de documentos de políticas que mencionaran o citaran estas publicaciones (Overton rastrea e indexa documentos producidos por organizaciones políticas o que buscan influir en las políticas públicas, en particular fuentes gubernamentales, organizaciones multilaterales y think tanks).

A partir de este procedimiento, descargamos los datos devueltos por Overton y los organizamos en una hoja de cálculo consolidada. Esta hoja de cálculo recopila, para cada documento de política identificado, los artículos citados de la base de datos SciELO, así como metadatos sobre la propia política, incluyendo la fuente, el país de origen y la organización responsable de su desarrollo. En base a este conjunto de datos, pudimos generar los análisis iniciales que se presentan a continuación, ofreciendo una visión preliminar del alcance y las conexiones entre la investigación indexada en SciELO y los documentos de política pública mapeados por Overton.

Resultados

Resultados generales

Utilizando la entrada inicial de 620.411 DOIs, se identificó un total de 47.231 DOIs únicos (es decir, excluyendo cualquier cita repetida) en documentos de política. Sin embargo, al considerar los datos con repetición (dado que un mismo artículo puede citarse en más de un documento de política y/o un documento de política puede citar más de un artículo de la muestra identificada), tenemos un total de 100.401 menciones de artículos. Excluyendo documentos de política repetidos de este total de menciones, tenemos 47.796 documentos de política únicos que mencionan un artículo de la base de datos. Esto significa que muchos artículos se mencionan más de una vez, lo cual es un indicador de un buen impacto en la política. Pudimos identificar que 4.435 artículos estaban presentes en más de un documento de política.

Países que citan artículos indexados en SciELO

La mayoría de las organizaciones políticas que citan artículos indexados en SciELO son Organizaciones Gubernamentales Internacionales (OIG), como la Organización Mundial de la Salud (OMS) y la UNESCO (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura), entre otras (véase el siguiente ítem), con un total de 14.565 documentos de política (aproximadamente el 34%). El segundo mayor porcentaje proviene de Brasil (considerando gobiernos, centros de estudios y otras organizaciones), con 6.599 documentos de política (15,42%), seguido de Estados Unidos, con 4.247 (9,92%). Este hallazgo es significativo, dado que la base de datos indexa más de 4 millones de documentos de política estadounidenses y aproximadamente 300.000 de Brasil. Esto representa un impacto significativo en los documentos nacionales. A continuación, en la Tabla 1. se presentan los 20 países con más documentos de política (con un total de 39.508 documentos, aproximadamente el 92% del total).

Tabla 1. Países de origen de los documentos de políticas

Organizaciones que citan DOI de SciELO

Al analizar por organización, la OMS lidera la cantidad de documentos de política que citan artículos indexados en SciELO (3.588), seguida del Instituto de Investigación Económica Aplicada (IPEA) (3.503), Guidelines in PubMed (1.892) y el Gobierno de Brasil (con 1.809). Esto indica una presencia significativa en el ámbito de la salud, pero también en economía y políticas públicas.

Tabla 2. Las 20 organizaciones con más documentos de política

Fuentes en Brasil

Al desglosar las fuentes brasileñas, predominan el IPEA, el Gobierno brasileño y la Empresa Brasileña de Investigación Agropecuaria (Embrapa).

Sin embargo, se observa diversidad de instituciones, como el Banco do Brasil y la Agencia Nacional de Vigilancia Sanitaria (Anvisa), lo que refleja el alcance temático de los artículos de SciELO y su alcance de indexación, así como su capacidad para abordar diferentes áreas y especializaciones del conocimiento. Esto también refleja la diversidad de uso en diversos ámbitos y segmentos de políticas públicas.

Conclusión

Los resultados presentados muestran que la investigación publicada en SciELO ha alcanzado una relevancia significativa en los documentos de políticas públicas, destacando un número significativo de documentos brasileños. A pesar de la amplia variedad de áreas de políticas públicas que citan investigaciones publicadas en SciELO, los análisis iniciales revelan un impacto en políticas en áreas como la salud y la economía. Sin embargo, es importante reconocer algunas limitaciones del estudio, como su dependencia de la base de datos Overton, que prioriza a los países del Norte Global (con problemas como la indexación para cada país e idioma), así como la dificultad de identificar cómo se utilizan realmente estos artículos. Las investigaciones futuras podrían explorar enfoques complementarios, localizar revistas o campos específicos y comprender mejor el perfil de los documentos de políticas en comparación con los artículos citados en ellos.

Enlaces externos

SciELO Article Meta

SciELO ARTICLEMETA Restful API – GitHub

Sobre Evandro Coggo Cristofoletti

Becario postdoctoral en Gestión de la Investigación en la Unicamp. Doctor en Políticas Científicas y Tecnológicas por la Unicamp. Miembro del Grupo de Análisis de Políticas de Innovación (GAPI-DPCT) y del Laboratorio de Estudios sobre la Organización de la Investigación y la Innovación de la Unicamp (Lab-GEOPI). Investiga sobre políticas de educación superior y ciencia y tecnología, con especial atención a la relación entre universidades y sociedad. Sus intereses incluyen los siguientes temas: impacto social y político de la investigación, universidades y desarrollo sostenible, relaciones universidad-sector público, extensión universitaria, neoliberalismo y universidades.

Sobre Sergio Salles-Filho

Ingeniero Agrónomo (UFRRJ, 1981), Máster en Ciencias Agrarias (Unesp, 1985) y Doctor en Economía (Unicamp, 1993). Profesor Titular del Departamento de Política Científica y Tecnológica del IG/Unicamp, fue Director de la FCA (2010-2013) y del IG (2017-2021), así como Superintendente de FINEP (2001-2003). Investigador Visitante del MIoIR/UK (2013-2014), recibió el Premio Zeferino Vaz en tres ocasiones. Fue Coordinador Adjunto de Evaluación de la FAPESP (2010-2020). Trabaja en economía, planificación y gestión de la ciencia, la tecnología y la innovación, con más de 110 publicaciones, 50 asesorías y coordinación de proyectos sobre evaluación de políticas y planificación estratégica en CT&I.

Sobre Yohanna Juk

Becaria postdoctoral del Proyecto InSySPo (Sistemas, Estrategias y Políticas de Innovación) del Departamento de Política Científica y Tecnológica de la Unicamp, financiado por la FAPESP (SPEC). Tiene doctorado, maestría en Políticas Públicas y licenciatura en Economía por la UFPR. Investiga en el diseño, implementación y evaluación de políticas de ciencia, tecnología e innovación. Sus intereses incluyen la desigualdad de género en la ciencia, con énfasis en la equidad, la diversidad y la inclusión en la financiación de la investigación; el uso de la evidencia en políticas públicas; y la evaluación de programas e instituciones de CTI mediante bibliometría, altmetría y metodologías de medición de impacto.

Sobre Bernardo Cabral

Becaria postdoctoral del Proyecto InSySPo (Sistemas, Estrategias y Políticas de Innovación) del Departamento de Política Científica y Tecnológica de la Unicamp, financiado por la FAPESP (SPEC). Tiene doctorado, maestría en Políticas Públicas y licenciatura en Economía por la UFPR. Investiga en el diseño, implementación y evaluación de políticas de ciencia, tecnología e innovación. Sus intereses incluyen la desigualdad de género en la ciencia, con énfasis en la equidad, la diversidad y la inclusión en la financiación de la investigación; el uso de la evidencia en políticas públicas; y la evaluación de programas e instituciones de CTI mediante bibliometría, altmetría y metodologías de medición de impacto.

Sobre Karen Esteves Fernandes Pinto

Becaria postdoctoral en el Laboratorio de Genómica y Bioenergía de la Unicamp. Su investigación se centra en dos áreas: (1) Investigación e Innovación, con especial atención a los impactos económicos y socioambientales de la producción científica, especialmente la financiada con recursos públicos; y (2) Ecosistemas de Innovación y Emprendimiento, analizando el desempeño de la Agencia de Innovación de la Unicamp (INOVA) y su rol en el mapeo de las actividades empresariales vinculadas a la universidad. Su trabajo busca comprender cómo la investigación académica y las interacciones entre la universidad y la empresa contribuyen al desarrollo sostenible y al fortalecimiento de la innovación en Brasil.

Sobre Carlos Graziani

Licenciado en Análisis y Desarrollo de Sistemas por la Facultad de Ciencias Sociales Aplicadas de Extrema (2014). Tiene experiencia en diseño, configuración e implementación de redes; desarrollo web con PHP, MySQL y JQuery, y analista de soporte.

Traducido del original en portugués por Ernesto Spinak.