Impacto além da academia: a presença do SciELO em políticas públicas

Por Evandro Coggo Cristofoletti, Sergio Salles-Filho, Yohanna Juk, Bernardo Cabral, Karen Esteves Fernandes Pinto, Carlos Graziani e César Antonio Pereira

Introdução

Imagem: Ed Us via Unsplash

Agências de fomento, universidades, formuladores de políticas de Ciência, Tecnologia e Inovação (CT&I) vêm caminhando para discutir o fortalecimento da construção de indicadores, métricas e avaliação sobre a relevância social da pesquisa, incluindo seus impactos em políticas públicas. Para o Programa SciELO, a mensuração do impacto da pesquisa em políticas públicas representa uma dimensão fundamental para demonstrar o valor social dos resultados das pesquisas publicados nos periódicos indexados no SciELO. Como uma das principais plataformas de publicação científica em âmbito global, o SciELO tem a oportunidade de evidenciar como a pesquisa que indexa transcende o ambiente acadêmico e contribui efetivamente para a formulação de políticas que impactam a sociedade, oferecendo métricas complementares aos tradicionais índices bibliométricos.

Metodologia

Avaliar o impacto da pesquisa em políticas públicas não é uma tarefa trivial. Além de envolver diversos desafios metodológicos e práticos, há ainda a dificuldade relacionada à disponibilidade de dados que permitam a produção de métricas e indicadores consistentes. Abordagens qualitativas ou mistas, baseadas em estudos de caso de políticas influenciadas por pesquisa — por meio de pesquisa documental, questionários, entrevistas ou etnografias — continuam sendo amplamente utilizadas e reconhecidas na literatura. Paralelamente, é crescente o número de iniciativas que buscam identificar elementos de pesquisa (menções ou uso de artigos, autores, instituições, agências de fomento, entre outros) em documentos de políticas públicas. Embora ainda exploratória e incipiente, essa abordagem tem a vantagem de permitir o trabalho com grandes volumes de dados e a aplicação de técnicas de bibliometria e cientometria para o desenvolvimento de métricas de impacto. Entre as ferramentas utilizadas nesse contexto, destaca-se a Overton, base de dados que agrega documentos de políticas públicas de diferentes países, permitindo vincular esses documentos a publicações acadêmicas citadas ou utilizadas em sua elaboração.

Considerando essa abordagem, realizamos um procedimento de coleta e tratamento de dados a partir de arquivos XML disponibilizados pelo SciELO, que totalizam aproximadamente 6 GB, organizados por país e subdivididos em múltiplas pastas. Inicialmente, extraímos o identificador “publisher-id” (id_scielo) de todos os arquivos XML e, quando disponível, o DOI dos artigos, abrangendo as pastas referentes a Chile, Equador, Paraguai, SciELO Brasil e SciELO Public Health. As demais pastas continham apenas o id_scielo. Em seguida, utilizando a biblioteca Xylose, obtivemos DOIs adicionais por meio da API ArticleMeta. Ao todo, identificamos 620.411 DOIs (de um universo de cerca de 1,2 milhão de registros), que foram utilizados como entrada para busca na Overton de documentos de políticas que mencionassem ou citassem essas publicações; a Overton rastreia e indexa documentos produzidos por organizações políticas ou que objetivam influenciar políticas públicas, notadamente fontes governamentais, organizações multilaterais e think tanks.

A partir desse procedimento, baixamos os dados retornados pela Overton e os organizamos em uma planilha consolidada. Esta planilha reúne, para cada documento de política identificado, os artigos da base SciELO mencionados, bem como metadados sobre a própria política — incluindo a fonte, o país de origem e a organização responsável por sua elaboração. Com base nesse conjunto de dados, foi possível gerar análises iniciais que apresentamos a seguir, oferecendo uma visão preliminar sobre o alcance e as conexões entre pesquisas indexadas no SciELO e documentos de políticas públicas mapeados pela Overton.

Resultados

Resultados gerais

Utilizando-se do input inicial de 620.411 DOIs, um total de 47.231 DOIs únicos (ou seja, exclui-se qualquer repetição de citação) foram identificados em documentos de política. No entanto, quando consideramos os dados com repetição (visto que um artigo único pode ser citado em mais de um documento de política e/ou um documento de política pode citar mais de um artigo da amostra identificada), temos um total de 100.401 menções a artigos. Excluindo-se repetição de documentos de política deste total de menções, temos 47.796 documentos de política únicos que mencionam algum artigo da base. Isso significa que muitos artigos são mencionados mais de uma vez, o que representa um indício de bom impacto em políticas. Conseguimos identificar que 4.435 artigos estavam presentes em mais de um documento de política.

Países que citam artigos indexados no SciELO

A maior parte das organizações políticas que mencionam artigos indexados no SciELO são as chamadas International Governmental Organisations (IGOs), como a Organização Mundial da Saúde (OMS), Unesco (Organização das Nações Unidas para a Educação, a Ciência e a Cultura), dentre outras (ver item seguinte), totalizando 14.565 documentos de política (cerca de 34%). A segunda maior parcela vem do Brasil (considerando governo, think tanks e outras organizações), com 6.599 documentos de política (15,42%). seguido dos EUA, com 4.247 (9,92%). É um ótimo achado, visto que a base indexa mais de 4 milhões de documentos de política dos EUA e cerca de 300 mil do Brasil. Isso significa bom impacto em documentos nacionais. A seguir, a Tabela 1 lista os 20 países com mais documentos de política (totalizando 39.508 documentos no total, cerca de 92% do total).

Tabela 1. Países de origem dos doc. de política

Organizações que citam DOIs do Scielo

Quando observamos por organização, vemos que a OMS lidera em termos de documentos de política que citam artigos indexados no SciELO (3.588 documentos de política), seguidos pelo Instituto de Pesquisa Econômica Aplicada, Ipea, (3.503), Guidelines in PubMed (1892 documentos de política) e Governo do Brasil (com 1.809 documentos de política). Isso indica uma presença significativa da área de saúde, mas também de economia e políticas públicas.

Tabela 2. As 20 organizações com mais documentos de política

Fontes no Brasil

Quando discriminamos as fontes brasileiras, temos o Ipea, o Governo do Brasil e a Empresa Brasileira de Pesquisa Agropecuária (Embrapa) com predominância.

No entanto, nota-se uma diversidade de instituições, como Banco do Brasil e Agência Nacional de Vigilância Sanitária (Anvisa), refletindo a abrangência temática dos artigos e do escopo de indexação do SciELO, e sua capacidade de dar vazão a diferentes áreas e especializações do conhecimento, o que reflete também na diversidade de uso em diversas arenas e segmentos de políticas.

Conclusão

Os resultados apresentados mostram que a pesquisa publicada no SciELO tem alcançado relevância significativa em documentos de políticas públicas, com destaque a um número significativo de documentos brasileiros. Apesar da grande variedade de áreas de políticas públicas citando pesquisa publicada no SciELO, as análises iniciais revelam impacto em políticas em áreas como saúde e economia. Contudo, é importante reconhecer algumas limitações do estudo, como a dependência da cobertura da base Overton, que privilegia países do Norte Global (havendo questões como indexação para cada país e idioma), bem como o desafio de identificar como estes artigos vêm efetivamente sendo utilizados. Futuras investigações podem explorar abordagens complementares, localizar em periódicos ou áreas específicas e entender com mais profundidade o perfil dos documentos de política vis-à-vis os artigos mencionados nestes documentos.

Links externos

SciELO Article Meta

SciELO ARTICLEMETA Restful API – GitHub

Sobre Evandro Coggo Cristofoletti

Pós-doutorando em Gestão da Pesquisa pela Unicamp. Doutor em Política Científica e Tecnológica pela Unicamp. Membro do Grupo de Análise de Política de Inovação (GAPI-DPCT) e do Laboratório de Estudos sobre a Organização da Pesquisa e da Inovação da Unicamp (Lab-GEOPI). Desenvolve pesquisas sobre política de educação superior e ciência e tecnologia, com foco na relação entre universidade e sociedade. Tem interesse nos seguintes temas: impacto social e político da pesquisa, universidade e desenvolvimento sustentável, relação universidade e setor público, extensão universitária, neoliberalismo e universidade.

Sobre Sergio Salles-Filho

Engenheiro Agrônomo (UFRRJ, 1981), mestre em Ciências Agrárias (Unesp, 1985) e doutor em Economia (Unicamp, 1993). Professor Titular do Departamento de Política Científica e Tecnológica do IG/Unicamp, foi diretor da FCA (2010-2013) e do IG (2017-2021), além de superintendente da FINEP (2001-2003). Visiting Researcher no MIoIR/UK (2013-2014), recebeu três vezes o Prêmio Zeferino Vaz. Foi coordenador adjunto de avaliação da FAPESP (2010-2020). Atua em economia, planejamento e gestão da ciência, tecnologia e inovação, com mais de 110 publicações, 50 orientações e coordenação de projetos sobre avaliação de políticas e planejamento estratégico em CT&I.

Sobre Yohanna Juk

Pós-doutoranda no Projeto InSySPo (Innovation Systems, Strategies and Policies) do Departamento de Política Científica e Tecnológica da Unicamp, financiado pela FAPESP (SPEC). Doutora e mestre em Políticas Públicas e graduada em Ciências Econômicas pela UFPR. Desenvolve pesquisas sobre desenho, implementação e avaliação de políticas de ciência, tecnologia e inovação. Tem interesse nos temas:  desigualdade de gênero na ciência, com foco nos temas de equidade, diversidade e inclusão no fomento à pesquisa; uso de evidências em políticas públicas; e avaliação de programas e instituições de CT&I por meio de bibliometria, altmetria e metodologias de mensuração de impacto.

Sobre Bernardo Cabral

É professor adjunto da Faculdade de Economia da Universidade Federal da Bahia (UFBA), atualmente cedido a Fundação Oswaldo Cruz (Fiocruz). É Doutor em Economia da Indústria e Tecnologia pela Universidade Federal do Rio de Janeiro (UFRJ) (2018) e possui graduação (2010) e mestrado (2012) em Economia pela Universidade Federal da Bahia. Também fez pós-doutorado no Departamento de Política Científica e Tecnológica da Universidade Estadual de Campinas (DPCT/UNICAMP) (2024). É pesquisador e vice-líder do Núcleo de Estudos de Foresight (NEF) e colaborador do Laboratório de Estudos sobre a Organização da Pesquisa e da Inovação da Unicamp (Lab-GEOPI).

Sobre Karen Esteves Fernandes Pinto

Pós-doutoranda no Laboratório de Genômica e bioEnergia da Unicamp. Atua em duas frentes de pesquisa: (1) Pesquisa da Pesquisa e da Inovação, com foco nos impactos econômicos e socioambientais da produção científica, especialmente aquela financiada por recursos públicos; e (2) Ecossistemas de Inovação e Empreendedorismo, analisando a atuação da Agência de Inovação da Unicamp (INOVA) e seu papel no mapeamento das atividades empresariais vinculadas à universidade. Seu trabalho busca compreender como a pesquisa acadêmica e as interações universidade-empresa contribuem para o desenvolvimento sustentável e para o fortalecimento da inovação no Brasil.

Sobre Carlos Graziani

Possui graduação em Análise e Desenvolvimento de Sistemas pela Faculdade de Ciências Sociais Aplicadas de Extrema (2014). Tem experiência em projeto, configuração e implantação de redes; desenvolvimento web com PHP, Mysql e Jquery e analista de suporte.