Produção e impacto da pesquisa brasileira: confrontando contextos internacional e nacional

Imagem: dashu83.

Por Rogério Mugnaini

Há pelo menos 30 anos pode-se observar alertas na literatura sobre a limitação da cobertura de fontes de informação internacionais, quando se trata de indicadores de produção científica de países excluídos da ciência mainstream, como era o caso da América Latina. Não bastasse a ausência de parte significativa da literatura local em fontes de informação de abrangência mundial, Beigel¹ identifica que o próprio delineamento dos sistemas de avaliação ao redor do mundo, dos quais dependem o financiamento da pesquisa e o desempenho do pesquisador, excluem o conhecimento gerado nos circuitos periféricos ao reforçar a pressão por publicação em periódicos mainstream.

Para se mensurar o montante de informação, tomemos o caso brasileiro, descrito por Mugnaini, Digiampietri e Mena-Chalco², ao identificar cerca de 400 mil artigos originais e de revisão publicados entre 1998 e 2012 em periódicos indexados nas bases Web of Science (WoS) e/ou SciELO. O estudo mostrou que, enquanto no início do período as revistas indexadas somente no WoS publicavam 73,1% da produção nacional, em 2012 este percentual decresceu para 54,7%, revelando assim o crescente aumento de abrangência do SciELO – mesmo considerando sua seletividade, que faz com que um grande número de periódicos nacionais não seja contemplado.

Observando mais detidamente os periódicos nucleares (conforme Zonas de Bradford) para as publicações das áreas, o estudo de Mugnaini, Digiampietri e Mena-Chalco² mostra que as Ciências Agrárias, Humanas, e as diversas ciências sociais publicam integralmente em periódicos SciELO. Considerando a Zona de Bradford intermediária, notou-se que, dessas áreas, apenas as Agrárias apresentaram um recente esforço de internacionalização, que resultou num percentual de artigos de 14% em periódicos WoS. Na Zona de Bradford periférica é que se observa a maior internacionalização, significando que o percentual de publicação se dá num conjunto disperso de periódicos, aumentando significativamente para cada uma dessas áreas. Já nas ciências duras a internacionalização é um fenômeno que pode ser observado já na Zona de Bradford nuclear, sinalizando haver um conjunto mais restrito de periódicos WoS utilizados com frequência significativa de publicação.

Apesar destas constatações reforçarem a importância de que avaliações que abranjam a produção científica nacional precisem ser realizadas da maneira mais exaustiva possível, deve-se levar em consideração que os indicadores de impacto (baseados em citação) são concebidos como complementares. Este consenso, estabelecido na literatura especializada em estudos bibliométricos, e assimilado por grande parte dos processos avaliativos internacionais – que suscitaram, por exemplo, o Manifesto de Leiden – , também se estabeleceu em solo brasileiro há cerca de duas décadas.

No entanto quando se trata do uso de indicadores de impacto em exercícios avaliativos em grande escala, limita-se exclusivamente a qualificar a produção científica de acordo com o Fator de Impacto do periódico onde se publicou, ou seja, o que está em jogo não é o impacto da pesquisa brasileira. Além disso, uma consequência observada é a consolidação dos índices de citação de abrangência mundial, como o Web of Science (WoS), que é a iniciativa pioneira e mais utilizada, e mais recentemente o Scopus, cujo uso tem crescido gradualmente. Assim, o SciELO, criado na década de 90, constituiu-se uma importante fonte complementar, cujo potencial para avaliação de impacto começa a mostrar seu potencial. Potencial este vislumbrado pelo próprio criador do Science Citation Index, que à época fez questão de alertar para o fato de que os cientistas desses países não deixariam de enviar seus melhores trabalhos para periódicos internacionais³.

Neste sentido, analisando a função de periódicos nacionais na disseminação de ciência aplicada na Espanha, Sanz, Aragón e Mendez⁴ verificaram que normalmente esses periódicos serviam de alerta a pesquisadores e engenheiros dos últimos avanços no campo, frequentemente por meio de revisões do estado-da-arte e relatórios. Os autores verificaram ainda que alguns espanhóis chegavam ao ponto de evitar publicar nos mesmos, por achar que isso pesaria negativamente na avaliação de seus currículos. Chegaram a indagar sobre uma possível falta de citação a esses periódicos, pelo fato de serem devotados a problemas locais, contudo rejeitaram a ideia de que por essa razão deveriam ser descartados, já que o fluxo de citações na literatura mundial concentra-se numa pequena porção nuclear de periódicos internacionais.

O gráfico a seguir permite constatar que, assim como observado no caso espanhol, a produção científica em Engenharia no Brasil mostra que apenas um terço de seus artigos em periódicos SciELO (vermelho escuro) recebem citações, em contraste com os artigos publicados em periódicos WoS cujo percentual de artigos citados é de 69%. Áreas nas quais estes percentuais apresentam um perfil muito similar são Ciência da Computação, Economia e Negócios e Matemática. Já Ciências Humanas apresenta baixo percentual de artigos citados em ambos os contextos (29% para SciELO e 14% para WoS).

Outra importante observação é que o volume de artigos citados no contexto internacional (azul escuro) é significativamente maior, como reflexo do esforço em publicação, mas também da maior quantidade de periódicos estrangeiros.

Fonte: Mugnaini, Noyons e Packer⁵

Distribuição dos artigos do corpus, de periódicos SciELO ou WoS, citados ou não citados (janela de até dois anos), segundo área do artigo citado.

Contudo, um cenário ligeiramente diferente se mostra quando se observa o volume de citações recebidas pelos artigos publicados somente em periódicos SciELO: que o percentual de citações provenientes do fluxo doméstico (artigos de brasileiros em periódicos SciELO, em vermelho escuro) é significativo não apenas para as Sociais e Humanas, mas para Agrárias e áreas de Biológicas; e diferente do que poderia se esperar, o impacto internacional dos artigos em periódicos SciELO não só apresenta significativo impacto internacional(fluxo mainstream, tons de azul), como a maior parte provêm de autores estrangeiros (observado em áreas de Exatas em geral, e diversas áreas de Saúde e Biológicas).

Tais constatações permitem indagar se ainda tem sentido falar na “Ciência perdida no terceiro mundo”⁶ e vislumbrar uma realidade na qual não se tenha mais que qualificar a ciência produzida segundo o periódico em que se publicou, mas sim avaliá-la.

Fonte: Mugnaini, Noyons e Packer⁵

Distribuição das citações (janela de até dois anos) a artigos de brasileiros publicados em revistas SciELO, segundo área do artigo citado e, base e presença de brasileiro(s) do artigo citante.

Notas

1. BEIGEL, F. Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s CONICET. Current Sociology [online]. 2014, vol. 62, no. 5, pp. 743-765, ISSN: 1461-7064. DOI: 10.1177/0011392114533977. Available from: http://journals.sagepub.com/doi/abs/10.1177/0011392114533977?journalCode=csia

2. MUGNAINI, R., DIGIAMPIETRI, L.A. and MENA-CHALCO, J.P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação. 2014, vol. 26, no. 3, ISSN: 0103-3786. DOI: 10.1590/0103-3786201400030002. Available from: http://ref.scielo.org/v23s7m

3. SANZ, E., ARAGON, I. and MENDEZ, A. The function of national journals in disseminating applied science. Journal of Information Science [online]. 1995, vol.21, no.4, pp. 319-323. DOI: 10.1177/016555159502100408. Available from: http://journals.sagepub.com/doi/pdf/10.1177/016555159502100408

4. GARFIELD E. Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of PAHO. 1995, vol. 29, no.1, pp.87-95.

5. MUGNAINI, R., NOYONS, E. and PACKER, A.L. Fluxo de citações inter-nacional: fontes de informação para avaliação de impacto científico no Brasil. In: Encontro Brasileiro de Bibliometria e Cientometria, Rio de Janeiro, 2018.

6. GIBBS, W.W. Lost science in the third world. Scientific American. 1995, vol. 273, no. 2, pp. 92-99.

Referências

BEIGEL, F. Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s CONICET. Current Sociology [online]. 2014, vol. 62, no. 5, pp. 743-765, ISSN: 1461-7064. DOI: 10.1177/0011392114533977. Available from: http://journals.sagepub.com/doi/abs/10.1177/0011392114533977?journalCode=csia

FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horiz. antropol. [online]. 2001, vol. 7, no. 16, pp. 261-275, ISSN: 1806-9983. DOI: 10.1590/S0104-71832001000200014. Available from: http://ref.scielo.org/9dpqcy

FRAME, D. Problems in the use of literature-based S&T indicators in developing countries. In: MORITA-LOU, H. (ed.) Science and technology indicators for development. Boulder: Westview Press, 1985.

GARFIELD E. Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of PAHO. 1995, vol. 29, no.1, pp.87-95.

GIBBS, W.W. Lost science in the third world. Scientific American. 1995, vol. 273, no. 2, pp. 92-99.

HICKS, D. et al. The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, no. 7548, pp. 429.

MUGNAINI, R. and DIGIAMPIETRI, L. A. The Brazilian National Impact: Movement of Journals Between Bradford Zones of Production and Consumption. In: International Conference on Scientometrics and Informetrics, Istambul, 2015.

MUGNAINI, R. Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos? In: ENANCIB – Encontro Nacional de Pesquisa em Ciência da Informação, João Pessoa, 2015.

MUGNAINI, R., DIGIAMPIETRI, L.A. and MENA-CHALCO, J.P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação. 2014, vol. 26, no. 3, ISSN: 0103-3786. DOI: 10.1590/0103-3786201400030002. Available from: http://ref.scielo.org/v23s7m

MUGNAINI, R., NOYONS, E. and PACKER, A.L. Fluxo de citações inter-nacional: fontes de informação para avaliação de impacto científico no Brasil. In: Encontro Brasileiro de Bibliometria e Cientometria, Rio de Janeiro, 2018.

SANZ, E., ARAGON, I. and MENDEZ, A. The function of national journals in disseminating applied science. Journal of Information Science [online]. 1995, vol.21, no.4, pp. 319-323. DOI: 10.1177/016555159502100408. Available from: http://journals.sagepub.com/doi/pdf/10.1177/016555159502100408

Sobre Rogerio Mugnaini

Com especialidade em indicadores bibliométricos e cientométricos, avaliação de produção científica nacional e política científica, desenvolve pesquisa sobre periódicos científicos desde 2003, quando desenvolveu o Módulo de Bibliometria do Projeto SciELO. É docente da Universidade de São Paulo, no Departamento de Informação e Cultura da Escola de Comunicações e Artes (ECA), onde coordena o Núcleo de Pesquisa e Tecnologia em Produção Científica. Integrou comissões, tanto no âmbito da universidade (Vice-Presidente da Comissão de Credenciamento do Programa de Apoio às Publicações Científicas Periódicas da USP, entre 2010 e 2016) quanto em âmbito nacional (Avaliações Trienal 2013 e Quadrienal 2017 da área de Comunicação e Informação – Capes). Membro filiado da Associação Nacional de Pesquisa e Pós-Graduação em Ciência da Informação (ANCIB) e International Society of Scientometrics and Informetrics (ISSI).