Producción e impacto de la investigación brasileña: confrontando contextos internacional y nacional

Por Rogério Mugnaini

Image: dashu83.

Desde hace por lo menos 30 años se pueden observar alertas en la literatura sobre la limitación de la cobertura de fuentes de información internacionales, cuando se trata de indicadores de producción científica de países excluidos de la ciencia de corriente principal, como era el caso de América Latina. No solamente la ausencia de parte significativa de la literatura local en fuentes de información de alcance mundial, Beigel¹ identifica que el propio delineamiento de los sistemas de evaluación alrededor del mundo, de los cuales dependen el financiamiento de la investigación y el desempeño del investigador, excluyen el conocimiento generado en los circuitos periféricos al reforzar la presión por publicación en periódicos de corriente principal.

Para medir el monto de información, tomemos el caso brasileño, descrito por Mugnaini, Digiampietri y Mena-Chalco², al identificar cerca de 400 mil artículos originales y de revisión publicados entre 1998 y 2012 en revistas indexadas en las bases Web of Science (WoS) y/o SciELO. El estudio mostró que, mientras que al inicio del período las revistas indexadas solamente en la WoS publicaban el 73,1% de la producción nacional, en 2012 este porcentaje disminuyó al 54,7%, revelando así el creciente aumento del alcance de SciELO – incluso considerando su selectividad, que hace que un gran número de revistas nacionales no sea contemplado.

Observando más detenidamente las revistas que integran el núcleo (según las Zonas de Bradford) para las publicaciones de las áreas, el estudio de Mugnaini, Digiampietri y Mena-Chalco² muestra que las Ciencias Agrarias, Humanas, y las diversas ciencias sociales publican íntegramente en revistas SciELO. Considerando la Zona de Bradford intermedia, se notó que, de esas áreas, sólo las Agrarias presentaron un reciente esfuerzo de internacionalización, que resultó en un porcentaje de artículos del 14% en revistas WoS. En la Zona de Bradford periférica es que se observa la mayor internacionalización, significando que el porcentaje de publicación se da en un conjunto disperso de revistas, aumentando significativamente para cada una de esas áreas. En las ciencias duras la internacionalización es un fenómeno que se puede observar ya en la Zona de Bradford nuclear, señalando que hay un conjunto más restringido de revistas WoS utilizados con frecuencia significativa de publicación.

A pesar de que estas constataciones refuerzan la importancia de que las evaluaciones que abarquen la producción científica nacional necesiten ser realizadas de la manera más exhaustiva posible, se debe tener en cuenta que los indicadores de impacto (basados en citación) se conciben como complementarios. Este consenso, establecido en la literatura especializada en estudios bibliométricos, y asimilado por gran parte de los procesos evaluativos internacionales -que suscitaron, por ejemplo, el Manifiesto de Leiden –, también se estableció en suelo brasileño hace cerca de dos décadas.

Sin embargo, cuando se trata del uso de indicadores de impacto en ejercicios de evaluación a gran escala, se limita exclusivamente a calificar la producción científica de acuerdo con el Factor de Impacto de la revista donde se publicó, o sea, lo que está en juego no es el impacto de la investigación brasileña. Además, una consecuencia observada es la consolidación de los índices de citación de alcance mundial, como la Web of Science (WoS), que es la iniciativa pionera y más utilizada, y más recientemente la Scopus, cuyo uso ha crecido gradualmente. Por lo tanto, SciELO, creada en la década de los 90, constituyó una fuente complementaria importante, cuyo potencial de evaluación de impacto empieza a mostrar su potencial. Potencial este vislumbrado por el propio creador del Science Citation Index, que en la época hizo hincapié en el hecho de que los científicos de esos países no dejarían de enviar sus mejores trabajos a las revistas internacionales³.

En este sentido, analizando la función de las revistas nacionales en la diseminación de ciencia aplicada en España, Sanz, Aragón y Mendez⁴ verificaron que normalmente esas revistas servían de alerta a investigadores e ingenieros de los últimos avances en el campo, a menudo por medio de revisiones del estado-del-arte e informes. Los autores verificaron además que algunos españoles llegaban al punto de evitar publicar en los mismos, por creer que eso pesaría negativamente en la evaluación de sus currículos. Se llegó a indagar sobre una posible falta de citación a esas revistas, por el hecho de ser dedicados a problemas locales, sin embargo rechazaron la idea de que por esa razón deberían ser descartados, ya que el flujo de citas en la literatura mundial se concentra en una pequeña porción nuclear de las revistas internacionales.

El gráfico siguiente permite constatar que, como se observa en el caso español, la producción científica en Ingeniería en Brasil muestra que sólo un tercio de sus artículos en revistas SciELO (rojo oscuro) reciben citas, en contraste con los artículos publicados en revistas WoS cuyo porcentaje de artículos citados es del 69%. Las áreas en las que estos porcentajes presentan un perfil muy similar son Ciencias de la Computación, Economía y Negocios y Matemáticas. Las Ciencias Humanas presentan bajo porcentaje de artículos citados en ambos contextos (29% para SciELO y 14% para WoS).

Otra observación importante es que el volumen de artículos citados en el contexto internacional (azul oscuro) es significativamente mayor, como reflejo del esfuerzo en publicación, pero también de la mayor cantidad de revistas extranjeras.

Fuente: Mugnaini, Noyons e Packer⁵

Distribución de los artículos del corpus, de revistas SciELO o WoS, citados o no citados (ventana de hasta dos años), según área del artículo citado.

Sin embargo, un escenario ligeramente diferente se muestra cuando se observa el volumen de citas recibidas por los artículos publicados solamente en revistas SciELO: que el porcentaje de citas provenientes del flujo doméstico (artículos de brasileños en revistas SciELO, en rojo oscuro) es significativo no sólo para las Sociales y Humanas, sino también para Agrarias y áreas Biológicas; y diferente de lo que podría esperarse, el impacto internacional de los artículos en revistas SciELO no sólo presenta significativo impacto internacional (flujo de corriente principal, tonos de azul), como que la mayor parte provienen de autores extranjeros (observado en áreas de Exactas en general, y diversas áreas de Salud y Biológicas).

Tales constataciones permiten preguntar si aún tiene sentido hablar en la “Ciencia perdida en el tercer mundo”⁶ y vislumbrar una realidad en la que no se tenga más que calificar la ciencia producida según la revista en que se publicó, sino que se la evalúe.

Fuente: Mugnaini, Noyons e Packer⁵

Distribución de las citas (ventana de hasta dos años) a artículos de brasileños publicados en revistas SciELO, según área del artículo citado y, en base y presencia de brasileño(s) del artículo citante.

Notas

1. BEIGEL, F. Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s CONICET. Current Sociology [online]. 2014, vol. 62, no. 5, pp. 743-765, ISSN: 1461-7064. DOI: 10.1177/0011392114533977. Available from: http://journals.sagepub.com/doi/abs/10.1177/0011392114533977?journalCode=csia

2. MUGNAINI, R., DIGIAMPIETRI, L.A. and MENA-CHALCO, J.P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação. 2014, vol. 26, no. 3, ISSN: 0103-3786. DOI: 10.1590/0103-3786201400030002. Available from: http://ref.scielo.org/v23s7m

3. SANZ, E., ARAGON, I. and MENDEZ, A. The function of national journals in disseminating applied science. Journal of Information Science [online]. 1995, vol.21, no.4, pp. 319-323. DOI: 10.1177/016555159502100408. Available from: http://journals.sagepub.com/doi/pdf/10.1177/016555159502100408

4. GARFIELD E. Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of PAHO. 1995, vol. 29, no.1, pp.87-95.

5. MUGNAINI, R., NOYONS, E. and PACKER, A.L. Fluxo de citações inter-nacional: fontes de informação para avaliação de impacto científico no Brasil. In: Encontro Brasileiro de Bibliometria e Cientometria, Rio de Janeiro, 2018.

6. GIBBS, W.W. Lost science in the third world. Scientific American. 1995, vol. 273, no. 2, pp. 92-99.

Referencias

BEIGEL, F. Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s CONICET. Current Sociology [online]. 2014, vol. 62, no. 5, pp. 743-765, ISSN: 1461-7064. DOI: 10.1177/0011392114533977. Available from: http://journals.sagepub.com/doi/abs/10.1177/0011392114533977?journalCode=csia

FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horiz. antropol. [online]. 2001, vol. 7, no. 16, pp. 261-275, ISSN: 1806-9983. DOI: 10.1590/S0104-71832001000200014. Available from: http://ref.scielo.org/9dpqcy

FRAME, D. Problems in the use of literature-based S&T indicators in developing countries. In: MORITA-LOU, H. (ed.) Science and technology indicators for development. Boulder: Westview Press, 1985.

GARFIELD E. Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of PAHO. 1995, vol. 29, no.1, pp.87-95.

GIBBS, W.W. Lost science in the third world. Scientific American. 1995, vol. 273, no. 2, pp. 92-99.

HICKS, D. et al. The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, no. 7548, pp. 429.

MUGNAINI, R. and DIGIAMPIETRI, L. A. The Brazilian National Impact: Movement of Journals Between Bradford Zones of Production and Consumption. In: International Conference on Scientometrics and Informetrics, Istambul, 2015.

MUGNAINI, R. Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos? In: ENANCIB – Encontro Nacional de Pesquisa em Ciência da Informação, João Pessoa, 2015.

MUGNAINI, R., DIGIAMPIETRI, L.A. and MENA-CHALCO, J.P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação. 2014, vol. 26, no. 3, ISSN: 0103-3786. DOI: 10.1590/0103-3786201400030002. Available from: http://ref.scielo.org/v23s7m

MUGNAINI, R., NOYONS, E. and PACKER, A.L. Fluxo de citações inter-nacional: fontes de informação para avaliação de impacto científico no Brasil. In: Encontro Brasileiro de Bibliometria e Cientometria, Rio de Janeiro, 2018.

SANZ, E., ARAGON, I. and MENDEZ, A. The function of national journals in disseminating applied science. Journal of Information Science [online]. 1995, vol.21, no.4, pp. 319-323. DOI: 10.1177/016555159502100408. Available from: http://journals.sagepub.com/doi/pdf/10.1177/016555159502100408

Sobre Rogerio Mugnaini

Con especialidad en indicadores bibliométricos y cientométricos, evaluación de producción científica nacional y política científica, desarrolla investigación sobre revistas científicas desde 2003, cuando desarrolló el Módulo de Bibliometría del Proyecto SciELO. Es docente de la Universidad de São Paulo, en el Departamento de Información y Cultura de la Escuela de Comunicaciones y Artes (ECA), donde coordina el Núcleo de Investigación y Tecnología en Producción Científica. En el marco de la universidad (Vicepresidente de la Comisión de Acreditación del Programa de Apoyo a las Publicaciones Científicas Periódicas de la USP, entre 2010 y 2016) como a nivel nacional (Evaluaciones Trienal 2013 y Quadrienal 2017 del área de Comunicación e Información – Capes). Miembro afiliado de la Asociación Nacional de Investigación y Postgrado en Ciencia de la Información (ANCIB) e International Society of Scientometrics and Informetrics (ISSI).

Traducido del original en portugués por Ernesto Spinak.