El sistema Qualis: una perspectiva desde una revista multidisciplinaria [Publicado originalmente en el editorial del vol. 89 no. 3 en Anais da Academia Brasileira de Ciências]

Por Alexander W.A. Kellner, Laboratório de Sistemática e Tafonomia de Vertebrados Fósseis, Departamento de Geologia e Paleontologia, Museu Nacional/UFRJ, Rio de Janeiro, RJ, Brazil

Hay una gran cantidad de literatura disponible sobre el sistema Qualis y uno se pregunta qué puede escribir alguien sobre ese tema que no se haya discutido previamente. En este breve ensayo, mostraré la perspectiva de una revista multidisciplinaria que tiene que vivir (o sobrevivir) en el entorno muy complejo creado por Qualis y los efectos secundarios nocivos para revistas con ámbitos amplios como el de los Anales de la Academia Brasileña de Ciencias (AABC).

El sistema Qualis fue introducido en 1998 por CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), una agencia del gobierno brasileño cuyo propósito es evaluar y fomentar los programas de postgrado brasileños.

Desde el mismo principio quedó claro que uno de los principales aspectos de un programa de posgrado son las publicaciones tanto de investigadores como de estudiantes. Dado que la cantidad de artículos producidos es alta, se tuvo que desarrollar un sistema para discriminar esta producción. Así es como Qualis entró en escena. Esencialmente este sistema clasifica las publicaciones en estratos que se usan posteriormente para evaluar un programa de graduación en particular. Este sistema ha cambiado a lo largo de los años, y actualmente tiene ocho niveles: A1 y A2, los más altos; B1 a B5; y C, el más bajo que no agrega nada al proceso de evaluación. Hasta aquí todo bien, si no fuera por un pequeño detalle: el porcentaje de A1 + A2 no puede ser mayor al 25% de todas las publicaciones evaluadas. Además, el porcentaje de A1 + A2 + B1 no puede ser más de la mitad de las revistas que se toman en consideración en un año determinado. Volveré sobre esto más tarde.

Como es sabido, AABC es la única revista producida en Brasil que puede considerarse verdaderamente multidisciplinaria, publicando artículos desde física y matemáticas, hasta paleontología y cienciometría, pasando por la descripción de nuevas especies (biodiversidad), investigación de nuevos compuestos químicos, estudios que podrían conducir a la cura de enfermedades, y nuevas metodologías aplicadas a la ingeniería, sólo para citar algunas. No es de extrañar que nuestra revista aparezca en varias áreas diferentes evaluadas por CAPES, que ahora son algo menos de 50. Desde 2010, AABCD figura en 28 (2011) hasta 39 (2016) áreas con bastante variación con respecto a los estratos. Por ejemplo, en la última lista Qualis (2016), la clasificación de AABC fluctúa desde A2 (p.ej: Antropología/Arqueología; Ciencias Agrarias) a B5 (Ciencias Biológicas I y II). Sólo un recordatorio: B5 está cerca de la nada en el sistema de evaluación presente.

Cuando la clasificación Qualis comenzó a enfocarse en el Factor de Impacto (FI) para clasificar revistas en los estratos respectivos, hubo una preocupación inmediata de las revistas brasileñas que tenían pocas posibilidades de competir con otras en el extranjero. El temor era que las contribuciones con un impacto potencial más alto producidas por científicos brasileños se desvanecerían de la superficie editorial de las revistas producidas en el país. Consciente de ello CAPES permitió que cada área eligiera un pequeño número de revistas nacionales consideradas relevantes para el área respectiva que se clasificaría en estratos superiores. Durante algún tiempo, esto también fue seguido por un aumento sustancial en la financiación, lo que ayudó a varias revistas para crecer. Este método inductivo fue muy bienvenido y atenuó los problemas creados por el sistema Qualis. Pero no para AABC.

A lo largo de los años y con diferentes editores en jefe, AABC ha realizado grandes esfuerzos para mejorar la revista. Desde 2008, el objetivo principal fue crear las condiciones necesarias para aumentar la cantidad de manuscritos arbitrados de buena calidad, que pasaron de 61 en 2008 a 200 (sin incluir editoriales) en el último año (2016, Fig. 1a). Este número aún es demasiado bajo cuando se compara con los más de 3.000 publicados por PNAS (Proceedings of the National Academy of Sciences of the United States of America) y actualmente estamos buscando alcanzar 500 en el futuro cercano. A pesar de los tiempos económicos difíciles, logramos introducir varias mejoras, tales como la posibilidad de publicar imágenes en color en la versión impresa a bajo costo (gratis para la versión en línea), portadas a color, publicaciones antes de imprimir (ahead of print), boletines informativos, volúmenes especiales y, para todos, un nuevo sistema en línea. Esto último fue puesto a disposición por SciELO en noviembre de 2012, lo que resultó en un dramático aumento de envíos (Fig.1a).

Figura 1 – Gráficas mostrando el balance anual entre 2008 y 2016 por articulos recibidos, rechazados y publicados en AABC. a-valores totales para todas las seccioines de AABC; b-valores totales para Ciencias Fisicas; c-valores totales para Ciencias Biológicas; d–valores totales para Ciencias Agrarias

La tasa de presentación varía de campo a campo. Con mucho, el menor número de artículos recibido por esta revista viene de las Ciencias Físicas. En los últimos ocho años, AABC ha recibido de uno a un máximo de cinco manuscritos por año (Fig. 1b). En 2011 y 2013 no publicamos un solo artículo en este campo básico de la ciencia. Proyectando a través del sistema Qualis, la mejor clasificación de AABC en Física (realmente Astronomía y Física) fue B3, pero la mayor parte de las veces esta revista no fue listada, incluso cuando fueron publicados manuscritos. Honestamente, sigo preguntándome cuándo se va a extinguir este área importante en nuestra revista.

Es bien sabido que el sistema Qualis afecta las tasas de envíos, pero las publicaciones no proporcionan muchos datos empíricos. AABC también ha sentido esta efecto, que puede ser ejemplificado en dos áreas: Ciencias Biológicas y Ciencias Agrarias. La mayoría de los manuscritos que recibimos en las Ciencias Biológicas cae en lo que CAPES considera como Biodiversidad, que une áreas tales como la ecología, zoología y botánica. Esta área fue siempre una de las que tenía mayor número de envíos. Ya no. En 2013 AABC fue rebajada de A2 a B2. El efecto sobre la tasa de envíos no fue inmediato, en particular porque teníamos un volumen especial en producción. Pero en 2016 el número de manuscritos enviados descendió de 355 (recibidos el año anterior) a 274 (Fig. 1c). Hay indicios de que otra caída se esperaria para este año.

Por otra parte, el area de Ciencias Agrarias siempre fue bien clasificada en el sistema Qualis. Están en el estrato superior (A2) y por eso los envíos están aumentando al punto que el año pasado sobrepasó a las Ciencias Biológicas (Fig.1d). Considerando la tasa histórica de envíos de AABC, esto es un resultado altamente inesperado y parece haber pocas dudas de que el sistema Qualis esté detrás de esto.

Analicemos la rebaja que sufrió AABC en Biodiversidad en 2013, de la que nunca se recuperó. ¿Cuál fue la razón para eso? El criterio principal para clasificar revistas en un cierto estrato era el FI (a pesar de los conocidos problemas de ese número, vea la discusión en Casadevall et al. 2016¹). Con los altibajos habituales de este valor, AABC debería haber caído del estrato A2 al B1 – ¡lo cual todavía es bastante atractivo para los autores en Brasil! Pero, dado que A1 + A2 + B1 no pueden superar el 50% del total de revistas evaluadas en ese año, el comité de evaluación del área de Biodiversidad tuvo que hacer algunas “decisiones duras”. Por eso, para producir menos “daño”, las revistas donde menos investigadores del área habían publicado artículos, fueron degradadas artificialmente para cumplir con la regla del 50% de CAPES. En otras palabras, aunque AABC tenía los números para una clasificación mejor, esta revista había publicado menos artículos en Biodiversidad ese año comparado con otros, y fue “sacrificada” por el “bien general” del área. Naturalmente, AABC siendo una revista multidisciplinaria, ¡no podría jamás publicar la misma cantidad de artículos que revistas con un enfoque más específico! En otra situación he sido testigo de que sucedía algo similar cuando estaba en el comité de evaluación de CAPES – ni qué decir tengo de la mala sensación que esto me causó.

Las reglas del 25% y del 50% de CAPES han sido cuestionadas seriamente por algún tiempo, pero todavía se aplican. Las tentativas para mitigar los problemas no deseados causados por el sistema Qualis nunca han llegado a AABC. Es comprensible, cada vez que un área tiene la posibilidad de seleccionar revistas para su beneficio, siempre seleccionará aquellas que publican más artículos en esa área específica. De ninguna manera AABC puede competir.

En la vista publicada por Barata (2016)², presentamos algunas críticas del mal uso del sistema Qualis. Sin embargo, debería considerarse ingenuo no haber previsto que esto sucedería en varias circunstancias, incluyendo promociones. Por ejemplo, Barata (2016)² critica a los editores por el uso del ránking Qualis para obtener más financiación para sus revistas. Sin embargo, el último anuncio de posibilidades de subvención para revistas tanto del Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) (Chamada MCTIC/CNPq Nº 25/2016) y CAPES (Edital N° 13/2016), claramente establecen que, para estar habilitada para aplicar, la revista debe estar por lo menos clasificada en el nivel B2 de la lista Qualis. Tales contradicciones muestran la complejidad de la situación.

Aunque hay un reconocimiento general de las dificultades impuestas por el sistema Qualis a las revistas multidisciplinarias, nada se ha hecho hasta ahora. Debido a su naturaleza y tamaño, AABC no ofrece competencia a ninguna revista publicada en Brasil, dado que nunca seríamos capaces de publicar todos los buenos trabajos que un área específica produce. Por eso, debería tomarse una acción afirmativa en el caso de AABC en lo que respecta al sistema Qualis.

Esta es la única manera por la que el país, que sufre de “Qualisitis” (= obsesión en el uso del sistema Qualis para varias evaluaciones, induciendo la decisión de los autores sobre dónde enviar sus manuscritos) podría aspirar a publicar una revista multidisciplinaria más sólida. Si no se realiza tal acción para fomentar a la revista de la Academia Brasileña de Ciencias, entonces ¿para qué otra?

Notes

1. CASADEVALL, A., et al. ASM journals eliminate Impact Factor information from journal websites. J Clin Microbiol [online]. 2016, vol. 54, no. 9, pp. 2216-2217 [viewed 30 September 2017]. DOI: 10.1128/JCM.01418-16. Available from: http://jcm.asm.org/content/54/9/2216.full

2. BARATA, R.C.B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação [online]. 2016, vol. 13, no. 30, pp. 13-40, ISSN: 2358-2332 [viewed 30 September 2017]. DOI: 10.21713/2358-2332.2016.v13.947. Available from: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947

References

ANDRADE, J.B. and GALEMBECK, F. Qualis: Quo Vadis? Quím. Nova [online]. 2009, vol. 32, no. 1, pp. 5. ISSN: 1678-7064 [viewed 30 September 2017]. DOI: 10.1590/S0100-40422009000100001. Available from: http://ref.scielo.org/syf44r

BARATA, R.C.B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação [online]. 2016, vol. 13, no. 30, pp. 13-40, ISSN: 2358-2332 [viewed 30 September 2017]. DOI: 10.21713/2358-2332.2016.v13.947. Available from: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947

CABRAL FILHO, J.E. The CAPES Qualis and beyond. Rev. Bras. Saúde Matern. Infant. [online]. 2010, vol. 10, no. 4, pp. 403-406, ISSN: 1806-9304 [viewed 30 September 2017]. DOI: 10.1590/S1519-38292010000400001. Available from: http://ref.scielo.org/j5y4mc

CASADEVALL, A., et al. ASM journals eliminate Impact Factor information from journal websites. J Clin Microbiol [online]. 2016, vol. 54, no. 9, pp. 2216-2217 [viewed 30 September 2017]. DOI: 10.1128/JCM.01418-16. Available from: http://jcm.asm.org/content/54/9/2216.full

FERREIRA, R.C., ANTONELI, F. and BRIONES, M.R.S. The hidden factors in impact factors: a perspective from Brazilian science. Frontiers in Genetics [online]. 2013, vol. 4, ISSN: 1664-8021 [viewed 30 September 2017]. DOI: 10.3389/fgene.2013.00130. Available from: https://www.frontiersin.org/articles/10.3389/fgene.2013.00130/full

ROCHA-E-SILVA, M. O novo Qualis, que não tem nada a ver com a ciência do Brasil. Carta aberta ao presidente da CAPES. Clinics [online]. 2009, vol. 64, no. 8, pp. 721-724, ISSN: 1980-5322 [viewed 30 September 2017]. DOI: 10.1590/S1807-59322009000800002. Available from: http://ref.scielo.org/2wq6qy

SANTOS, M.A. Paidéia consagra-se como revista A1 no Qualis Periódico CAPES. Paidéia [online]. 2012, vol. 22, no. 51, pp. 1-4, ISSN: 0103-863X [viewed 30 September 2017]. DOI: 10.1590/S0103-863X2012000100001. Available from: http://ref.scielo.org/cktm5g

Para leer el editorial, vaya a:

KELLNER, A.W.A. The Qualis system: a perspective from a multidisciplinary journal. An. Acad. Bras. Ciênc. [online]. 2017, vol. 89, no. 3, pp. 1339-1342, ISSN: 1678-2690. DOI: 10.1590/0001-37652017893. Available from: http://ref.scielo.org/p5h8w5

Sobre Alexander W.A. Kellner

Profesor Titular y miembro de la Academia Brasilera de Ciências, es editor jefe de los AABC. Realizó el doctorado en la Columbia University (Nueva York) y actúa en el Museu Nacional/UFRJ, para el cual fue elegido director (2018-2022). Desarrolla investigaciones en el área de paleontología, en especial la evolución y diversificación de reptiles fósiles, sobre todo dinosaurios y pterosaurios (vertebrados alados). Además de diferentes regiones brasileñas, realizó actividades de campo en países como Antártida, Irán, China, Argentina y Chile.