O sistema Qualis: a perspectiva de um periódico multidisciplinar [Publicado originalmente no editorial do vol. 89 no. 3 nos Anais da Academia Brasileira de Ciências]

Por Alexander W.A. Kellner, Laboratório de Sistemática e Tafonomia de Vertebrados Fósseis, Departamento de Geologia e Paleontologia, Museu Nacional/UFRJ, Rio de Janeiro, RJ, Brasil

Há uma grande quantidade de literatura sobre o sistema Qualis e pergunta-se o que alguém pode escrever sobre isso, que já não tenha sido discutido. Neste breve ensaio, vou apresentar a perspectiva de um periódico multidisciplinar que tem que viver (ou sobreviver) no ambiente muito complexo criado pelo Qualis e os efeitos colaterais deletérios gerados para periódicos com amplo escopo, como os Anais da Academia Brasileira de Ciências (AABC).

O sistema Qualis foi introduzido em 1998 pela CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), uma agência do governo brasileiro cujo objetivo é avaliar e promover os programas de pós-graduação brasileiros. Desde o início, ficou claro que um dos principais aspectos de um programa de pós-graduação são as publicações de pesquisadores e estudantes. Uma vez que a quantidade de artigos produzidos é bastante elevada, um sistema teve que ser desenvolvido para avaliar esta produção. Foi assim que o Qualis entrou no cenário. Essencialmente, este sistema classifica publicações em estratos que são utilizados para avaliar um determinado programa de pós-graduação. Este sistema foi alterado ao longo dos anos, e atualmente existem oito níveis: A1 e A2, os mais elevados; B1 a B5; e C, o mais baixo, que nada adiciona ao processo de avaliação. Até agora está bem, se não fosse um pequeno detalhe: a porcentagem de A1 + A2 não pode ser superior a 25% de todas os periódicos avaliados. Além disso, a porcentagem de A1 + A2 + B1 não pode ser mais da metade dos periódicos que são levados em consideração em um determinado ano. Voltarei a este ponto mais tarde.

Como se sabe, AABC é o único periódico produzido no Brasil que pode ser considerado verdadeiramente multidisciplinar, publicando artigos de física e matemática a paleontologia e cienciometria, passando pela descrição de novas espécies (biodiversidade), pesquisa de novos compostos químicos, estudos que poderiam levar à cura de doenças e novas metodologias aplicadas à engenharia, apenas para citar alguns. Não é de admirar que nosso periódico apareça em várias áreas avaliadas pelo CAPES, que agora são pouco menos de 50. Desde 2010, AABC está listado em 28 (2011) até 39 (2016) áreas com grande variação em relação aos estratos. Por exemplo, na última lista Qualis (2016), a classificação do AABC variava de A2 (por exemplo, Antropologia/Arqueologia, Ciências Agrárias) a B5 (Ciências Biológicas I e II). Apenas um lembrete: B5 é praticamente nada no atual sistema de avaliação.

Quando a classificação Qualis começou a se concentrar no Fator de Impacto (FI) para classificar os periódicos nos respectivos estratos, havia uma preocupação imediata dos periódicos brasileiros, os quais tinham poucas chances de competir com outros do exterior. O medo era que as contribuições com maior potencial de impacto produzido por cientistas brasileiros desapareceriam da superfície editorial dos periódicos produzidos no país. Consciente disso, a CAPES permitiu que cada área escolhesse um pequeno número selecionado de periódicos nacionais considerados relevantes para as respectivas áreas para ser classificados em estratos mais altos. Por algum tempo, isso também foi seguido por um aumento substancial do financiamento, ajudando vários periódicos a subir. Este método indutivo foi muito bem-vindo e atenuou os problemas criados pelo sistema Qualis. Mas não para o AABC.

Ao longo dos anos e com diferentes editores-chefes, o AABC fez grandes esforços para melhorar. Desde 2008, o principal objetivo foi criar as condições necessárias para aumentar a quantidade de manuscritos de boa qualidade publicados, que passaram de 61 em 2008 para 200 (não incluindo editoriais) em 2016 (Fig. 1a). Este número ainda é muito baixo quando comparado com os mais de 3.000 publicados pelo PNAS (Proceedings of the National Academy of Sciences of the United States of America) e estamos atualmente planejando atingir 500 artigos no futuro próximo. Apesar dos tempos econômicos difíceis, conseguimos introduzir várias melhorias, como a possibilidade de publicar imagens em cores na versão impressa com baixo custo (sem custo para a versão online), capa a cores, publicação ahead of print, boletins informativos, volumes especiais e, no âmbito geral, um novo sistema de submissão online. O último foi disponibilizado pelo SciELO em novembro de 2012, resultando em um aumento significativo das submissões (Fig. 1a).

Figura 1 – Gráficos mostrando o balanço anual de 2008 e 2016 para artigos recebidos, recusados e publicados no AABC. a – valores totais para todas as seções do AABC; b – valores totais para as ciências físicas; c – valores totais para as ciências biológicas; d – valores totais para as ciências agrárias.

A taxa de submissão varia de acordo com a área do conhecimento. Por uma grande margem, o menor número de artigos recebidos por este periódico vem de ciências físicas. Nos últimos oito anos, o AABC recebeu entre um a, no máximo, cinco manuscritos por ano (Fig. 1b). Em 2011 e 2013, não publicamos um único artigo desta disciplina científica. Ao pesquisar através do sistema Qualis, a melhor classificação do AABC em física (na verdade, astronomia e física) foi B3, mas, na maioria das vezes, não foi listada, mesmo quando os manuscritos foram publicados. Honestamente, continuo me perguntando quando esta importante área da ciência será extinta em nosso periódico.

É bem sabido que o sistema Qualis afeta as taxas de submissão, mas não foram disponibilizados muitos dados empíricos pelos periódicos. O AABC também sentiu esse efeito, o que pode ser exemplificado em duas áreas: ciências biológicas e agrárias. A maioria dos manuscritos que recebemos nas ciências biológicas caem no que a CAPES considera como biodiversidade, que reúne áreas como ecologia, zoologia e botânica. Esta área foi sempre a que apresentou a maior taxa de submissão. Não mais. Em 2013, o AABC foi rebaixado de A2 para B2. O efeito sobre a taxa de submissão não foi imediato, particularmente porque tivemos um volume especial em produção. Mas em 2016, o número de manuscritos enviados caiu de 355 (recebidos no ano anterior) para 274 (Fig. 1c). Há indicação de que outra queda deve ser esperada para este ano.

Por outro lado, as ciências agrárias sempre foram bem classificadas no sistema Qualis. Está nos estratos mais altos (A2) e, portanto, as submissões estão aumentando até um ponto que no ano passado superou as ciências biológicas (Fig. 1d). Considerando o histórico de taxas de submissão do AABC, este é um resultado altamente inesperado e não há poucas dúvidas de que o sistema Qualis está por trás disso.

Vamos discutir o rebaixamento do AABC sofrido em biodiversidade em 2013, do qual nunca se recuperou. Qual foi a razão para isso? O principal critério para a classificação de periódicos em certos estratos foi o FI (apesar dos problemas conhecidos deste índice, ver discussão em Casadevall, et al., 2016¹). Com os altos e baixos habituais deste valor, o AABC teria caído do estrato A2 para B1 – o que ainda é bastante atraente para os autores no Brasil! Mas, uma vez que A1 + A2 + B1 não pode ser superior a 50% do total de periódicos avaliadas naquele ano, o comitê de avaliação da área de biodiversidade teve que fazer algumas “escolhas difíceis”. Portanto, para produzir menos “danos”, periódicos nos quais menos pesquisadores da área publicaram artigos foram rebaixados artificialmente, para cumprir a regra de 50% da CAPES. Em outras palavras, embora o AABC tivesse números para uma melhor classificação, este periódico publicou menos artigos em biodiversidade este ano em comparação a outros, e foi “sacrificado” pelo “bem geral” da área. Claro, o AABC continua sendo um periódico multidisciplinar, por isso nunca pode publicar a mesma quantidade de artigos de periódicos com foco mais específico! Em outra situação, testemunhei algo semelhante acontecendo quando eu estava no comitê de avaliação CAPES – desnecessário dizer o constrangimento que isso causou.

As regras de 25% e 50% das CAPES foram seriamente questionadas por algum tempo, mas ainda se aplicam. As tentativas de mitigar os problemas indesejados causados pelo sistema Qualis nunca chegaram ao AABC. Compreensível, cada vez que uma área tem a possibilidade de selecionar periódicos para qualquer benefício, a escolha recairá sempre naqueles que publicam mais artigos naquela área específica. Não há forma do AABC poder competir.

Na revisão publicada por Barata (2016)², foram apresentadas algumas críticas ao mau uso do sistema Qualis. No entanto, deve ser considerado ingênuo não ter previsto que isso aconteceria em diversas circunstâncias, incluindo promoções. Por exemplo, Barata (2016)² critica editores por usar o ranking Qualis para obter mais recursos para seus periódicos. No entanto, o último anúncio de concessão de financiamento para periódicos do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) (Chamada MCTIC/CNPq Nº 25/2016) e CAPES (Edital N ° 13/2016) indica claramente que, para poder para candidatar-se, o periódico deve ter sido classificado ao menos no nível B2 da lista Qualis. Tais contradições mostram a complexidade da situação.

Embora exista um reconhecimento geral das dificuldades impostas pelo sistema Qualis a periódicos multidisciplinares, nada foi feito até agora. Devido à sua natureza e tamanho, o AABC não oferece concorrência a qualquer periódico publicado no Brasil, já que nunca poderíamos publicar todo o bom trabalho que uma área específica produz. Portanto, uma ação afirmativa deve ser tomada no caso do AABC em relação ao sistema Qualis. Esta é a única maneira pela qual o país, que sofre de “Qualisite” (obsessão em usar o sistema Qualis para várias avaliações, induzindo a decisão dos autores sobre para onde enviar seus manuscritos) pode aspirar a publicar um periódico multidisciplinar mais forte. Se tal ação não for feita para promover o periódico da Academia Brasileira de Ciências, então para qual outro?

Notas

1. CASADEVALL, A., et al. ASM journals eliminate Impact Factor information from journal websites. J Clin Microbiol [online]. 2016, vol. 54, no. 9, pp. 2216-2217 [viewed 30 September 2017]. DOI: 10.1128/JCM.01418-16. Available from: http://jcm.asm.org/content/54/9/2216.full

2. BARATA, R.C.B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação [online]. 2016, vol. 13, no. 30, pp. 13-40, ISSN: 2358-2332 [viewed 30 September 2017]. DOI: 10.21713/2358-2332.2016.v13.947. Available from: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947

Referências

ANDRADE, J.B. and GALEMBECK, F. Qualis: Quo Vadis? Quím. Nova [online]. 2009, vol. 32, no. 1, pp. 5. ISSN: 1678-7064 [viewed 30 September 2017]. DOI: 10.1590/S0100-40422009000100001. Available from: http://ref.scielo.org/syf44r

BARATA, R.C.B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação [online]. 2016, vol. 13, no. 30, pp. 13-40, ISSN: 2358-2332 [viewed 30 September 2017]. DOI: 10.21713/2358-2332.2016.v13.947. Available from: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947

CABRAL FILHO, J.E. O Qualis CAPES e além. Rev. Bras. Saúde Matern. Infant. [online]. 2010, vol. 10, no. 4, pp. 403-406, ISSN: 1806-9304 [viewed 30 September 2017]. DOI: 10.1590/S1519-38292010000400001. Available from: http://ref.scielo.org/jmhtks

CASADEVALL, A., et al. ASM journals eliminate Impact Factor information from journal websites. J Clin Microbiol [online]. 2016, vol. 54, no. 9, pp. 2216-2217 [viewed 30 September 2017]. DOI: 10.1128/JCM.01418-16. Available from: http://jcm.asm.org/content/54/9/2216.full

FERREIRA, R.C., ANTONELI, F. and BRIONES, M.R.S. The hidden factors in impact factors: a perspective from Brazilian science. Frontiers in Genetics [online]. 2013, vol. 4, ISSN: 1664-8021 [viewed 30 September 2017]. DOI: 10.3389/fgene.2013.00130. Available from: https://www.frontiersin.org/articles/10.3389/fgene.2013.00130/full

ROCHA-E-SILVA, M. O novo Qualis, que não tem nada a ver com a ciência do Brasil. Carta aberta ao presidente da CAPES. Clinics [online]. 2009, vol. 64, no. 8, pp. 721-724, ISSN: 1980-5322 [viewed 30 September 2017]. DOI: 10.1590/S1807-59322009000800002. Available from: http://ref.scielo.org/2wq6qy

SANTOS, M.A. Paidéia consagra-se como revista A1 no Qualis Periódico CAPES. Paidéia [online]. 2012, vol. 22, no. 51, pp. 1-4, ISSN: 0103-863X [viewed 30 September 2017]. DOI: 10.1590/S0103-863X2012000100001. Available from: http://ref.scielo.org/cktm5g

Para ler o editorial, acesse:

KELLNER, A.W.A. The Qualis system: a perspective from a multidisciplinary journal. An. Acad. Bras. Ciênc. [online]. 2017, vol. 89, no. 3, pp. 1339-1342, ISSN: 1678-2690. DOI: 10.1590/0001-37652017893. Available from: http://ref.scielo.org/p5h8w5

Sobre Alexander W.A. Kellner

Professor Titular e membro da Academia Brasileira de Ciências, é editor-chefe dos AABC. Realizou doutorado na Columbia University (Nova York) e atua no Museu Nacional/UFRJ, para qual foi eleito diretor (2018-2022). Desenvolve pesquisas na área de paleontologia, em especial a evolução e diversificação de répteis fósseis, sobretudo dinossauros e pterossauros (vertebrados alados). Além de diferentes regiões brasileiras, realizou atividades de campo em países como Antártica, Irã, China, Argentina e Chile.

Traduzido do original em inglês por Lilian Nassi-Calò.