Nos dias atuais, estudantes, acadêmicos e pesquisadores aspiram a oportunidades em instituições de ensino superior muitas vezes em países diferentes de sua origem, em busca de excelência no ensino, posição na carreira ou especialização em uma área específica. Neste processo, indicadores de qualidade de universidades e centros de pesquisa são referências para uma escolha adequada. Por outro lado, as universidades são afetadas ao terem sua reputação exposta e questionadas quanto ao ranking recebido.
Data de 1983 a publicação do primeiro ranking universitário norte-americano, sendo que os estudos que o originaram tiveram início em 1870, quando órgãos ligados ao sistema universitário daquele país iniciaram a avaliação de suas instituições de ensino superior. O primeiro ranking internacional de instituições foi realizado pela Shanghai Jiao Tong University, Shangai, China, denominado Academic ranking of World Universities’ (ARWU). Sua publicação causou certa tensão, especialmente na Europa, pois as instituições dos Estados Unidos e do Reino Unido dominavam as listas das 20 melhores e das 100 melhores universidades. Em 2004, como proposta da Europa frente ao ARWU, foi criado o Times Higher Education Supplement World University Ranking, depois denominado simplesmente Times Higher Education (THE).
Desde então, vem surgindo novos rankings internacionais como iniciativas de empresas privadas, organizadas por grandes veículos de comunicação ou instituições de ensino superior e de pesquisa, que diferem na metodologia e indicadores utilizados, bem como na forma de apresentar os resultados. Existe certa predileção por parte da sociedade por tabelas que ordenam as instituições por indicadores de excelência, as denominadas league tables, numa analogia à classificação de times em campeonatos esportivos. Há outras formas de apresentar os resultados que compilam vários indicadores sem, entretanto, classificar as instituições em ordem de excelência, auferida pela pontuação total em quesitos, como qualidade do corpo docente e publicações em periódicos de prestígio, a infraestrutura e a presença de estudantes estrangeiros.
Serão apresentados e discutidos aqui os indicadores utilizados para avaliar a produção científica das instituições nos principais rankings universitários internacionais.
O primeiro ranking internacional de Universidades foi criado em 2003 por iniciativa da Shanghai Jiao Tong University em Shangai, China, denominado Academic ranking of World Universities’ (ARWU), que vem sendo atualizado anualmente. Os indicadores de produção científica incluem o número de artigos publicados nos prestigiosos periódicos Nature e Science (que representam 20% do total),o número de artigos indexados no Science Citation Index Expanded (SCIE)e Social Science Citation Index (SCCI), Thomson Reuters (20%),e o número de pesquisadores mais citados selecionados pela Thomson Scientific (também 20%).
A produção científica neste ranking, portanto, é responsável por relevantes 60% do peso dos indicadores utilizados na avaliação.
Além do ranking mundial, a ARWU também publica avaliações por país e por área do conhecimento.
O segundo ranking mundial, Times Higher Education (THE), foi publicado em 2004, em contrapartida ao ARWU criado no ano anterior, e utilizou o coletor e processador de dados Quacquarelly-Symonds (QS) entre 2004 e 2009. A partir desta data, o THE passou a utilizar dados da Thomson Reuters. O número de artigos publicados em periódicos indexados por esta base de dados é normalizado pelo número de pesquisadores e por assunto, fornecendo dados sobre a capacidade da instituição em publicar seus resultados de pesquisa em periódicos de qualidade submetidos à revisão por pares. Este indicador representa 6% do total.
As citações medem a influência da pesquisa das instituições, e no ranking THE representam 30% dos pontos avaliados. Trata-se do indicador único mais significativo de todos, avaliado entre os 12 mil periódicos que fazem parte da base Thomson Reuters, contabilizadas por um período de cinco anos, para levar em conta também áreas cuja meia vida de citações é maior, como é o caso das ciências sociais e humanidades. Também são feitas correções para não favorecer instituições especializadas em temas que sabidamente geram elevado número de citações, como ciências da saúde, física e matemática.
A companhia multinacional com sede em Londres, Inglaterra, Quacquarelli-Symonds que originalmente fornecia dados para o ranking THE, publica desde 2004 o guia TopUniversities das melhores instituições mundiais. Os indicadores de produção científica incluem citações por artigo (corrigidas para disciplinas que atraem poucas citações), com 4% dos pontos, e artigos publicados por pesquisador, também com 4%, ambos coletados na base Scopus, empresa afiliada ao publisher multinacional Elsevier.
O ranking também fornece listas por regiões e a categoria QS Stars, na qual as instituições são avaliadas não apenas por sua capacidade de pesquisa e ensino, mas também por suas instalações, inovação e seu envolvimento com a região onde estão situadas. Isto permite destacar universidades jovens ou em países emergentes que, pelos critérios da maioria dos rankings, provavelmente não figurariam entre as 500 primeiras.
O Centre for Science and Technology Studies (CWTS) da Universidade de Leiden, na Holanda, desenvolveu sua própria metodologia para medir, desde 2008, o impacto científico e outros indicadores com a finalidade de selecionar as 500 melhores instituições no mundo.
Os dados bibliométricos provêm da base Web of Science, e lá é coletado o número de publicações da instituição nos últimos cinco anos. As citações são calculadas por um algoritmo que considera as citações recebidas nos últimos cinco anos, normalizados pelas diferentes áreas do conhecimento e número de publicações, descontadas as autocitações.
O CWTS também fornece informação sobre cooperação entre universidades e indústria e mapas de colaboração entre as universidades integrantes do ranking.
A iniciativa é um projeto em desenvolvimento por parte da European Classification of Higher Education Institutions, concebido em 2005 como uma alternativa aos rankings baseados em produtividade de pesquisa, e que oferece um ranking “multidimensional” de instituições e universidades europeias (excetuando o Reino Unido, porém) ancorado em uma ampla gama de indicadores.
Os principais produtos do ranking, que fornece um panorama da diversidade institucional europeia, incluem o ProfileFinder, uma lista de instituições de ensino superior na qual se podem comparar determinadas características mencionadas, e o ProfileViewer, que fornece um perfil de atividade institucional usado para comparar instituições.
Os indicadores de produtividade científica utilizados são o número anual de publicações acadêmicas submetidas ao processo de revisão por pares relativo ao numero de pesquisadores da instituição, e outros tipos de publicação resultantes de pesquisa, também relativos ao número de acadêmicos, que não fazem parte da categoria anterior.
Este novo ranking universitário, criado com o financiamento da União Europeia, foi lançado em janeiro de 2013 e terá sua prmeira listagem publicada no início de 2014. O foco deste projeto será avaliar inicialmente instituições da Europa, Reino Unido, Estados Unidos, Ásia e Austrália.
Sua abordagem difere dos demais rankings, focados principalmente na excelência em pesquisa, e inclui indicadores como a reputação em pesquisa, qualidade de ensino e aprendizagem, a orientação internacional, transferência de conhecimentos, e contribuição para o crescimento regional.
A Comisão Europeia e os responsáveis pelo projeto ainda não definiram a fonte dos indicadores de produtividade em pesquisa, mas informam que deverão utilizar as bases da Thomson Reuters (Web of Science) e Elsevier (Scopus).
O Webometrics ranking of World Universities foi lançado em 2004 como iniciativa do Laboratório de Cibernética do Consejo Superior de Investigaciones Científicas (CSIC) da Espanha. O projeto foi concebido para promover a disseminação através da publicação em acesso aberto de artigos e outros documentos na Web.
Indicadores na Web são ferramentas usadas para avaliações de modo geral, porém Webometrics não utiliza o número de acessos ou navegabilidade dos sites como indicador de desempenho e visibilidade das instituições, porém o volume de conteúdos, abertura e impacto das instituições na Web, com ênfase nos resultados de pesquisa.
Assim como os demais rankings, este também tem no impacto da produção científica das instituições seu maior foco. O que o diferencia, entretanto, é que na Web estão disponíveis outras formas de publicação como repositórios, periódicos exclusivamente online, e também produtos de comunicação científica informais como blogs, wikis e outros. Em última análise, o ranking busca motivar acadêmicos a expor na Web sua presença, atraindo a atenção da comunidade científica e da sociedade como um todo.
O ranking inclui instituições de ensino superior, hospitais e centros de pesquisa em todos os continentes, e também os blocos BRICS e CIVETS, bem como análises por áreas do conhecimento e um ranking mundial de repositórios.
Os dados são atualizados online a cada seis meses desde 2004 e o ranking afere, com base em normalização, em escala logarítimica das variáveis atividade/presença e visibilidade/impacto na Web combinação com relação 1:1, o Fator de Impacto Web, por meio do qual as instituições são ranqueadas.
Em 2012, o SCImago criou o SCImago Institutions Ranking (SIR), utilizando a base de dados Scopus, parte integrante do publisher multinacional Elsevier. O SRI publica dois relatos anuais, um deles com instituições Iberoamericanas e outro, de caráter global.
O SIR possui características diferentes dos demais rankings universitários por não produzir listas de instituições ordenadas por prestígio, as denominadas league tables, mas um compêndio de caráter inclusivo que se propõe a analisar os resultados de pesquisa na Iberoamérica, e no mundo. A forma de apresentar os resultados consiste em tabelas que contêm uma riqueza de dados incluido a posição da instituição de acordo com o critério escolhido, o total de documentos publicados no período de cinco anos, indicadores de citação normalizados, número de artigos em periódicos de alto impacto, e o percentual de taxa de excelência, expresso pelo número de artigos incluídos na proporção dos 10% artigos mais citados em sua área.
O SIR apresenta-se com uma metodologia inovadora ao ranquear universidades que estão situadas fora do eixo EUA-Reino Unido, e que não seriam incluídas nos rankingsleague table, permitindo assim uma análise justa e adequada ao perfil destas instituições.
Tendo em vista o vasto crescimento do número de instituições de ensino superior no Brasil nos últimos anos, surgiu também a demanda por um ranking nacional de universidades, adequado à realidade e ao contexto brasileiro.
Por iniciativa do jornal Folha de São Paulo, Datafolha e supervisão do coordenador científico do SciELO e especialista em análise da produção científica, Rogerio Meneghini, foi desenvolvido o ranking Universitário Folha (RUF) cuja primeira edição foi publicada em 2012.
Os indicadores de produção científica utilizados no estudo contam 55% do total de pontos e foram extraídos da Web of Science (Thomson Reuters), e incluem número total de publicações, citações recebidas, artigos com colaboração internacional. Estes dados são normalizados pelo número de docentes na instituição e são contabilizados também artigos na base SciELO, o que dota o RUF com uma abordagem mais ampla e contextualizada da produção científica brasileira.
Considerações Finais
Os rankings universitários que tiveram início nos anos 2000 vieram preencher uma lacuna existente ao nortear a escolha de estudantes e acadêmicos em busca de qualidade no ensino e pesquisa ao redor do mundo.
Avaliações quantitativas tendem a ser mais facilmente compreendidas e utilizadas do que as qualitativas e, assim como indicadores de impacto científico ranqueiam periódicos, rankings universitários listam instituições. Este paralelo, entretanto, inclui um alerta sobre a confiabilidade destes indicadores, assim como as manifestações recentes sobre o uso indiscriminado do fator de impacto1.
São inúmeros os problemas apontados nos indicadores de produção científica nos rankings, tais como: a desvantagem de artigos publicados em idiomas diferentes do inglês com relação a citações; a reputação a priori de instituições da América do Norte, Reino Unido e Europa tornando propensas melhores avaliações; as diferenças inerentes entre resultados nas áreas de ciências da vida e ciências sociais; o uso do fator de impacto dos periódicos onde é disseminada a produção científica da instituição; as várias formas do processo de revisão por pares utilizados por diferentes periódicos; e outros.
A pesquisadora Ellen Hazelhorn do Dublin Institute of Technology, em seu livro rankings and theReshaping of Higher Education: The Battle for World-Class Excellence faz uma forte crítica ao uso frequente dos rankings por tomadores de decisão e agências de fomento em pesquisa, que ela também manifestou durante a conferência organizada pela UNESCO em 2011 rankings and Accountability in Higher Education: Uses and Misuses.Ellen afirma que os rankings incluem menos de 1% do total de instituições existentes no mundo, dando a falsa impressão de que o desenvolvimento cultural, econômico e em saúde depende destas universidades no topo da lista.
Na mesma ocasião, a Vice-Reitora da Malaysia’s National University, Sharifah Shahabudin, declarou que mais importante do que a posição de uma universidade em um ranking, sua função principal é “antecipar e liderar continuamente por meio da inovação criando novos valores, bem como uma nova ordem social, ambiental e financeira para a universidade, a nação e a região”. Em sua visão, os indicadores deveriam medir o impacto da universidade na sociedade em que está inserida, o que ainda deve ser criado e aperfeiçoado.
WALTMAN, L., et al. The Leiden ranking 2011/2012: Data collection, indicators, and interpretation. 2012. [viewed 16 August 2013]. Available from: arXiv:1202.3941. http://arxiv.org/abs/1202.3941
Sobre Lilian Nassi-Calò
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Indicadores de produtividade científica em rankings universitários: critérios e metodologias [online]. SciELO em Perspectiva, 2013 [viewed ]. Available from: https://blog.scielo.org/blog/2013/08/15/indicadores-de-produtividade-cientifica-em-rankings-universitarios-criterios-e-metodologias/
O segundo ranking mundial, Times Higher Education (THE), foi publicado em 2004, em contrapartida ao ARWU criado no ano anterior, e utilizou o coletor e processador de dados Quacquarelly-Symonds (QS) entre 2004 e 2009. A partir desta data, o THE passou a utilizar dados da Thomson Reuters. O número de artigos publicados em periódicos indexados por esta base de dados é normalizado pelo número de pesquisadores e por assunto, fornecendo dados sobre a capacidade da instituição em publicar seus resultados de pesquisa em periódicos de qualidade submetidos à revisão por pares. Este indicador representa 6% do total.
A companhia multinacional com sede em Londres, Inglaterra, Quacquarelli-Symonds que originalmente fornecia dados para o ranking THE, publica desde 2004 o guia TopUniversities das melhores instituições mundiais. Os indicadores de produção científica incluem citações por artigo (corrigidas para disciplinas que atraem poucas citações), com 4% dos pontos, e artigos publicados por pesquisador, também com 4%, ambos coletados na base Scopus, empresa afiliada ao publisher multinacional Elsevier.
O Centre for Science and Technology Studies (CWTS) da Universidade de Leiden, na Holanda, desenvolveu sua própria metodologia para medir, desde 2008, o impacto científico e outros indicadores com a finalidade de selecionar as 500 melhores instituições no mundo.
A iniciativa é um projeto em desenvolvimento por parte da European Classification of Higher Education Institutions, concebido em 2005 como uma alternativa aos rankings baseados em produtividade de pesquisa, e que oferece um ranking “multidimensional” de instituições e universidades europeias (excetuando o Reino Unido, porém) ancorado em uma ampla gama de indicadores.
Este novo ranking universitário, criado com o financiamento da União Europeia, foi lançado em janeiro de 2013 e terá sua prmeira listagem publicada no início de 2014. O foco deste projeto será avaliar inicialmente instituições da Europa, Reino Unido, Estados Unidos, Ásia e Austrália.
O Webometrics ranking of World Universities foi lançado em 2004 como iniciativa do Laboratório de Cibernética do Consejo Superior de Investigaciones Científicas (CSIC) da Espanha. O projeto foi concebido para promover a disseminação através da publicação em acesso aberto de artigos e outros documentos na Web.
Em 2012, o SCImago criou o SCImago Institutions Ranking (SIR), utilizando a base de dados Scopus, parte integrante do publisher multinacional Elsevier. O SRI publica dois relatos anuais, um deles com instituições Iberoamericanas e outro, de caráter global.
Tendo em vista o vasto crescimento do número de instituições de ensino superior no Brasil nos últimos anos, surgiu também a demanda por um ranking nacional de universidades, adequado à realidade e ao contexto brasileiro.
Sobre Lilian Nassi-Calò
Pingback: Está na hora de comparar rankings universitários | Universidade, Ciência e Ambiente