Ilustración: FreeDesignFile
Hoy en día los estudiantes, académicos e investigadores aspiran a oportunidades en las instituciones de educación superior a menudo en países diferentes de su origen en procura de la excelencia en la enseñanza, la posición en la carrera, o especialización en un área específica. En este proceso, los indicadores de calidad de las universidades y centros de investigación son puntos de referencia para una elección adecuada. Por otro lado, las universidades se ven afectadas por tener su reputación expuesta y cuestionada en relación con el ránking recibido.
La publicación del primer ránking de universidades en EE.UU. data de 1983, y los estudios se habían originado a principios de 1870, cuando los órganos conectados al sistema universitario en ese país comenzaron la evaluación de sus instituciones de educación superior. El primer ránking internacional de instituciones fue realizado por la Universidad Shanghai Jiao Tong, de Shanghai, China, denominado Academic Ranking of World Universities’ (ARWU). Su publicación causó un poco de tensión, especialmente en Europa, debido a que las instituciones de los Estados Unidos y el Reino Unido dominaban las listas de las 20 mejores y las 100 mejores universidades. En 2004, como propuesta de Europa frente el ARWU fue creado el Times Higher Education Supplement World University Ranking, después simplemente llamado Times Higher Education (THE).
Desde entonces, han estado surgiendo nuevos ránkings internacionales como iniciativas de empresas privadas, organizadas por los principales medios de comunicación o instituciones de educación superior y de investigación, que difieren en la metodología y los indicadores utilizados, así como la forma de presentación de los resultados. Hay una cierta predilección por parte de la sociedad por tablas que ordenan las instituciones por indicadores de excelencia, las denominadas tablas de clasificación, en una analogía con la clasificación de los equipos en campeonatos deportivos. Hay otras maneras de presentar los resultados que compilan diversos indicadores, sin necesidad de clasificar las instituciones de orden de excelencia, obtenidos por puntuación total en temas tales como la calidad de los profesores y las publicaciones en revistas prestigiosas, por la infraestructura y la presencia de estudiantes extranjeros.
Serán presentados y discutidos aquí los indicadores utilizados para evaluar las instituciones científicas en los principales ránkings internacionales de universidades.
Academic Ranking of World Universities
El primer ranking internacional de universidades fue creado en 2003 por iniciativa de la Universidad Shanghai Jiao Tong de Shanghai, China, llamado el Academic Ranking of World Universities’ (ARWU), que se viene actualizando anualmente. Los indicadores de producción científica incluyen el número de artículos publicados en las prestigiosas revistas Nature y Science (que representan el 20% del total), el número de artículos indizados en Science Citation Index Expanded (SCIE) y el Social Science Citation Index (SCCI), Thomson Reuters (20%) y el número de investigadores más citados seleccionados por Thomson Scientific (también 20%). La producción científica en este ránking, por lo tanto, es responsable del 60% del peso correspondiente de los indicadores utilizados en la evaluación.
Además de la clasificación mundial, el ARWU también publica evaluaciones por país y área de conocimiento.
El segundo ránking mundial, Times Higher Education (THE), se publicó en 2004, en contraste con el ARWU creado el año anterior y utilizó el colector y procesador de datos de Quacquarelly-Symonds (QS) entre 2004 y 2009. A partir de esta fecha, THE comenzó a usar datos de Thomson Reuters. El número de artículos publicados en revistas indizadas por esta base de datos está normalizado por el número de investigadores y por tema, aportando datos sobre la capacidad de la institución para publicar sus resultados de investigación en revistas de calidad sujetos a revisión por pares. Este indicador representa el 6% del total.
Las citaciones miden la influencia de la investigación de las instituciones y en el ránking THE representan el 30% de los puntos evaluados. Este es el indicador más importante de todos, evaluado entre las 12.000 revistas que forman parte de la base de Thomson Reuters, contabilizadas por un período de cinco años para tener en cuenta también las áreas en las que la vida media de las citas es mayor, como es el las ciencias sociales y las humanidades. Se hacen también correcciones para no favorecer las instituciones especializadas en áreas conocidas por generar un alto número de citas, como las ciencias de la salud, física y matemáticas.
La empresa multinacional con sede en Londres, Inglaterra, Quacquarelli-Symonds que originalmente proporcionaron datos para el ranking THE, publica desde 2004 la guía TopUniversities de las mejores instituciones del mundo. Los indicadores de producción científica incluyen citas por artículo (corregidas para las disciplinas que atraen pocas citas), con un 4% de los puntos, y artículos publicados por cada investigador, también con 4%, ambos recogidos en Scopus, empresa afiliada a la editorial multinacional Elsevier.
El ránking también proporciona listas por regiones y la categoría QS Stars, en la que las instituciones se evalúan no sólo por su capacidad de investigación y enseñanza, sino también por sus instalaciones, la innovación y la participación con la región en la que están situadas. Esto permite poner de relieve a las universidades jóvenes o en países emergentes que por el criterio de la mayoría de los ránkings probablemente no figurarían entre las primeras 500.
El Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden en los Países Bajos ha desarrollado su propia metodología para medir, desde el año 2008, el impacto de los indicadores científicos y de otro tipo con el fin de seleccionar las 500 mejores instituciones del mundo.
Los datos bibliométricos provienen del Web of Science, y se recoge el número de publicaciones de la institución en los últimos cinco años. Las citas se calculan mediante un algoritmo que tiene en cuenta las citas en los últimos cinco años, normalizadas por las diferentes áreas del conocimiento y el número de publicaciones, descontadas las autocitas.
El CWTS también proporciona información sobre la cooperación entre universidades e industrias y mapas de colaboración entre las universidades integrantes del ránking.
La iniciativa es un proyecto en desarrollo por parte de la European Classification of Higher Education Institutions, concebido en 2005 como una alternativa a los ránkings basados en la productividad de la investigación, y proporciona un ranking “multidimensional” de las instituciones y universidades europeas (excepto el Reino Unido) anclado en una amplia gama de indicadores.
Los principales productos del ránking, que proporcionan una visión general de la diversidad institucional europea, incluyen el ProfileFinder, una lista de instituciones de educación superior en la que se puede comparar ciertas características mencionadas, y ProfileViewer, que proporciona un perfil de la actividad institucional que se utiliza para comparar las instituciones.
Los indicadores de productividad científica utilizados son el número anual de publicaciones científicas presentadas a proceso de revisión por pares relativo al número de investigadores en la institución, y otros tipos de publicaciones resultantes de la investigación, también relativo al número de académicos que no forman parte de la categoría anterior.
Este nuevo ranking universitario, creado con fondos de la Unión Europea, fue lanzado en enero de 2013 y publicará su primer listado a principios de 2014. El objetivo de este proyecto será inicialmente la evaluación de las instituciones en Europa, Reino Unido, Estados Unidos, Asia y Australia.
Su enfoque se diferencia de otros ránkings, enfocados principalmente en la excelencia en la investigación, e incluye indicadores tales como la reputación de la investigación, la calidad de la enseñanza y el aprendizaje, la orientación internacional, la transferencia de conocimientos, y la contribución al crecimiento regional.
La Comisión de la Unión Europea y los responsables del proyecto aún no han definido la fuente de los indicadores de productividad de la investigación, pero informan que deberán utilizar las bases de Thomson Reuters (Web of Science) y Elsevier (Scopus).
El Webometrics Ranking of World Universities se inició en 2004 como una iniciativa del Laboratorio de Cibernética del Consejo Superior de Investigaciones Científicas (CSIC) de España. El proyecto fue diseñado para promover la difusión a través de la publicación en acceso abierto de artículos y otros documentos en la Web
Los indicadores Web son herramientas que se utilizan para las evaluaciones en general, sin embargo Webometrics no utiliza el número de accesos o la navegación de sitios como indicadores de rendimiento y visibilidad de las instituciones, sino el volumen, de contenido, apretura y impacto de las instituciones en la Web, con énfasis en los resultados de investigación.
Al igual que otros ránkings, éste también tiene su principal enfoque en el impacto de la producción científica de las instituciones. Lo que lo distingue, sin embargo, es que en la Web están disponibles otras formas de publicación como repositorios, revistas exclusivamente en línea, así como productos de comunicaciones científicas informales, como blogs, wikis y otros. En última instancia, el ránking tiene como objetivo motivar a los académicos a exponer su presencia en la Web, atrayendo la atención de la comunidad científica y la sociedad en su conjunto.
El ránking incluye a las instituciones de educación superior, hospitales y centros de investigación en todos los continentes y también los bloques BRICS y CIVETS, así como análisis por áreas de conocimiento y un ránking mundial de repositorios.
Los datos se actualizan online cada seis meses desde el año 2004 y la clasificación evalúa, sobre la base de la normalización en escala logarítmica de las variables actividad/presencia y visibilidad/impacto en la Web combinándolas en relación 1:1, el Fator de Impacto Web, mediante el cual se clasifican las instituciones.
En 2012, o SCImago crío o SCImago Institutions Ranking (SIR) utilizando la base de datos Scopus, parte de la editorial multinacional Elsevier. El SRI publica dos relatos anuales, uno sobre las instituciones Iberoamericanos y otro global.
El SIR tiene características diferentes a otras clasificaciones de las universidades por no producir listas ordenadas por instituciones prestigiosas, las llamadas tablas de clasificación, sino un compendio de inclusión que propone analizar los resultados de la investigación en Iberoamérica y el mundo. La forma de presentación de los resultados consiste en tablas que contienen una gran cantidad de datos, incluyendo la posición de la institución de acuerdo con el criterio seleccionado, el número total de documentos publicados en el período de cinco años, los indicadores de citación normalizada, el número de artículos en revistas de alto impacto, y el porcentaje de la tasa de excelencia, expresada por el número de artículos incluidos en la proporción del 10% de los artículos en su área más citada.
El SIR se presenta con una metodología innovadora para ranquear las universidades que se encuentran fuera del eje Estados Unidos-Reino Unido, y no estarían incluidos en los ránkings de los favoritos, lo que permite de este modo un análisis justo y adecuado al perfil de estas instituciones.
Ranking Universitário da Folha
Dado el gran crecimiento en el número de instituciones de educación superior en Brasil en los últimos años, surgió la demanda de un ránking nacional de universidades, adecuado a la realidad brasileña y su contexto.
Por iniciativa del diario Folha de São Paulo, Datafolha y la supervisión del coordinador científico de SciELO y especialista en análisis de producción científica Rogerio Meneghini, fue desarrollado el Ranking Universitário Folha (RUF), cuya primera edición se publicó en 2012.
Los indicadores de producción científica utilizados en el estudio dan cuenta del 55% de los puntos totales y fueron extraídos de la Web of Science (Thomson Reuters), e incluyen el número total de publicaciones, citas, y artículos con colaboración internacional. Estos datos están normalizados por el número de docentes en la institución y también se contabilizan los artículos en la base de datos SciELO, lo que dota al RUF con un enfoque más amplio y en el contexto de la producción científica brasileña.
Consideraciones Finales
Los ránkings de universidades que se iniciaron en la década de los años 2000 vino a llenar un vacío para orientar la elección de los estudiantes y académicos en busca de la calidad en la docencia y la investigación en todo el mundo.
Las evaluaciones cuantitativas tienden a ser más fáciles de entender y de utilizar que las cualitativas y, así como los indicadores de impacto científico ranquean las revistas, los ránkings universitarios listan instituciones. Este paralelo, sin embargo, incluye una advertencia acerca de la fiabilidad de estos indicadores, así como las recientes manifestaciones sobre el uso indiscriminado del factor de impacto1 .
Hay un sinnúmero de cuestiones planteadas en los indicadores de producción científica en los ránkings, tales como: la desventaja de los artículos publicados en idiomas distintos del inglés en relación a las citas; la reputación a priori de las instituciones en Norteamérica, Reino Unido y Europa que les hace propensas a mejores evaluaciones; las diferencias inherentes entre los resultados en las áreas de ciencias de la vida y las ciencias sociales; el uso del factor de impacto de las revistas en las que se difunde la producción científica de la institución; las diversas formas del proceso de revisión por pares utilizado por diferentes revistas; y otras.
La investigadora Ellen Hazelhorn del Dublin Institute of Technology, en su libro Rankings and the Reshaping of Higher Education: The Battle for World-Class Excellence hace una fuerte crítica al uso frecuente de los ránkings por las autoridades y los organismos de financiación de investigación, que ella también manifestó durante la conferencia organizada por la UNESCO en 2011 Rankings and Accountability in Higher Education: Uses and Misuses. Ellen dice que el ránking incluye menos del 1% de las instituciones existentes en todo el mundo, dando la falsa impresión de que el desarrollo de la vida cultural, económica y de salud dependen de estas universidades en el tope de la lista.
En la misma ocasión, la Vicerrectora de la Malaysia’s National University, Sharifah Shahabudin dijo que más importante que la posición de una universidad en un ránking, su función principal es la de “anticipar y liderar continuamente a través de la innovación mediante la creación de nuevos valores, así como un nuevo orden social, ambiental y financiero para la universidad, la nación y la región”. En su opinión, los indicadores deberían medir el impacto de la universidad en la sociedad en la que opera, lo que aún debe ser creado y perfeccionado.
Notas
1 Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO em Perspectiva. [viewed 16 August 2013]. Available from: http://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/
Referencias
HAZELHORN, E. Rankings and the Reshaping of Higher Education: the battle for World-Class Excellence. London: MacMillan Publishers Ltd., 2011.
RAUHVARGERS, A. Global University Rankings and their Impact. Brussels: European University Association, 2011. [viewed 16 August 2013]. Available from: http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEQQFjAA&url=http%3A%2F%2F www.eua.be%2Fpubs%2FGlobal_University_Rankings_and_Their_Impact.pdf&ei=ZLoMUu 6BF9LRiALJxYHICQ&usg=AFQjCNGVKgtKX1TQP811f-Eblozz0T_b2A&sig2=Olv15o64OrD7Bp-DZl3znw&bvm=bv.50768961,d.cGE&cad=rja
UNESCO Global Forum: Rankings and Accountability in Higher Education: Uses and Misuses, Paris, 16-17 May 2011. UNESCO. [viewed 16 August 2013]. Available from: http://www.unesco.org/new/en/education/themes/strengthening-education-systems/higher-education/quality-assurance/rankings-forum/
WALTMAN, L., et al. The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation. 2012. [viewed 16 August 2013]. Available from: arXiv:1202.3941. http://arxiv.org/abs/1202.3941
Sobre Lilian Nassi-Calò
Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.
Traducido del original en portugués por Ernesto Spinak.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Buena información sobre como cada universidad usa los indicadores de productividad. Son muy útiles para destacar los resultados y demostrar la importancia de que la investigación tenga un papel importante.