El uso de métricas en la evaluación de la investigación es matizado en el Manifiesto de Leiden

Por Lilian Nassi-Caló

Investigadores reunidos en la 19° Conferencia Internacional de Indicadores de Ciencia y Tecnología (STI 2014) llevada a cabo en setiembre de 2014, en Leiden, Holanda, con el objetivo de orientar el uso de métricas en la evaluación de ciencia y restringir los abusos en el uso de indicadores numéricos, propusieron un conjunto de normas – el Manifiesto de Leiden¹. Según los signatarios del documento, muchas de las recomendaciones propuestas no son nuevas para la mayoría de los investigadores pero no es infrecuente que no las lleven en consideración cuando realizan algún tipo de evaluación en investigación.

En un artículo publicado esta semana en la revista Nature por investigadores del Comité Científico de la STI 2014² se presentan los diez principios del Manifiesto de Leiden para el uso adecuado de métricas en la evaluación de ciencia de manera que los investigadores puedan emiten pareceres y estas, a la vez, puedan confiar en los indicadores utilizados responsabilizar las personas que.

El siguiente un resumen de los diez principios:

1. La evaluación cuantitativa debe apoyar la evaluación cualitativa hecha por expertos. Las métricas cuantitativas pueden desafiar tendencias de sesgo en la evaluación por pares y facilitar la valoración, fortaleciendo la evaluación por pares. Sin embargo, los responsables por los pareceres no deben ceder a la tentación de sustituir la toma de decisiones por números. Los indicadores no deben sustituir la evaluación por pares y todos los involucrados son responsables por sus evaluaciones.

2. Medir el desempeño en relación a los objetivos de investigación de la institución, grupo o investigador. Los objetivos del proyecto deben estar indicados al principio, y los indicadores utilizados para evaluar el desempeño deben estar claramente relacionados a esas metas. La elección de los indicadores y las formas en que serán utilizados deberán considerar los contextos socioeconómicos y culturales más amplios. No se puede aplicar un único modelo de evaluación a todos los contextos.
3. Proteger la excelencia en la investigación relevante localmente. En muchos lugares del mundo, excelencia en investigación significa publicar en idioma inglés. Los sesgos son especialmente problemáticos en las ciencias sociales y humanidades, áreas en que la investigación es regional y centrada en lo nacional. Muchas otras áreas tienen una dimensión nacional o regional – por ejemplo, estudios epidemiológicos específicos de determinadas regiones. Este pluralismo y relevancia social tienden a ser suprimidos cuando se generan artículos de interés para los gatekeepers de publicaciones periódicas de alta calidad en inglés. Las métricas basadas en la literatura de alta calidad en un idioma distinto al inglés servirían para identificar y reconocer la excelencia en investigación de carácter local o regional

4. Los procesos de recolección de datos y los procesos de análisis deben ser abiertos, trasparentes y simples. La construcción de bases de datos necesarias para la evaluación deben seguir reglas predeterminadas y claras. La trasparencia permite el escrutinio de los resultados. La sencillez es una calidad de un indicador pues aumenta su trasparencia. Entretanto, métricas simplistas pueden distorsionar los
5. Permitir a los evaluados verificar los datos y el análisis. Para garantizar la calidad de los datos, los investigadores incluidos en estudios bibliométricos deben poder tener acceso para verificar si sus resultados fueron correctamente identificados o someterlos a una auditoría Independiente. Los sistemas de información de las instituciones deben implementar ese chequeo al mismo tiempo que la trasparencia debe orientar el proceso de selección de los proveedores de estos servicios. Hay que tener en cuenta que datos precisos y de alta calidad consumen tiempo y recursos financieros para su recolección y procesamiento.
6. Considerar las variaciones en las áreas de publicación y prácticas de citaciones. La mejor práctica es seleccionar una serie de posibles indicadores y posibilitar a las áreas elegir uno. Algunas áreas – especialmente las ciencias sociales y humanidades – publican preferencialmente libros antes que artículos en publicaciones periódicas, y otras, como las ciencias de la computación tienen la mayor parte de su producción científica diseminada en conferencias. Esta diversidad de formas de publicación de resultados de la investigación debe ser tenida en cuenta al evaluar las diferentes áreas. Las citaciones también varían por área lo que requiere indicadores normalizados; los métodos más robustos de normalización están basados en percentiles.
7. Basar la evaluación de investigadores individuales en uno de sus propios sistemas de evaluación. Se sabe que el índice-h aumenta con la edad, aún sin publicar nuevos trabajos. Además depende da la base de datos en que es calculado, siendo considerablemente más elevado en Google Scholar que en la Web of Science. Leer sobre el trabajo de un investigador es mucho más adecuado que confiar en un número. Aún cuando se hace la comparación de un gran número de investigadores, es siempre mejor hacer un abordaje que considere más información sobre su especialidad, experiencia, actividad e influencia.
8. Evitar objetividad mal colocada y falsa precisión. Indicadores de ciencia y tecnología tienden a la ambigüedad conceptual e incerteza e requieren fuertes premisas que no son universalmente aceptadas. Buenas prácticas indican el uso de múltiples indicadores para ofrecer un cuadro más consistente y próximo a la realidad.
9. Reconocer el efecto sistémico de la evaluación y de los indicadores. Indicadores pueden alterar el sistema por los incentivos que establecen, y estos efectos pueden ser anticipados. Es decir, es preferible, siempre, usar un conjunto de El uso de un único indicador – como número de publicaciones o número total de citaciones – puede llevar a errores de interpretación.
10. Someter los indicadores a un escrutinio y actualizarlos regularmente. La misión de la investigación y los objetivos de la evaluación cambian y el sistema de investigación también evoluciona. Cuando las métricas habituales no son más adecuadas, nuevas surgen. De esa forma los indicadores deben ser revisados y cuando sea necesario, modificados.

Próximas etapas

De acuerdo con los autores del artículo la evaluación de la investigación puede ter un rol relevante en el desarrollo de la ciencia y su interacción con la sociedad, siempre que sigan estos principios. Las métricas de investigación pueden proveer información fundamental que sería difícil de obtener basados en la experiencia personal. La información cuantitativa, por lo tanto, es principalmente un instrumento y no debe ser transformada en objetivo.

Según el Manifiesto, son necesarias evidencias cualitativas e cuantitativas para servir de base para la toma de decisiones y la selección de estas debe ser hecha considerando el objetivo y la naturaleza de la investigación que será evaluada. “El proceso de toma de decisiones sobre ciencia debe estar basada en un proceso de alta calidad informado por datos de alta calidad.”

Notas

¹ HICKS, D, and et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, nº 7548 , pp. 429–431. DOI: http://dx.doi.org/10.1038/520429a

² El manifiesto de Leiden sobre indicadores de investigación. Ingenio.upv. 2015. Available from: http://www.ingenio.upv.es/es/manifiesto

Referencias

El manifiesto de Leiden sobre indicadores de investigación. Ingenio.upv. 2015. Available from: http://www.ingenio.upv.es/es/manifiesto

HICKS, D, and et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, nº 7548 , pp. 429–431. DOI: http://dx.doi.org/10.1038/520429a

Enlace Externo

STI 2014 Leiden – <http://sti2014.cwts.nl/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del orginal en portugués por Thais Forster