La evaluación de la investigación debe ir más allá de comparar métricas de impacto

Por Lilian Nassi-Caló

Imagen: Markus Spiske.

La evaluación de los resultados de la investigación es necesaria para determinar qué es relevante, para sustentar decisiones sobre la promoción de proyectos de investigación y para traducir esta producción científica en programas y políticas públicas para toda la sociedad.

El primer indicador bibliométrico que conocemos es el Factor de Impacto (FI), creado en 1972 por Eugene Garfield para evaluar revistas, con la publicación del Science Citation Index del Institute for Scientific Information. De su función original de evaluar revistas, pronto pasó a ser un índice para evaluar programas de posgrado, jerarquizar instituciones y evaluar investigadores en procesos de contratación, promoción de carrera, premios y cualquier otra forma de medir la producción científica que pudiera beneficiar la evaluación cualitativa o más amplia, muchas veces reducido a una lista de publicaciones asociadas a un FI.

Las limitaciones del FI y su amplio uso por parte de la comunidad científica han sido registradas a través de acciones como la San Francisco Declaration on Research Assessment (DORA). Este documento, resultado de la acción de editores y editores reunidos en 2012 en la Annual Meeting of the American Society of Cell Biology, CA, EEUU, enumera las recomendaciones para que los índices de impacto basados en citas, como el IF, dejen de para ser utilizados en la evaluación de investigadores en situaciones de contratación, promoción o concesión de financiación para proyectos de investigación. Hasta la fecha, más de 22.000 personas de 159 países se han registrado en DORA. Luego, en 2015, el Manifiesto de Leiden, originado en la 19ª Conferencia Internacional sobre Indicadores en Ciencia y Tecnología, en 2014, en Leiden, Países Bajos, guía el uso de métricas de evaluación científica en Europa. Hasta la fecha, el Manifiesto ha sido traducido a 25 idiomas, adoptado por instituciones y reconocido por editoriales de todo el mundo.

Al conocer iniciativas como DORA y el Manifiesto de Leiden, el lector podría inferir que las instituciones de investigación, al contratar y evaluar investigadores y las agencias de financiación, al otorgar financiamiento a proyectos, deben ser conscientes de la limitación de las métricas de impacto más utilizadas. también realizan evaluaciones cualitativas y consideran actividades académicas de diversa índole, además de la publicación de artículos, en sus procesos de evaluación, como revisión por pares, orientación al estudiante y publicación de datos de investigación, por ejemplo. Desafortunadamente, la mayoría de las veces, el conocimiento está disociado de la práctica.

Tal y como informa Cameron Neylon¹ en su artículo publicado recientemente en Nature,² los investigadores, especialmente aquellos que se encuentran al inicio de sus carreras y que no cuentan con una producción académica extensa, se encuentran particularmente en desventaja a la hora de contratar oportunidades y obtener financiación para la investigación. Estas decisiones, según Neylon, se basan en pruebas cuestionables que, si fueran datos de investigación, no pasarían por el proceso de revisión por pares.

Por ejemplo, Neylon y su colega Karl Huang³ investigaron los datos que informan las clasificaciones universitarias internacionales. Cada ranking utiliza una determinada base de datos para contabilizar las citas de la producción científica de las instituciones evaluadas, como Web of Science, Scopus o Microsoft Academic. Los autores crearon una clasificación basada en citas de 155 universidades y compararon citas de las tres bases de datos. Los resultados obtenidos muestran que tres universidades cambiaron 110 posiciones, y 45 instituciones cambiaron más de 20 posiciones, cuando se cambió la fuente de datos.

La sorpresa no es que diferentes bases de datos y criterios para cada ranking proporcionen resultados diferentes, sino que la comunidad científica continúa ignorando estas discrepancias y tomando decisiones sobre contratación, financiación de la investigación y políticas públicas basadas en métricas que saben que son defectuosas.

Muchos investigadores, especialmente los más jóvenes, están convencidos de que la metodología de evaluación de la investigación debe cambiar para no tener que elegir entre construir una carrera enfocada en publicaciones y citas o contribuir a la ciencia de la mejor manera posible sin preocuparse demasiado por el impacto. métrica.

Este escenario, sin embargo, puede estar cambiando. En enero de este año se empezó a redactar un documento denominado Agreement on Reforming Research Assessment⁴ y acaba de ser publicado por iniciativa de la European Research Area (ERA), la European University Association (EUA), Science Europe, y la Comisión Europea. El acuerdo cuenta con el apoyo de 350 organizaciones públicas y privadas entre agencias de financiación, universidades, centros de investigación, institutos e infraestructuras, asociaciones y sociedades científicas y asociaciones de investigadores, entre otros, de más de 40 países. Los signatarios del acuerdo se comprometerán a una visión compartida de que la evaluación de la investigación, los investigadores y las organizaciones de investigación reconocen los diversos resultados, prácticas y actividades que maximizan la calidad y el impacto de la investigación. Esto requiere basar la evaluación principalmente en el juicio cualitativo, para lo cual la revisión por pares es central, respaldada por el uso responsable de indicadores cuantitativos. Un video⁵ puesto a disposición por ERA detalla las razones y el proceso de reformar la evaluación de la investigación con opiniones de investigadores entrevistados.

Para que esta nueva cultura de evaluación de la investigación surta efecto, es imperativo que toda la comunidad científica experimente un cambio cultural sobre la evidencia que se utiliza para evaluar los resultados de la investigación. No solo se debe tener en cuenta el resultado, el artículo científico publicado, sino cada paso del proceso para llegar a este artículo, incluida la orientación y capacitación de estudiantes graduados y posdoctorales, actividad de revisión por pares, preparación y publicación de conjuntos de datos, etc. . Asimismo, la calidad de la evidencia presentada en las propuestas de financiación de la investigación y contratación de jóvenes investigadores debe ser evaluada críticamente, considerando también criterios cualitativos, para que los investigadores al inicio de su carrera tengan la oportunidad de ver contemplados sus proyectos.

Este año, la San Francisco Declaration on Research Assessment celebra su décimo aniversario. Tomó una década y un nuevo acuerdo para cimentar lo que DORA y sus seguidores ya estaban defendiendo en 2012, y el Manifiesto de Leiden lo confirmó en 2015.

Notas

1. Cameron Neylon es codirector de Curtin Open Knowledge Initiative, que desarrolla y aboga por el suministro de datos y análisis controlados por la comunidad para respaldar la evaluación de la investigación y la formulación de políticas y estrategias.

2. NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august 2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from: https://www.nature.com/articles/d41586-022-02038-7

3. Karl Huang es investigador en el campo del conocimiento abierto en la Universidad de Curtin en Perth, Australia.

4. Agreement on reforming research assessment [online]. European University Association. 2022 [viewed 19 august 2022]. Available from: https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

5. ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

Referencias

Agreement on reforming research assessment [online]. European University Association. 2022 [viewed 19 august 2022]. Available from: https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

GARFIELD, E. Citation analysis as a tool in journal evaluation. Science [online]. 1972, vol. 178, no. 4060, pp. 471-479 [viewed 19 august 2022]. https://doi.org/10.1126/science.178.4060.471. Available from: https://www.science.org/doi/10.1126/science.178.4060.471

HUANG, C-K, et al. Comparison of bibliographic data sources: Implications for the robustness of university rankings. Quantitative Science Studies [online]. 2020, vol. 1, no. 2, pp. 445–478 [viewed 19 august 2022]. https://doi.org/10.1162/qss_a_00031. Available from: https://direct.mit.edu/qss/article/1/2/445/96150/Comparison-of-bibliographic-data-sources

NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august 2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from: https://www.nature.com/articles/d41586-022-02038-7

Enlaces externos

European Comission: https://ec.europa.eu/info/index_en

European research area (ERA): https://research-and-innovation.ec.europa.eu/strategy/strategy-2020-2024/our-digital-future/european-research-area_en

European Univeristy Association (EUA): https://eua.eu/

Leiden Manifesto for Research Metrics: http://www.leidenmanifesto.org/

Science Europe: https://scienceeurope.org/

The San Francisco Declaration on Research Assessment – DORA: https://sfdora.org/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.