{"id":5147,"date":"2022-08-19T10:30:08","date_gmt":"2022-08-19T13:30:08","guid":{"rendered":"https:\/\/blog.scielo.org\/es\/?p=5147"},"modified":"2022-08-17T16:09:10","modified_gmt":"2022-08-17T19:09:10","slug":"la-evaluacion-de-la-investigacion-debe-ir-mas-alla-de-comparar-metricas-de-impacto","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2022\/08\/19\/la-evaluacion-de-la-investigacion-debe-ir-mas-alla-de-comparar-metricas-de-impacto\/","title":{"rendered":"La evaluaci\u00f3n de la investigaci\u00f3n debe ir m\u00e1s all\u00e1 de comparar m\u00e9tricas de impacto"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f3<\/strong><\/p>\n

\"Fotograf\u00eda<\/a>

Imagen: Markus Spiske<\/a>.<\/em><\/p><\/div>\n

La evaluaci\u00f3n de los resultados de la investigaci\u00f3n es necesaria para determinar qu\u00e9 es relevante, para sustentar decisiones sobre la promoci\u00f3n de proyectos de investigaci\u00f3n y para traducir esta producci\u00f3n cient\u00edfica en programas y pol\u00edticas p\u00fablicas para toda la sociedad.<\/p>\n

El primer indicador bibliom\u00e9trico que conocemos es el Factor de Impacto (FI), creado en 1972 por Eugene Garfield para evaluar revistas, con la publicaci\u00f3n del Science Citation Index del Institute for Scientific Information<\/em>. De su funci\u00f3n original de evaluar revistas, pronto pas\u00f3 a ser un \u00edndice para evaluar programas de posgrado, jerarquizar instituciones y evaluar investigadores en procesos de contrataci\u00f3n, promoci\u00f3n de carrera, premios y cualquier otra forma de medir la producci\u00f3n cient\u00edfica que pudiera beneficiar la evaluaci\u00f3n cualitativa o m\u00e1s amplia, muchas veces reducido a una lista de publicaciones asociadas a un FI.<\/p>\n

Las limitaciones del FI y su amplio uso por parte de la comunidad cient\u00edfica han sido registradas a trav\u00e9s de acciones como la San Francisco Declaration on Research Assessment<\/em><\/a> (DORA). Este documento, resultado de la acci\u00f3n de editores y editores reunidos en 2012 en la Annual Meeting of the American Society of Cell Biology<\/em>, CA, EEUU, enumera las recomendaciones para que los \u00edndices de impacto basados en citas, como el IF, dejen de para ser utilizados en la evaluaci\u00f3n de investigadores en situaciones de contrataci\u00f3n, promoci\u00f3n o concesi\u00f3n de financiaci\u00f3n para proyectos de investigaci\u00f3n. Hasta la fecha, m\u00e1s de 22.000 personas de 159 pa\u00edses se han registrado en DORA. Luego, en 2015, el Manifiesto de Leiden<\/a>, originado en la 19\u00aa Conferencia Internacional sobre Indicadores en Ciencia y Tecnolog\u00eda, en 2014, en Leiden, Pa\u00edses Bajos, gu\u00eda el uso de m\u00e9tricas de evaluaci\u00f3n cient\u00edfica en Europa. Hasta la fecha, el Manifiesto ha sido traducido a 25 idiomas, adoptado por instituciones y reconocido por editoriales de todo el mundo.<\/p>\n

Al conocer iniciativas como DORA y el Manifiesto de Leiden, el lector podr\u00eda inferir que las instituciones de investigaci\u00f3n, al contratar y evaluar investigadores y las agencias de financiaci\u00f3n, al otorgar financiamiento a proyectos, deben ser conscientes de la limitaci\u00f3n de las m\u00e9tricas de impacto m\u00e1s utilizadas. tambi\u00e9n realizan evaluaciones cualitativas y consideran actividades acad\u00e9micas de diversa \u00edndole, adem\u00e1s de la publicaci\u00f3n de art\u00edculos, en sus procesos de evaluaci\u00f3n, como revisi\u00f3n por pares, orientaci\u00f3n al estudiante y publicaci\u00f3n de datos de investigaci\u00f3n, por ejemplo. Desafortunadamente, la mayor\u00eda de las veces, el conocimiento est\u00e1 disociado de la pr\u00e1ctica.<\/p>\n

Tal y como informa Cameron Neylon1<\/sup> en su art\u00edculo publicado recientemente en Nature<\/em><\/a>,2<\/sup> los investigadores, especialmente aquellos que se encuentran al inicio de sus carreras y que no cuentan con una producci\u00f3n acad\u00e9mica extensa, se encuentran particularmente en desventaja a la hora de contratar oportunidades y obtener financiaci\u00f3n para la investigaci\u00f3n. Estas decisiones, seg\u00fan Neylon, se basan en pruebas cuestionables que, si fueran datos de investigaci\u00f3n, no pasar\u00edan por el proceso de revisi\u00f3n por pares.<\/p>\n

Por ejemplo, Neylon y su colega Karl Huang3<\/sup> investigaron los datos que informan las clasificaciones universitarias internacionales. Cada ranking utiliza una determinada base de datos para contabilizar las citas de la producci\u00f3n cient\u00edfica de las instituciones evaluadas, como Web of Science<\/em>, Scopus<\/em> o Microsoft Academic<\/em>. Los autores crearon una clasificaci\u00f3n basada en citas de 155 universidades y compararon citas de las tres bases de datos. Los resultados obtenidos muestran que tres universidades cambiaron 110 posiciones, y 45 instituciones cambiaron m\u00e1s de 20 posiciones, cuando se cambi\u00f3 la fuente de datos.<\/p>\n

La sorpresa no es que diferentes bases de datos y criterios para cada ranking<\/em> proporcionen resultados diferentes, sino que la comunidad cient\u00edfica contin\u00faa ignorando estas discrepancias y tomando decisiones sobre contrataci\u00f3n, financiaci\u00f3n de la investigaci\u00f3n y pol\u00edticas p\u00fablicas basadas en m\u00e9tricas que saben que son defectuosas.<\/p>\n

Muchos investigadores, especialmente los m\u00e1s j\u00f3venes, est\u00e1n convencidos de que la metodolog\u00eda de evaluaci\u00f3n de la investigaci\u00f3n debe cambiar para no tener que elegir entre construir una carrera enfocada en publicaciones y citas o contribuir a la ciencia de la mejor manera posible sin preocuparse demasiado por el impacto. m\u00e9trica.<\/p>\n

Este escenario, sin embargo, puede estar cambiando. En enero de este a\u00f1o se empez\u00f3 a redactar un documento denominado Agreement on Reforming Research Assessment<\/em><\/a>4<\/sup> y acaba de ser publicado por iniciativa de la European Research Area<\/em><\/a> (ERA), la European University Association<\/em><\/a> (EUA), Science Europe<\/em><\/a>, y la Comisi\u00f3n Europea<\/a>. El acuerdo cuenta con el apoyo de 350 organizaciones p\u00fablicas y privadas entre agencias de financiaci\u00f3n, universidades, centros de investigaci\u00f3n, institutos e infraestructuras, asociaciones y sociedades cient\u00edficas y asociaciones de investigadores, entre otros, de m\u00e1s de 40 pa\u00edses. Los signatarios del acuerdo se comprometer\u00e1n a una visi\u00f3n compartida de que la evaluaci\u00f3n de la investigaci\u00f3n, los investigadores y las organizaciones de investigaci\u00f3n reconocen los diversos resultados, pr\u00e1cticas y actividades que maximizan la calidad y el impacto de la investigaci\u00f3n. Esto requiere basar la evaluaci\u00f3n principalmente en el juicio cualitativo, para lo cual la revisi\u00f3n por pares es central, respaldada por el uso responsable de indicadores cuantitativos. Un video5<\/sup> puesto a disposici\u00f3n por ERA detalla las razones y el proceso de reformar la evaluaci\u00f3n de la investigaci\u00f3n con opiniones de investigadores entrevistados.<\/p>\n