Por Andrew Gunn, investigador en Políticas de Educación Superior, Universidad de Leeds, Leeds, Reino Unido y Michael Mintrom, Profesor de Gestión del Sector Público, Universidad de Monash, Melbourne, Australia
Este año veremos al gobierno de Australia monitorear nuevas formas para medir el impacto de la investigación universitaria1.
Como recomienda el Watt Review2, la evaluación de Impacto y Compromiso alentará a las universidades a asegurar que la investigación académica produzca beneficios económicos y beneficios sociales.
Esto se ajusta a la Agenda Nacional de Innovación y Ciencia3, en la que los fondos de los contribuyentes están dirigidos a la investigación que tendrá un impacto futuro beneficioso a la sociedad. El Ministro de Educación Simon Birmingham dijo4 que las pruebas evaluarán
“cómo medir el valor de la investigación respecto a las cosas que significan algo, más bien que solo asignar fondos a los investigaodres que pasan su tiempo tratando de conseguir ser publicados en revistas”
Esta iniciativa para medir el impacto no académico de la investigación introduce muchos retos nuevos que antes no eran relevantes cuando la evaluación solo se enfocaba en el mérito académico. La nueva investigación5 destaca solo algunas de las cuestiones claves que deben abordarse al decidir cómo medir el impacto.
1. ¿Qué cosa debería ser el objeto de la medición?
Las investigaciones de impacto de la investigación deben trazar una conexión entre la investigación académica y el “mundo real” más allá del campus universitario. Estas conexiones son enormemente diversas y específicas para un contexto determinado. Por lo tanto, se capturan mejor a través de estudios de casos. Al analizar un estudio de caso los temas principales son: qué se entiende por impacto y qué evidencia se requiere para probarlo. Cuando se considera esto, los responsables australianos de formular políticas pueden usar los recientes ejemplos europeos6 como puntos de referencia.
Por ejemplo, en el Research Excellence Framework (REF) del Reino unido – que evalúa la calidad de la investigación académica – los únicos impactos que pueden contabilizarse son los que derivan de la investigación académica presentada al mismo ejercicio REF.
Para confirmar el impacto, se requiere a los beneficiarios de la investigación (como los responsables de formular políticas y los profesionales) que aporten pruebas por escrito. Esto crea una definición estrecha de impacto porque los que no puede ser verificados, o no se basan en resultados presentados de investigación, no se cuentan. Esto ha sido una causa de frustración para algunos investigadores del Reino Unido, pero el umbral alto asegura que los impactos son genuinos y fluyen de investigación de alta calidad.
2. ¿Cuál debería ser el plazo?
Hay lapsos de tiempo impredecibles entre el trabajo académico que se está llevando a cabo y el tener impacto. Algunas investigaciones pueden ser rápidamente absorbidas y aplicadas, mientras que otros impactos, particularmente los de la investigación básica, pueden tardar décadas en surgir.
Por ejemplo, un estudio que considera los rezagos de tiempo en la investigación en salud7 encontró que el tiempo que transcurre desde la investigación hasta la práctica es, en promedio, 17 años. Cabe señalar, sin embargo, que los lapsos de tiempo varían considerablemente según la disciplina.
Solamente en una mirada retrospectiva se puede apreciar plenamente el valor de algunas investigaciones. Por lo tanto, los ejercicios de evaluación de impacto de la investigación deben ajustarse a un determinado marco de tiempo. Aquí, los formuladores de políticas pueden aprender de los ensayos anteriores como uno realizado por el Australian Technology Network and Group of Eight en el año 20128. Este ejercicio permitió evaluar impactos relacionados de investigación que ocurrieron durante los 15 años previos.
3. ¿Quiénes deben ser los asesores?
Es una convención establecida hace mucho tiempo que la excelencia académica se decide por pares académicos. Las evaluaciones de la investigación suelen ser realizadas por paneles académicos.
Sin embargo, si estas evaluaciones se amplían para incluir el impacto no académico, ¿significa esto que ahora es necesario incluir las opiniones de los usuarios finales de la investigación? Esto puede significar que las voces de personas ajenas al mundo académico necesiten participar en la evaluación de la investigación académica.
En el REF del Reino Unido de 2014 se reclutó a más de 250 “usuarios de la investigación” (individuos del sector privado, público o de organizaciones de caridad) para tomar parte en el proceso de evaluación. Sin embargo, su participación se limitó a evaluar el componente de impacto del ejercicio.
Esta opción es un compromiso efectivo entre mantener el principio de la revisión académica por pares de la calidad de la investigación y, al mismo tiempo, incluir a los usuarios finales en la evaluación del impacto.
4. ¿Qué pasa con los impactos polémicos?
En muchos casos el impacto de la investigación académica en el mundo es positiva. Pero hay algunos impactos que son polémicos – tales como el fracking, cultivos genéticamente modificados, nanotecnologías en los alimentos, y la investigación con células madres – y deben ser cuidadosamente consideradas. Tal investigación puede tener un impacto considerable, pero de maneras que hacen difícil establecer un consenso sobre cómo el progreso científico afecta al “bien público”. Investigaciones como estas pueden provocar tensiones sociales y cuestiones éticas.
Esto significa que la evaluación del impacto también debe considerar factores no económicos, tales como: calidad de vida, cambio ambiental, y salud pública. A pesar de que es dificil ponerles valor en dólares a estas cosas.
5. ¿Cuándo debe producirse la evaluación del impacto?
La evaluación del impacto puede ocurrir en varias etapas del proceso de investigación. Por ejemplo, un financiador puede invitar a propuestas de investigación donde las presentaciones se evalúan en base a su potencial para producir impacto en el futuro.
Un ejemplo de esto son las Becas de Prueba de Concepto del European Research Council, donde los investigadores que han completado una solicitud de beca ERC pueden competir por fondos de seguimiento para convertir sus nuevos conocimientos en impactos.
Alternativamente, los impactos que fluyen de la investigación pueden ser medidos en una evaluación retrospectiva. Este enfoque identifica los impactos donde ya existen y recompensa a las universidades que los han logrado.
Un ejemplo de esto es el Standard Evaluation Protocol (SEP) usado en Holanda, donde se evalúan tanto la calidad de la investigación como su relevancia social.
Una característica novedosa del sistema australiano es la evaluación del compromiso y el impacto9, como dos cosas distitivas. Esto significa que no hay un ejemplo internacional para replicar simplemente.
Aunque Australia puede aprender de algunos aspectos de la evaluación en otros países, el plan piloto de Evaluación de Impacto y Compromiso es una etapa necesaria para probar el modelo propuesto como un todo.
El plan piloto – que pondrá a prueba la idoneidad de una amplia gama de indicadores y métodos de evaluación tanto para el compromiso como para el impacto de la investigación – significa que la evaluación puede perfeccionarse antes de una implementación nacional planeada para el 2018.
Notas
1 AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online]. Australian Research Council, Australian Government, 2016. [viewed 16 January 2017]. Available from: http://www.arc.gov.au/news-media/media-releases/2017-pilot-test-impact-business-engagement-researchers
2 SHAW, C. Watt report suggests financial incentives for measuring research impact [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815
3 MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081
4 DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online]. The Department of Education and Training Media Centre, 2016. [viewed 16 January 2017]. Available from: https://ministers.education.gov.au/birmingham/2017-pilot-test-impact-business-engagement-researchers
5 GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management [online], 2017, vol. 39, n.1, pp. 20-30. [viewed 16 January 2017]. DOI: 10.1080/1360080X.2016.1254429
6 GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda. European Education [online], 2016, vol. 48, n.4, pp. 241-257. [viewed 16 January 2017]. DOI: 10.1080/10564934.2016.1237703
7 MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research. Journal of the Royal Society of Medicine [online], 2011, vol. 104, n. 2, pp. 510-520. [viewed 16 January 2017]. Available from: http://journals.sagepub.com/doi/full/10.1258/jrsm.2011.110180
8 AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN/Go8 EIA impact assessment trial, Group of Eight [online], 2012. [viewed 16 January 2017]. Available from: https://www.go8.edu.au/sites/default/files/docs/eia_trial_guidelines_final_mrb.pdf
9 TAYLOR, S. When measuring research, we must remember that ‘engagement’ and ‘impact’ are not the same thing [online], The Conversation, 2016. [viewed 16 January 2017]. Available from: https://theconversation.com/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745
Referencias
AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online]. Australian Research Council, Australian Government, 2016. [viewed 16 January 2017]. Available from: http://www.arc.gov.au/news-media/media-releases/2017-pilot-test-impact-business-engagement-researchers
AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN/Go8 EIA impact assessment trial, Group of Eight [online], 2012. [viewed 16 January 2017]. Available from: https://www.go8.edu.au/sites/default/files/docs/eia_trial_guidelines_final_mrb.pdf
DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online]. The Department of Education and Training Media Centre, 2016. [viewed 16 January 2017]. Available from: https://ministers.education.gov.au/birmingham/2017-pilot-test-impact-business-engagement-researchers
GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management [online], 2017, vol. 39, n.1, pp. 20-30. [viewed 16 January 2017]. DOI: 10.1080/1360080X.2016.1254429
GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda. European Education [online], 2016, vol. 48, n.4, pp. 241-257. [viewed 16 January 2017]. DOI: 10.1080/10564934.2016.1237703
MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081
MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research. Journal of the Royal Society of Medicine [online], 2011, vol. 104, n. 2, pp. 510-520. [viewed 16 January 2017]. Available from: http://journals.sagepub.com/doi/full/10.1258/jrsm.2011.110180
SHAW, C. Watt report suggests financial incentives for measuring research impact [online]. The Conversation, 2015. [viewed 16 January 2017]. Available from: https://theconversation.com/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815
TAYLOR, S. When measuring research, we must remember that ‘engagement’ and ‘impact’ are not the same thing [online], The Conversation, 2016. [viewed 16 January 2017]. Available from: https://theconversation.com/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745
Enlaces externos
European Research Council – Proof of Concept – https://erc.europa.eu/proof-concept
Research Excellence Framework – http://www.ref.ac.uk/
Research Excellence Framework – Information for research users – http://www.ref.ac.uk/about/users/
VSNU – Quality Assurance Research: Standard Evaluation Protocol – http://www.vsnu.nl/en_GB/sep-eng.html
Leer el post original:
Traducido del original en inglés por Ernesto Spinak.
Este texto fue publicado bajo una Licencia de Atribución Creative Commons — Reconocimiento-SinObraDerivada.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Es muy importante observar sistematicamente, el impacto de las innovaciones en el medio ambiente desde el punto de vista sociocultural y biomedico en las diferentes regiones.