{"id":2289,"date":"2017-01-16T15:50:37","date_gmt":"2017-01-16T17:50:37","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=2289"},"modified":"2017-01-16T15:58:54","modified_gmt":"2017-01-16T17:58:54","slug":"cinco-cosas-a-considerar-al-disenar-una-politica-para-medir-el-impacto-de-la-investigacion-publicado-originalmente-en-the-conversation","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2017\/01\/16\/cinco-cosas-a-considerar-al-disenar-una-politica-para-medir-el-impacto-de-la-investigacion-publicado-originalmente-en-the-conversation\/","title":{"rendered":"Cinco cosas a considerar al dise\u00f1ar una pol\u00edtica para medir el impacto de la investigaci\u00f3n [Publicado originalmente en The Conversation]"},"content":{"rendered":"

Por Andrew Gunn, investigador en Pol\u00edticas de Educaci\u00f3n Superior, Universidad de Leeds, Leeds, Reino Unido y Michael Mintrom, Profesor de Gesti\u00f3n del Sector P\u00fablico, Universidad de Monash, Melbourne, Australia<\/strong><\/p>\n

\"the_conversation_logo\"<\/a>Este a\u00f1o veremos al gobierno de Australia monitorear nuevas formas para medir el impacto de la investigaci\u00f3n universitaria1<\/sup>.<\/p>\n

Como recomienda el Watt Review2<\/sup>, la evaluaci\u00f3n de Impacto y Compromiso alentar\u00e1 a las universidades a asegurar que la investigaci\u00f3n acad\u00e9mica produzca beneficios econ\u00f3micos y beneficios sociales.<\/p>\n

Esto se ajusta a la Agenda Nacional de Innovaci\u00f3n y Ciencia3<\/sup>, en la que los fondos de los contribuyentes est\u00e1n dirigidos a la investigaci\u00f3n que tendr\u00e1 un impacto futuro beneficioso a la sociedad. El Ministro de Educaci\u00f3n Simon Birmingham dijo4<\/sup> que las pruebas evaluar\u00e1n<\/p>\n

\u201cc\u00f3mo medir el valor de la investigaci\u00f3n respecto a las cosas que significan algo, m\u00e1s bien que solo asignar fondos a los investigaodres que pasan su tiempo tratando de conseguir ser publicados en revistas<\/em>\u201d<\/p>\n

Esta iniciativa para medir el impacto no acad\u00e9mico de la investigaci\u00f3n introduce muchos retos nuevos que antes no eran relevantes cuando la evaluaci\u00f3n solo se enfocaba en el m\u00e9rito acad\u00e9mico. La nueva investigaci\u00f3n5<\/sup> destaca solo algunas de las cuestiones claves que deben abordarse al decidir c\u00f3mo medir el impacto.<\/p>\n

1. \u00bfQu\u00e9 cosa deber\u00eda ser el objeto de la medici\u00f3n?<\/h3>\n

Las investigaciones de impacto de la investigaci\u00f3n deben trazar una conexi\u00f3n entre la investigaci\u00f3n acad\u00e9mica y el \u201cmundo real\u201d m\u00e1s all\u00e1 del campus universitario. Estas conexiones son enormemente diversas y espec\u00edficas para un contexto determinado. Por lo tanto, se capturan mejor a trav\u00e9s de estudios de casos. Al analizar un estudio de caso los temas principales son: qu\u00e9 se entiende por impacto y qu\u00e9 evidencia se requiere para probarlo. Cuando se considera esto, los responsables australianos de formular pol\u00edticas pueden usar los recientes ejemplos europeos6<\/sup> como puntos de referencia.<\/p>\n

Por ejemplo, en el Research Excellence Framework (REF) del Reino unido \u2013 que eval\u00faa la calidad de la investigaci\u00f3n acad\u00e9mica \u2013 los \u00fanicos impactos que pueden contabilizarse son los que derivan de la investigaci\u00f3n acad\u00e9mica presentada al mismo ejercicio REF.<\/p>\n

Para confirmar el impacto, se requiere a los beneficiarios de la investigaci\u00f3n (como los responsables de formular pol\u00edticas y los profesionales) que aporten pruebas por escrito. Esto crea una definici\u00f3n estrecha de impacto porque los que no puede ser verificados, o no se basan en resultados presentados de investigaci\u00f3n, no se cuentan. Esto ha sido una causa de frustraci\u00f3n para algunos investigadores del Reino Unido, pero el umbral alto asegura que los impactos son genuinos y fluyen de investigaci\u00f3n de alta calidad.<\/p>\n

2. \u00bfCu\u00e1l deber\u00eda ser el plazo?<\/h3>\n

Hay lapsos de tiempo impredecibles entre el trabajo acad\u00e9mico que se est\u00e1 llevando a cabo y el tener impacto. Algunas investigaciones pueden ser r\u00e1pidamente absorbidas y aplicadas, mientras que otros impactos, particularmente los de la investigaci\u00f3n b\u00e1sica, pueden tardar d\u00e9cadas en surgir.<\/p>\n

Por ejemplo, un estudio que considera los rezagos de tiempo en la investigaci\u00f3n en salud7<\/sup> encontr\u00f3 que el tiempo que transcurre desde la investigaci\u00f3n hasta la pr\u00e1ctica es, en promedio, 17 a\u00f1os. Cabe se\u00f1alar, sin embargo, que los lapsos de tiempo var\u00edan considerablemente seg\u00fan la disciplina.<\/p>\n

Solamente en una mirada retrospectiva se puede apreciar plenamente el valor de algunas investigaciones. Por lo tanto, los ejercicios de evaluaci\u00f3n de impacto de la investigaci\u00f3n deben ajustarse a un determinado marco de tiempo. Aqu\u00ed, los formuladores de pol\u00edticas pueden aprender de los ensayos anteriores como uno realizado por el Australian Technology Network and Group of Eight<\/em> en el a\u00f1o 20128<\/sup>. Este ejercicio permiti\u00f3 evaluar impactos relacionados de investigaci\u00f3n que ocurrieron durante los 15 a\u00f1os previos.<\/p>\n

3. \u00bfQui\u00e9nes deben ser los asesores?<\/h3>\n

Es una convenci\u00f3n establecida hace mucho tiempo que la excelencia acad\u00e9mica se decide por pares acad\u00e9micos. Las evaluaciones de la investigaci\u00f3n suelen ser realizadas por paneles acad\u00e9micos.<\/p>\n

Sin embargo, si estas evaluaciones se ampl\u00edan para incluir el impacto no acad\u00e9mico, \u00bfsignifica esto que ahora es necesario incluir las opiniones de los usuarios finales de la investigaci\u00f3n? Esto puede significar que las voces de personas ajenas al mundo acad\u00e9mico necesiten participar en la evaluaci\u00f3n de la investigaci\u00f3n acad\u00e9mica.<\/p>\n

En el REF del Reino Unido de 2014 se reclut\u00f3 a m\u00e1s de 250 \u201cusuarios de la investigaci\u00f3n\u201d (individuos del sector privado, p\u00fablico o de organizaciones de caridad) para tomar parte en el proceso de evaluaci\u00f3n. Sin embargo, su participaci\u00f3n se limit\u00f3 a evaluar el componente de impacto del ejercicio.<\/p>\n

Esta opci\u00f3n es un compromiso efectivo entre mantener el principio de la revisi\u00f3n acad\u00e9mica por pares de la calidad de la investigaci\u00f3n y, al mismo tiempo, incluir a los usuarios finales en la evaluaci\u00f3n del impacto.<\/p>\n

4. \u00bfQu\u00e9 pasa con los impactos pol\u00e9micos?<\/h3>\n

En muchos casos el impacto de la investigaci\u00f3n acad\u00e9mica en el mundo es positiva. Pero hay algunos impactos que son pol\u00e9micos \u2013 tales como el fracking, cultivos gen\u00e9ticamente modificados, nanotecnolog\u00edas en los alimentos, y la investigaci\u00f3n con c\u00e9lulas madres \u2013 y deben ser cuidadosamente consideradas. Tal investigaci\u00f3n puede tener un impacto considerable, pero de maneras que hacen dif\u00edcil establecer un consenso sobre c\u00f3mo el progreso cient\u00edfico afecta al \u201cbien p\u00fablico\u201d. Investigaciones como estas pueden provocar tensiones sociales y cuestiones \u00e9ticas.<\/p>\n

Esto significa que la evaluaci\u00f3n del impacto tambi\u00e9n debe considerar factores no econ\u00f3micos, tales como: calidad de vida, cambio ambiental, y salud p\u00fablica. A pesar de que es dificil ponerles valor en d\u00f3lares a estas cosas.<\/p>\n

5. \u00bfCu\u00e1ndo debe producirse la evaluaci\u00f3n del impacto?<\/h3>\n

La evaluaci\u00f3n del impacto puede ocurrir en varias etapas del proceso de investigaci\u00f3n. Por ejemplo, un financiador puede invitar a propuestas de investigaci\u00f3n donde las presentaciones se eval\u00faan en base a su potencial para producir impacto en el futuro.<\/p>\n

Un ejemplo de esto son las Becas de Prueba de Concepto del European Research Council, donde los investigadores que han completado una solicitud de beca ERC pueden competir por fondos de seguimiento para convertir sus nuevos conocimientos en impactos.<\/p>\n

Alternativamente, los impactos que fluyen de la investigaci\u00f3n pueden ser medidos en una evaluaci\u00f3n retrospectiva. Este enfoque identifica los impactos donde ya existen y recompensa a las universidades que los han logrado.<\/p>\n

Un ejemplo de esto es el Standard Evaluation Protocol<\/em> (SEP) usado en Holanda, donde se eval\u00faan tanto la calidad de la investigaci\u00f3n como su relevancia social.<\/p>\n

Una caracter\u00edstica novedosa del sistema australiano es la evaluaci\u00f3n del compromiso y el impacto9<\/sup>, como dos cosas distitivas. Esto significa que no hay un ejemplo internacional para replicar simplemente.<\/p>\n

Aunque Australia puede aprender de algunos aspectos de la evaluaci\u00f3n en otros pa\u00edses, el plan piloto de Evaluaci\u00f3n de Impacto y Compromiso es una etapa necesaria para probar el modelo propuesto como un todo.<\/p>\n

El plan piloto \u2013 que pondr\u00e1 a prueba la idoneidad de una amplia gama de indicadores y m\u00e9todos de evaluaci\u00f3n tanto para el compromiso como para el impacto de la investigaci\u00f3n \u2013 significa que la evaluaci\u00f3n puede perfeccionarse antes de una implementaci\u00f3n nacional planeada para el 2018.<\/p>\n

Notas<\/h3>\n

1<\/sup>\u00a0AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online].\u00a0Australian Research Council<\/em>, Australian Government, 2016. [viewed\u00a016 January 2017]. Available from:\u00a0http:\/\/www.arc.gov.au\/news-media\/media-releases\/2017-pilot-test-impact-business-engagement-researchers<\/a><\/p>\n

2<\/sup>\u00a0SHAW, C. Watt report suggests financial incentives for measuring research\u00a0impact [online].\u00a0The Conversation<\/em>, 2015. [viewed\u00a016 January 2017]. Available from:\u00a0https:\/\/theconversation.com\/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815<\/a><\/p>\n

3<\/sup>\u00a0MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online].\u00a0The Conversation<\/em>, 2015. [viewed\u00a016 January 2017]. Available from:\u00a0https:\/\/theconversation.com\/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081<\/a><\/p>\n

4<\/sup>\u00a0DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online].\u00a0The Department of Education and Training Media Centre<\/em>, 2016. [viewed\u00a016 January 2017]. Available from:\u00a0https:\/\/ministers.education.gov.au\/birmingham\/2017-pilot-test-impact-business-engagement-researchers<\/a><\/p>\n

5<\/sup>\u00a0GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations.\u00a0Journal of Higher Education Policy and Management<\/em>\u00a0[online], 2017, vol. 39, n.1, pp. 20-30. [viewed\u00a016 January 2017]. DOI:\u00a010.1080\/1360080X.2016.1254429<\/a><\/p>\n

6<\/sup>\u00a0GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda.\u00a0European Education<\/em>\u00a0[online], 2016, vol. 48, n.4, pp. 241-257. [viewed\u00a016 January 2017]. DOI:\u00a010.1080\/10564934.2016.1237703<\/a><\/p>\n

7<\/sup>\u00a0MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research.\u00a0Journal of the Royal Society of Medicine<\/em>\u00a0[online], 2011, vol. 104, n. 2, pp. 510-520. [viewed\u00a016 January 2017]. Available from:\u00a0http:\/\/journals.sagepub.com\/doi\/full\/10.1258\/jrsm.2011.110180<\/a><\/p>\n

8<\/sup>\u00a0AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN\/Go8 EIA impact assessment trial,\u00a0Group of Eight<\/em>\u00a0[online], 2012. [viewed\u00a016 January 2017]. Available from:\u00a0https:\/\/www.go8.edu.au\/sites\/default\/files\/docs\/eia_trial_guidelines_final_mrb.pdf<\/a><\/p>\n

9<\/sup>\u00a0TAYLOR, S. When measuring research, we must remember that \u2018engagement\u2019 and \u2018impact\u2019 are not the same thing [online],\u00a0The Conversation<\/em>, 2016. [viewed\u00a016 January 2017]. Available from:\u00a0https:\/\/theconversation.com\/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745<\/a><\/p>\n

Referencias<\/h3>\n

AUSTRALIA RESEARCH COUNCIL. 2017 pilot to test impact, business engagement of researchers [online]. Australian Research Council<\/em>, Australian Government, 2016. [viewed\u00a016 January 2017]. Available from: http:\/\/www.arc.gov.au\/news-media\/media-releases\/2017-pilot-test-impact-business-engagement-researchers<\/a><\/p>\n

AUSTRALIAN TECHNOLOGY NETWORK and GROUP OF EIGHT, Guidelines for completion of case studies in ATN\/Go8 EIA impact assessment trial, Group of Eight<\/em> [online], 2012. [viewed\u00a016 January 2017]. Available from: https:\/\/www.go8.edu.au\/sites\/default\/files\/docs\/eia_trial_guidelines_final_mrb.pdf<\/a><\/p>\n

DEPARTMENT OF EDUCATION AND TRAINING MEDIA CENTRE, THE. 2017 pilot to test impact, business engagement of researchers [online]. The Department of Education and Training Media Centre<\/em>, 2016. [viewed\u00a016 January 2017]. Available from: https:\/\/ministers.education.gov.au\/birmingham\/2017-pilot-test-impact-business-engagement-researchers<\/a><\/p>\n

GUNN, A. and MINTROM, M. Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management<\/em> [online], 2017, vol. 39, n.1, pp. 20-30. [viewed\u00a016 January 2017]. DOI: 10.1080\/1360080X.2016.1254429<\/a><\/span><\/p>\n

GUNN, A. and MINTROM, M. Higher Education Policy Change in Europe: Academic Research Funding and the Impact Agenda. European Education<\/em> [online], 2016, vol. 48, n.4, pp. 241-257. [viewed\u00a016 January 2017]. DOI: 10.1080\/10564934.2016.1237703<\/a><\/span><\/p>\n

MAZZAROL, T. Will the National Innovation and Science Agenda deliver Australia a world class National Innovation System? [online]. The Conversation<\/em>, 2015. [viewed\u00a016 January 2017]. Available from: https:\/\/theconversation.com\/will-the-national-innovation-and-science-agenda-deliver-australia-a-world-class-national-innovation-system-52081<\/a><\/p>\n

MORRIS, Z.S., WOODING, S. and GRANT, J. The answer is 17 years, what is the question: understanding time lags in translational research. Journal of the Royal Society of Medicine<\/em> [online], 2011, vol. 104, n. 2, pp. 510-520. [viewed\u00a016 January 2017]. Available from: http:\/\/journals.sagepub.com\/doi\/full\/10.1258\/jrsm.2011.110180<\/a><\/span><\/p>\n

SHAW, C. Watt report suggests financial incentives for measuring research\u00a0impact [online]. The Conversation<\/em>, 2015. [viewed\u00a016 January 2017]. Available from: https:\/\/theconversation.com\/watt-report-suggests-financial-incentives-for-measuring-research-impact-51815<\/a><\/p>\n

TAYLOR, S. When measuring research, we must remember that \u2018engagement\u2019 and \u2018impact\u2019 are not the same thing [online], The Conversation<\/em>, 2016. [viewed\u00a016 January 2017]. Available from: https:\/\/theconversation.com\/when-measuring-research-we-must-remember-that-engagement-and-impact-are-not-the-same-thing-56745<\/a><\/p>\n

Enlaces externos<\/h3>\n

European Research Council – Proof of Concept –\u00a0https:\/\/erc.europa.eu\/proof-concept<\/a><\/p>\n

Research Excellence Framework –\u00a0http:\/\/www.ref.ac.uk\/<\/a><\/p>\n

Research Excellence Framework – Information for research users –\u00a0http:\/\/www.ref.ac.uk\/about\/users\/<\/a><\/p>\n

VSNU – Quality Assurance Research: Standard Evaluation Protocol –\u00a0http:\/\/www.vsnu.nl\/en_GB\/sep-eng.html<\/a><\/p>\n

Leer el post original:<\/h3>\n

https:\/\/theconversation.com\/five-things-to-consider-when-designing-a-policy-to-measure-research-impact-71078<\/a><\/p>\n

\"The<\/p>\n

Traducido del original en\u00a0ingl\u00e9s\u00a0por Ernesto Spinak.<\/p>\n

\"cc-by-nd0\"<\/a>Este texto fue publicado bajo una Licencia de Atribuci\u00f3n Creative Commons \u2014 Reconocimiento-SinObraDerivada<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

La iniciativa del gobierno australiano para medir el impacto de la investigaci\u00f3n universitaria sobre la sociedad introduce muchos retos nuevos que antes no eran relevantes cuando la evaluaci\u00f3n solo se enfocaba en el m\u00e9rito acad\u00e9mico. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":5,"featured_media":180,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[28,7,10,41],"class_list":["post-2289","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-agencia-de-apoyo-a-la-investigacion","tag-comunicacion-cientifica","tag-factor-de-impacto","tag-politicas-publicas"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t