{"id":1653,"date":"2015-04-30T18:23:05","date_gmt":"2015-04-30T21:23:05","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=1653"},"modified":"2019-05-02T15:26:18","modified_gmt":"2019-05-02T18:26:18","slug":"el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de-leiden","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2015\/04\/30\/el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de-leiden\/","title":{"rendered":"El uso de m\u00e9tricas en la evaluaci\u00f3n de la investigaci\u00f3n es matizado en el Manifiesto de Leiden"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f3<\/strong><\/p>\n

\"leiden\"<\/a><\/p>\n

Investigadores reunidos en la 19\u00b0 Conferencia Internacional de Indicadores de Ciencia y Tecnolog\u00eda (STI 2014) llevada a cabo en setiembre de 2014, en Leiden, Holanda, con el objetivo de orientar el uso de m\u00e9tricas en la evaluaci\u00f3n de ciencia y restringir los abusos en el uso de indicadores num\u00e9ricos, propusieron un conjunto de normas \u2013 el Manifiesto de Leiden1<\/sup>. Seg\u00fan los signatarios del documento, muchas de las recomendaciones propuestas no son nuevas para la mayor\u00eda de los investigadores pero no es infrecuente que no las lleven en consideraci\u00f3n cuando realizan alg\u00fan tipo de evaluaci\u00f3n en investigaci\u00f3n.<\/p>\n

En un art\u00edculo publicado esta semana en la revista Nature<\/em> por investigadores del Comit\u00e9 Cient\u00edfico de la STI 20142<\/sup> se presentan los diez principios del Manifiesto de Leiden para el uso adecuado de m\u00e9tricas en la evaluaci\u00f3n de ciencia de manera que los investigadores puedan emiten pareceres y estas, a la vez, puedan confiar en los indicadores utilizados responsabilizar las personas que.<\/p>\n

El siguiente un resumen de los diez principios:<\/p>\n

    \n
  1. La evaluaci\u00f3n cuantitativa debe apoyar la evaluaci\u00f3n cualitativa hecha por expertos.\u00a0<\/strong>Las m\u00e9tricas cuantitativas pueden desafiar tendencias de sesgo en la evaluaci\u00f3n por pares y facilitar la valoraci\u00f3n, fortaleciendo la evaluaci\u00f3n por pares. Sin embargo, los responsables por los pareceres no deben ceder a la tentaci\u00f3n de sustituir la toma de decisiones por n\u00fameros. Los indicadores no deben sustituir la evaluaci\u00f3n por pares y todos los involucrados son responsables por sus evaluaciones.<\/span><\/li>\n<\/ol>\n
      \n
    1. Medir el desempe\u00f1o en relaci\u00f3n a los objetivos de investigaci\u00f3n de la instituci\u00f3n, grupo o investigador. <\/strong>Los objetivos del proyecto deben estar indicados al principio, y los indicadores utilizados para evaluar el desempe\u00f1o deben estar claramente relacionados a esas metas. La elecci\u00f3n de los indicadores y las formas en que ser\u00e1n utilizados deber\u00e1n considerar los contextos socioecon\u00f3micos y culturales m\u00e1s amplios. No se puede aplicar un \u00fanico modelo de evaluaci\u00f3n a todos los contextos.<\/li>\n
    2. Proteger la excelencia en la investigaci\u00f3n relevante localmente. <\/strong>En muchos lugares del mundo, excelencia en investigaci\u00f3n significa publicar en idioma ingl\u00e9s. Los sesgos son especialmente problem\u00e1ticos en las ciencias sociales y humanidades, \u00e1reas en que la investigaci\u00f3n es regional y centrada en lo nacional. Muchas otras \u00e1reas tienen una dimensi\u00f3n nacional o regional \u2013 por ejemplo, estudios epidemiol\u00f3gicos espec\u00edficos de determinadas regiones. Este pluralismo y relevancia social tienden a ser suprimidos cuando se generan art\u00edculos de inter\u00e9s para los gatekeepers<\/em> de publicaciones peri\u00f3dicas de alta calidad en ingl\u00e9s. Las m\u00e9tricas basadas en la literatura de alta calidad en un idioma distinto al ingl\u00e9s servir\u00edan para identificar y reconocer la excelencia en investigaci\u00f3n de car\u00e1cter local o regional<\/li>\n<\/ol>\n
        \n
      1. Los procesos de recolecci\u00f3n de datos y los procesos de an\u00e1lisis deben ser abiertos, trasparentes y simples. <\/strong>La construcci\u00f3n de bases de datos necesarias para la evaluaci\u00f3n deben seguir reglas predeterminadas y claras. La trasparencia permite el escrutinio de los resultados. La sencillez es una calidad de un indicador pues aumenta su trasparencia. Entretanto, m\u00e9tricas simplistas pueden distorsionar los<\/li>\n
      2. Permitir a los evaluados verificar los datos y el an\u00e1lisis. <\/strong>Para garantizar la calidad de los datos, los investigadores incluidos en estudios bibliom\u00e9tricos deben poder tener acceso para verificar si sus resultados fueron correctamente identificados o someterlos a una auditor\u00eda Independiente. Los sistemas de informaci\u00f3n de las instituciones deben implementar ese chequeo al mismo tiempo que la trasparencia debe orientar el proceso de selecci\u00f3n de los proveedores de estos servicios. Hay que tener en cuenta que datos precisos y de alta calidad consumen tiempo y recursos financieros para su recolecci\u00f3n y procesamiento.<\/li>\n
      3. Considerar las variaciones en las \u00e1reas de publicaci\u00f3n y pr\u00e1cticas de citaciones. <\/strong>La mejor pr\u00e1ctica es seleccionar una serie de posibles indicadores y posibilitar a las \u00e1reas elegir uno. Algunas \u00e1reas \u2013 especialmente las ciencias sociales y humanidades \u2013 publican preferencialmente libros antes que art\u00edculos en publicaciones peri\u00f3dicas, y otras, como las ciencias de la computaci\u00f3n tienen la mayor parte de su producci\u00f3n cient\u00edfica diseminada en conferencias. Esta diversidad de formas de publicaci\u00f3n de resultados de la investigaci\u00f3n debe ser tenida en cuenta al evaluar las diferentes \u00e1reas. Las citaciones tambi\u00e9n var\u00edan por \u00e1rea lo que requiere indicadores normalizados; los m\u00e9todos m\u00e1s robustos de normalizaci\u00f3n est\u00e1n basados en percentiles.<\/li>\n
      4. Basar la evaluaci\u00f3n de investigadores individuales en uno de sus propios sistemas de evaluaci\u00f3n. <\/strong>Se sabe que el \u00edndice-h<\/em> aumenta con la edad, a\u00fan sin publicar nuevos trabajos. Adem\u00e1s depende da la base de datos en que es calculado, siendo considerablemente m\u00e1s elevado en Google Scholar<\/em>\u00a0que en la\u00a0Web of Science<\/em>. Leer sobre el trabajo de un investigador es mucho m\u00e1s adecuado que confiar en un n\u00famero. A\u00fan cuando se hace la comparaci\u00f3n de un gran n\u00famero de investigadores, es siempre mejor hacer un abordaje que considere m\u00e1s informaci\u00f3n sobre su especialidad, experiencia, actividad e influencia.<\/li>\n
      5. Evitar objetividad mal colocada y falsa precisi\u00f3n. <\/strong>Indicadores de ciencia y tecnolog\u00eda tienden a la ambig\u00fcedad conceptual e incerteza e requieren fuertes premisas que no son universalmente aceptadas. Buenas pr\u00e1cticas indican el uso de m\u00faltiples indicadores para ofrecer un cuadro m\u00e1s consistente y pr\u00f3ximo a la realidad.<\/li>\n
      6. Reconocer el efecto sist\u00e9mico de la evaluaci\u00f3n y de los indicadores. <\/strong>Indicadores pueden alterar el sistema por los incentivos que establecen, y estos efectos pueden ser anticipados. Es decir, es preferible, siempre, usar un conjunto de El uso de un \u00fanico indicador \u2013 como n\u00famero de publicaciones o n\u00famero total de citaciones \u2013 puede llevar a errores de interpretaci\u00f3n.<\/li>\n
      7. Someter los indicadores a un escrutinio y actualizarlos regularmente. <\/strong>La misi\u00f3n de la investigaci\u00f3n y los objetivos de la evaluaci\u00f3n cambian y el sistema de investigaci\u00f3n tambi\u00e9n evoluciona. Cuando las m\u00e9tricas habituales no son m\u00e1s adecuadas, nuevas surgen. De esa forma los indicadores deben ser revisados y cuando sea necesario, modificados.<\/li>\n<\/ol>\n

        Pr\u00f3ximas etapas<\/h3>\n

        De acuerdo con los autores del art\u00edculo la evaluaci\u00f3n de la investigaci\u00f3n puede ter un rol relevante en el desarrollo de la ciencia y su interacci\u00f3n con la sociedad, siempre que sigan estos principios. Las m\u00e9tricas de investigaci\u00f3n pueden proveer informaci\u00f3n fundamental que ser\u00eda dif\u00edcil de obtener basados en la experiencia personal. La informaci\u00f3n cuantitativa, por lo tanto, es principalmente un instrumento y no debe ser transformada en objetivo.<\/p>\n

        Seg\u00fan el Manifiesto, son necesarias evidencias cualitativas e cuantitativas para servir de base para la toma de decisiones y la selecci\u00f3n de estas debe ser hecha considerando el objetivo y la naturaleza de la investigaci\u00f3n que ser\u00e1 evaluada. \u201cEl proceso de toma de decisiones sobre ciencia debe estar basada en un proceso de alta calidad informado por datos de alta calidad.\u201d<\/p>\n

        Notas<\/h3>\n

        1<\/sup> HICKS, D, and et al<\/i>. Bibliometrics: The Leiden Manifesto for research metrics. Nature.<\/em> 2015, vol. 520, n\u00ba 7548 , pp. 429\u2013431. DOI: http:\/\/dx.doi.org\/10.1038\/520429a<\/a><\/span><\/p>\n

        2\u00a0<\/sup>El manifiesto de Leiden sobre indicadores de investigaci\u00f3n.<\/em> Ingenio.upv. 2015. Available from: http:\/\/www.ingenio.upv.es\/es\/manifiesto<\/a><\/p>\n

        Referencias<\/h3>\n

        El manifiesto de Leiden sobre indicadores de investigaci\u00f3n.<\/em> Ingenio.upv. 2015. Available from: http:\/\/www.ingenio.upv.es\/es\/manifiesto<\/a><\/p>\n

        HICKS, D, and et al<\/i>. Bibliometrics: The Leiden Manifesto for research metrics. Nature.<\/em> 2015, vol. 520, n\u00ba 7548 , pp. 429\u2013431. DOI: http:\/\/dx.doi.org\/10.1038\/520429a<\/a><\/span><\/p>\n

        Enlace Externo<\/h3>\n

        STI 2014 Leiden – <http:\/\/sti2014.cwts.nl\/<\/a>><\/p>\n

         <\/p>\n

        \"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

        Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

         <\/p>\n

        Traducido del orginal en portugu\u00e9s<\/a> por Thais Forster<\/p>\n","protected":false},"excerpt":{"rendered":"

        La evaluaci\u00f3n de la investigaci\u00f3n, en las \u00faltimas d\u00e9cadas, ha sido conducida en forma creciente por la utilizaci\u00f3n de indicadores, los cuales viene sustituyendo, de forma progresiva la evaluaci\u00f3n por pares. Investigadores reunidos en la 19\u00b0 Conferencia Internacional de Indicadores en Ciencia y Tecnolog\u00eda (STI 2014) realizada en setiembre de 2014, en Leiden, Holanda, con o objetivo de nortear o uso de m\u00e9tricas en evaluaci\u00f3n de ciencia y cohibir abusos en el uso de indicadores, propusieron un conjunto de normas \u2013 el Manifiesto de Leiden. Conozca sus directrices. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":1654,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[29,7,40],"class_list":["post-1653","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-bibliometria","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/1653","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/22"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=1653"}],"version-history":[{"count":8,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/1653\/revisions"}],"predecessor-version":[{"id":3285,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/1653\/revisions\/3285"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/1654"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=1653"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=1653"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=1653"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}