{"id":3596,"date":"2019-12-11T12:15:50","date_gmt":"2019-12-11T14:15:50","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=3596"},"modified":"2019-12-11T12:12:03","modified_gmt":"2019-12-11T14:12:03","slug":"trabajando-de-acuerdo-a-las-reglas","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2019\/12\/11\/trabajando-de-acuerdo-a-las-reglas\/","title":{"rendered":"Trabajando de acuerdo a las reglas: c\u00f3mo los objetivos bibliom\u00e9tricos distorsionaron la investigaci\u00f3n italiana [Publicado originalmente en el blog LSE Impact of Social Sciences en noviembre\/2019]"},"content":{"rendered":"\n

Por Alberto Baccini, Giuseppe De Nicolao y Eugenio Petrovich<\/strong><\/p>\n\n\n\n

\"\"<\/a>
Imagen: Mel Poole<\/a>.<\/em><\/figcaption><\/figure><\/div>\n\n\n\n

Durante\nlas \u00faltimas dos d\u00e9cadas, se han implementado sistemas nacionales de evaluaci\u00f3n\nde la investigaci\u00f3n en varios pa\u00edses europeos y no europeos. A menudo se basan\nen indicadores cuantitativos, basados en el n\u00famero de art\u00edculos publicados y\nlas citas recibidas. Los defensores de estas m\u00e9tricas afirman que las medidas\ncuantitativas son m\u00e1s objetivas que la revisi\u00f3n por pares, que garantizan la\nresponsabilidad de la comunidad cient\u00edfica a los contribuyentes y que promueven\nuna asignaci\u00f3n m\u00e1s eficiente de los recursos p\u00fablicos. Los cr\u00edticos argumentan\nque cuando los indicadores se utilizan para evaluar el desempe\u00f1o, se convierten\nr\u00e1pidamente en objetivos, es decir, comienzan a cambiar el comportamiento de\nlos investigadores evaluados, siguiendo lo que com\u00fanmente se llama “ley de\nGoodhart”. Por ejemplo, si la productividad es recompensada positivamente,\nla publicaci\u00f3n de muchos art\u00edculos se convierte en un objetivo que tambi\u00e9n\npuede buscarse con estrategias oportunistas, como dividir el mismo trabajo en\nvarias publicaciones.<\/p>\n\n\n\n

Italia en los a\u00f1os posteriores a la introducci\u00f3n de nuevos procedimientos de evaluaci\u00f3n de la investigaci\u00f3n en 2010 es un caso espectacular. Desde 2010, el sistema italiano ha asignado un papel clave a los indicadores bibliom\u00e9tricos para la contrataci\u00f3n y promoci\u00f3n de profesores. Para lograr la Habilitaci\u00f3n Cient\u00edfica Nacional (ASN), requerida para convertirse en profesor asociado y pleno, el trabajo de un candidato debe alcanzar definidos “umbrales bibliom\u00e9tricos”, calculados por la Agencia gubernamental para la Evaluaci\u00f3n de la Universidad y la Investigaci\u00f3n (ANVUR). Solo si sus citas, \u00edndice h y n\u00famero de art\u00edculos de revistas exceden dos umbrales de tres, el candidato es admitido en el paso final, es decir, la evaluaci\u00f3n por un comit\u00e9 de pares.<\/p>\n\n\n\n

En\nun art\u00edculo publicado por PLOS ONE1<\/sup>, (que ha\nrecibido una atenci\u00f3n significativa en Nature2<\/sup>, <\/em>Science3<\/sup>,<\/em> y Le Monde4<\/sup>), mostramos que\nel lanzamiento de este sistema de evaluaci\u00f3n de investigaci\u00f3n provoc\u00f3 un\ncomportamiento an\u00f3malo. En particular, despu\u00e9s de la reforma universitaria, los\ninvestigadores italianos comenzaron a aumentar artificialmente sus indicadores\nmediante el uso estrat\u00e9gico de citas.<\/p>\n\n\n\n

Dadas las dificultades de documentar la existencia de comportamientos de citas estrat\u00e9gicas a nivel micro, dise\u00f1amos un nuevo “indicador de interioridad”, basado en las auto-citas de los pa\u00edses. Para este prop\u00f3sito, los pa\u00edses de los autores de una publicaci\u00f3n que cita se comparan con los de los art\u00edculos citados. La autocitaci\u00f3n de un pa\u00eds ocurre siempre que una publicaci\u00f3n que cita y la citada tienen al menos un pa\u00eds en com\u00fan.<\/p>\n\n\n\n

El\nindicador de interioridad se define como la relaci\u00f3n entre el n\u00famero total de\nautocitas de pa\u00edses y el n\u00famero total de citas de ese pa\u00eds. Lo llamamos\n“interioridad” porque, en general, mide qu\u00e9 proporci\u00f3n la difusi\u00f3n\ndel conocimiento producido en un pa\u00eds permanece confinado dentro de sus\nfronteras.<\/p>\n\n\n\n

El interiorismo de un pa\u00eds puede verse como la suma de la cuota “fisiol\u00f3gica” y de la “patol\u00f3gica” de las citas de los pa\u00edses. La cuota fisiol\u00f3gica est\u00e1 constituida por autocitas generadas por investigadores de los pa\u00edses como un subproducto normal de su actividad de investigaci\u00f3n. Depende tanto del tama\u00f1o del pa\u00eds en t\u00e9rminos de producci\u00f3n de investigaci\u00f3n como del grado de colaboraci\u00f3n internacional, como la participaci\u00f3n en equipos de investigaci\u00f3n multinacionales. La cuota patol\u00f3gica est\u00e1 constituida por las auto-citas generadas por las actividades estrat\u00e9gicas de los investigadores de los pa\u00edses, es decir, las auto-citas oportunistas y los clubes de citas de los pa\u00edses.<\/p>\n\n\n\n

Un aumento an\u00f3malo en la interioridad de un pa\u00eds puede resultar de\nun aumento en la cuota fisiol\u00f3gica o en la cuota patol\u00f3gica de las citas\npersonales. Sobre la base de estas premisas, calculamos los indicadores de\ninterioridad de los pa\u00edses del G10 en el per\u00edodo 2000-2016. De esta manera,\npodr\u00edamos comparar la tendencia italiana, no solo antes y despu\u00e9s de la\nintroducci\u00f3n del sistema de evaluaci\u00f3n de la investigaci\u00f3n, sino tambi\u00e9n con\nlas tendencias de pa\u00edses comparables. Los datos se obtuvieron de SciVal, una\nplataforma propiedad de Elsevier con datos de Scopus<\/em>.<\/p>\n\n\n\n

Hasta 2009, todos los pa\u00edses, incluida Italia, compart\u00edan una tendencia de interioridad similar. Luego, la tendencia italiana divergi\u00f3 repentinamente alrededor de 2010. En el per\u00edodo 2008-2016, el aumento del interiorismo italiano ascendi\u00f3 a 8.3 puntos porcentuales (p.p.), m\u00e1s de 4 p.p. por encima del aumento promedio observado en los pa\u00edses del G10. Curiosamente, encontramos casi el mismo patr\u00f3n en la mayor\u00eda de las \u00e1reas cient\u00edficas, seg\u00fan lo definido por las Categor\u00edas Scopus: despu\u00e9s de la reforma, Italia se destaca con el mayor aumento de la interioridad en 23 de los 27 campos.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Figura 1.<\/strong> Interioridad de los pa\u00edses del G10 (2000-2016). Fuente: Baccini, De Nicolao y Petrovich, PLOS ONE1<\/sup>.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Una explicaci\u00f3n generosa de este aumento an\u00f3malo podr\u00eda ser un\naumento en la cuota fisiol\u00f3gica de autocitas de pa\u00edses. Por ejemplo, podr\u00eda\nreflejar un aumento repentino, despu\u00e9s de 2009, del grado de colaboraci\u00f3n\ninternacional de los acad\u00e9micos italianos. Sin embargo, de hecho, no se puede\nobservar un aumento particular en la colaboraci\u00f3n internacional italiana. Otra\nexplicaci\u00f3n podr\u00eda ser una reducci\u00f3n del enfoque cient\u00edfico de los\ninvestigadores italianos en temas principalmente investigados entre la\ncomunidad nacional. No tenemos evidencia directa para rechazar esta hip\u00f3tesis,\npero parece muy inveros\u00edmil, dada la peculiaridad, la dimensi\u00f3n y,\nespecialmente, el momento del fen\u00f3meno.<\/p>\n\n\n\n

La mejor explicaci\u00f3n para el aumento repentino en el interiorismo es un cambio en la cuota patol\u00f3gica de las auto-citas del pa\u00eds. Esto significa que hubo un aumento espectacular en las citas de los autores o en las citas intercambiadas dentro de clubes de citas formados por acad\u00e9micos italianos. Esto refleja una estrategia claramente dirigida a impulsar la bibliometr\u00eda para alcanzar los umbrales establecidos por la agencia gubernamental, ANVUR.<\/p>\n\n\n\n

El comienzo de la anomal\u00eda italiana es sincr\u00f3nico con el\nlanzamiento del sistema de evaluaci\u00f3n de la investigaci\u00f3n, que de repente introdujo\numbrales bibliom\u00e9tricos en los pasos clave de la carrera acad\u00e9mica, dejando\ntodo el espacio posible para la cita estrat\u00e9gica. El resultado sorprendente es\nque los efectos se han hecho visibles a escala nacional y en la mayor\u00eda de los\ncampos cient\u00edficos.<\/p>\n\n\n\n

Nuestros resultados respaldan la idea de que los investigadores responden r\u00e1pidamente a los incentivos a los que est\u00e1n expuestos. Tambi\u00e9n muestran que la adopci\u00f3n generalizada de incentivos alter\u00f3 sustancialmente el nivel y la tendencia de los indicadores bibliom\u00e9tricos calculados a nivel de pa\u00eds. Esto sugiere que los formuladores de pol\u00edticas deben tener la mayor precauci\u00f3n en el uso de indicadores para su pol\u00edtica cient\u00edfica.<\/p>\n\n\n

Notas<\/h3>\n

1. BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371\/journal.pone.0221212<\/a>. Available from: https:\/\/journals.plos.org\/plosone\/article?id=10.1371\/journal.pone.0221212<\/a><\/p>\n

2. VAN NOORDEN, R. Italy\u2019s rise in research impact pinned on \u2018citation doping\u2019 [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038\/d41586-019-02725-y<\/a>. Available from: https:\/\/www.nature.com\/articles\/d41586-019-02725-y<\/a><\/p>\n

3. GUGLIELMI, G. Clubby and \u2018disturbing\u2019 citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126\/science.aaz4708<\/a>. Available from: https:\/\/www.sciencemag.org\/news\/2019\/09\/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged<\/a><\/p>\n

4. HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https:\/\/www.lemonde.fr\/blog\/huet\/2019\/09\/25\/recherche-scientifique-le-faux-miracle-italien\/<\/a><\/p>\n

Referencias<\/h3>\n

BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371\/journal.pone.0221212<\/a>. Available from: https:\/\/journals.plos.org\/plosone\/article?id=10.1371\/journal.pone.0221212<\/a><\/p>\n

GUGLIELMI, G. Clubby and \u2018disturbing\u2019 citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126\/science.aaz4708<\/a>. Available from: https:\/\/www.sciencemag.org\/news\/2019\/09\/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged<\/a><\/p>\n

HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https:\/\/www.lemonde.fr\/blog\/huet\/2019\/09\/25\/recherche-scientifique-le-faux-miracle-italien\/<\/a><\/p>\n

VAN NOORDEN, R. Italy\u2019s rise in research impact pinned on \u2018citation doping\u2019 [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038\/d41586-019-02725-y<\/a>. Available from: https:\/\/www.nature.com\/articles\/d41586-019-02725-y<\/a><\/p>\n

Enlaces externos<\/h3>\n

Goodhart’s law <https:\/\/en.wikipedia.org\/wiki\/Goodhart’s_law<\/a>><\/p>\n

ROARS | Return on Academic Research <https:\/\/www.roars.it\/online\/<\/a>><\/p>\n\n\n

<\/div>\n\n\n\n

Sobre Alberto Baccini<\/h3>\n\n\n\n

Alberto Baccini es profesor titular de Econom\u00eda en la Universidad\nde Siena, Italia. Sus principales intereses est\u00e1n en el campo de la\ncienciometr\u00eda y la historia del pensamiento econ\u00f3mico. Es autor (con R.\nTodeschini) del Manual de indicadores bibliom\u00e9tricos. The blog Roars<\/em> (Return On Academic\nResearch<\/em>), que cofund\u00f3 con Giuseppe De Nicolao en 2011, ha recibido hasta\nahora m\u00e1s de 22 millones de visitas.<\/p>\n\n\n\n

Sobre Giuseppe De Nicolao<\/h3>\n\n\n\n

Giuseppe De Nicolao es catedr\u00e1tico de Ingenier\u00eda de Sistemas y\nControl en la Universidad de Pav\u00eda, Italia. Sus principales intereses est\u00e1n en\nel campo de la identificaci\u00f3n de sistemas y la ciencia de datos aplicada a\nsistemas industriales y biom\u00e9dicos.<\/p>\n\n\n\n

Sobre Eugenio Petrovich<\/h3>\n\n\n\n

Eugenio Petrovich es investigador postdoctoral en el Departamento de Econom\u00eda y Estad\u00edstica de la Universidad de Siena. Obtuvo su Ph.D. en Filosof\u00eda en la Universidad de Mil\u00e1n. Sus principales \u00e1reas de investigaci\u00f3n incluyen cienciometr\u00eda, filosof\u00eda de la ciencia e historia computacional de la filosof\u00eda. Est\u00e1 interesado en los fundamentos filos\u00f3ficos del an\u00e1lisis de citas y en los aspectos epistemol\u00f3gicos de los estudios cuantitativos de la ciencia.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Articulo original em ingl\u00e9s<\/h3>\n\n\n\n

https:\/\/blogs.lse.ac.uk\/impactofsocialsciences\/2019\/11\/21\/working-to-the-rule-how-bibliometric-targets-distorted-italian-research\/<\/a><\/p>\n\n\n\n

<\/div>\n\n\n\n

Traducido del original en ingl\u00e9s<\/a> por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

Como establece la ley de Goodhart: “cuando una medida se convierte en un objetivo, deja de ser una buena medida”. El uso de la bibliometr\u00eda para medir y evaluar a los investigadores se ha vuelto cada vez m\u00e1s com\u00fan, pero \u00bfla implementaci\u00f3n de estas pol\u00edticas deval\u00faa las m\u00e9tricas en las que se basan? En esta publicaci\u00f3n, Alberto Baccini, Giuseppe De Nicolao y Eugenio Petrovich, presentan evidencia de un estudio de investigadores italianos que revela c\u00f3mo la introducci\u00f3n de objetivos bibliom\u00e9tricos en la academia italiana ha cambiado la forma en que los acad\u00e9micos italianos citan y usan el trabajo de sus colegas. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":5,"featured_media":3598,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[29,7,40],"class_list":["post-3596","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-bibliometria","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3596","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=3596"}],"version-history":[{"count":4,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3596\/revisions"}],"predecessor-version":[{"id":3603,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3596\/revisions\/3603"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/3598"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=3596"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=3596"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=3596"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}