Trabajando de acuerdo a las reglas: cómo los objetivos bibliométricos distorsionaron la investigación italiana [Publicado originalmente en el blog LSE Impact of Social Sciences en noviembre/2019]

Por Alberto Baccini, Giuseppe De Nicolao y Eugenio Petrovich

Durante las últimas dos décadas, se han implementado sistemas nacionales de evaluación de la investigación en varios países europeos y no europeos. A menudo se basan en indicadores cuantitativos, basados en el número de artículos publicados y las citas recibidas. Los defensores de estas métricas afirman que las medidas cuantitativas son más objetivas que la revisión por pares, que garantizan la responsabilidad de la comunidad científica a los contribuyentes y que promueven una asignación más eficiente de los recursos públicos. Los críticos argumentan que cuando los indicadores se utilizan para evaluar el desempeño, se convierten rápidamente en objetivos, es decir, comienzan a cambiar el comportamiento de los investigadores evaluados, siguiendo lo que comúnmente se llama “ley de Goodhart”. Por ejemplo, si la productividad es recompensada positivamente, la publicación de muchos artículos se convierte en un objetivo que también puede buscarse con estrategias oportunistas, como dividir el mismo trabajo en varias publicaciones.

Italia en los años posteriores a la introducción de nuevos procedimientos de evaluación de la investigación en 2010 es un caso espectacular. Desde 2010, el sistema italiano ha asignado un papel clave a los indicadores bibliométricos para la contratación y promoción de profesores. Para lograr la Habilitación Científica Nacional (ASN), requerida para convertirse en profesor asociado y pleno, el trabajo de un candidato debe alcanzar definidos “umbrales bibliométricos”, calculados por la Agencia gubernamental para la Evaluación de la Universidad y la Investigación (ANVUR). Solo si sus citas, índice h y número de artículos de revistas exceden dos umbrales de tres, el candidato es admitido en el paso final, es decir, la evaluación por un comité de pares.

En un artículo publicado por PLOS ONE¹, (que ha recibido una atención significativa en Nature², Science³, y Le Monde⁴), mostramos que el lanzamiento de este sistema de evaluación de investigación provocó un comportamiento anómalo. En particular, después de la reforma universitaria, los investigadores italianos comenzaron a aumentar artificialmente sus indicadores mediante el uso estratégico de citas.

Dadas las dificultades de documentar la existencia de comportamientos de citas estratégicas a nivel micro, diseñamos un nuevo “indicador de interioridad”, basado en las auto-citas de los países. Para este propósito, los países de los autores de una publicación que cita se comparan con los de los artículos citados. La autocitación de un país ocurre siempre que una publicación que cita y la citada tienen al menos un país en común.

El indicador de interioridad se define como la relación entre el número total de autocitas de países y el número total de citas de ese país. Lo llamamos “interioridad” porque, en general, mide qué proporción la difusión del conocimiento producido en un país permanece confinado dentro de sus fronteras.

El interiorismo de un país puede verse como la suma de la cuota “fisiológica” y de la “patológica” de las citas de los países. La cuota fisiológica está constituida por autocitas generadas por investigadores de los países como un subproducto normal de su actividad de investigación. Depende tanto del tamaño del país en términos de producción de investigación como del grado de colaboración internacional, como la participación en equipos de investigación multinacionales. La cuota patológica está constituida por las auto-citas generadas por las actividades estratégicas de los investigadores de los países, es decir, las auto-citas oportunistas y los clubes de citas de los países.

Un aumento anómalo en la interioridad de un país puede resultar de un aumento en la cuota fisiológica o en la cuota patológica de las citas personales. Sobre la base de estas premisas, calculamos los indicadores de interioridad de los países del G10 en el período 2000-2016. De esta manera, podríamos comparar la tendencia italiana, no solo antes y después de la introducción del sistema de evaluación de la investigación, sino también con las tendencias de países comparables. Los datos se obtuvieron de SciVal, una plataforma propiedad de Elsevier con datos de Scopus.

Hasta 2009, todos los países, incluida Italia, compartían una tendencia de interioridad similar. Luego, la tendencia italiana divergió repentinamente alrededor de 2010. En el período 2008-2016, el aumento del interiorismo italiano ascendió a 8.3 puntos porcentuales (p.p.), más de 4 p.p. por encima del aumento promedio observado en los países del G10. Curiosamente, encontramos casi el mismo patrón en la mayoría de las áreas científicas, según lo definido por las Categorías Scopus: después de la reforma, Italia se destaca con el mayor aumento de la interioridad en 23 de los 27 campos.

Figura 1. Interioridad de los países del G10 (2000-2016). Fuente: Baccini, De Nicolao y Petrovich, PLOS ONE¹.

Una explicación generosa de este aumento anómalo podría ser un aumento en la cuota fisiológica de autocitas de países. Por ejemplo, podría reflejar un aumento repentino, después de 2009, del grado de colaboración internacional de los académicos italianos. Sin embargo, de hecho, no se puede observar un aumento particular en la colaboración internacional italiana. Otra explicación podría ser una reducción del enfoque científico de los investigadores italianos en temas principalmente investigados entre la comunidad nacional. No tenemos evidencia directa para rechazar esta hipótesis, pero parece muy inverosímil, dada la peculiaridad, la dimensión y, especialmente, el momento del fenómeno.

La mejor explicación para el aumento repentino en el interiorismo es un cambio en la cuota patológica de las auto-citas del país. Esto significa que hubo un aumento espectacular en las citas de los autores o en las citas intercambiadas dentro de clubes de citas formados por académicos italianos. Esto refleja una estrategia claramente dirigida a impulsar la bibliometría para alcanzar los umbrales establecidos por la agencia gubernamental, ANVUR.

El comienzo de la anomalía italiana es sincrónico con el lanzamiento del sistema de evaluación de la investigación, que de repente introdujo umbrales bibliométricos en los pasos clave de la carrera académica, dejando todo el espacio posible para la cita estratégica. El resultado sorprendente es que los efectos se han hecho visibles a escala nacional y en la mayoría de los campos científicos.

Nuestros resultados respaldan la idea de que los investigadores responden rápidamente a los incentivos a los que están expuestos. También muestran que la adopción generalizada de incentivos alteró sustancialmente el nivel y la tendencia de los indicadores bibliométricos calculados a nivel de país. Esto sugiere que los formuladores de políticas deben tener la mayor precaución en el uso de indicadores para su política científica.

Notas

1. BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371/journal.pone.0221212. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

2. VAN NOORDEN, R. Italy’s rise in research impact pinned on ‘citation doping’ [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038/d41586-019-02725-y. Available from: https://www.nature.com/articles/d41586-019-02725-y

3. GUGLIELMI, G. Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126/science.aaz4708. Available from: https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged

4. HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

Referencias

BACCINI, A., DE NICOLAO, G. and PETROVICH, E. Citation gaming induced by bibliometric evaluation: A country-level comparative analysis. PLOS ONE [online]. 2019, vol. 14, no. 9, e0221212 [viewed in 11 December 2019]. DOI: 10.1371/journal.pone.0221212. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

GUGLIELMI, G. Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged [online]. Science. 2019 [viewed in 11 December 2019]. DOI: 10.1126/science.aaz4708. Available from: https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged

HUET, S. Recherche scientifique: le faux miracle italien [online]. Le Monde. 2019 [viewed in 11 December 2019]. Available from: https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

VAN NOORDEN, R. Italy’s rise in research impact pinned on ‘citation doping’ [online]. Nature. 2019 [viewed in 11 December 2019]. DOI: 10.1038/d41586-019-02725-y. Available from: https://www.nature.com/articles/d41586-019-02725-y

Enlaces externos

Goodhart’s law <https://en.wikipedia.org/wiki/Goodhart’s_law>

ROARS | Return on Academic Research <https://www.roars.it/online/>

Sobre Alberto Baccini

Alberto Baccini es profesor titular de Economía en la Universidad de Siena, Italia. Sus principales intereses están en el campo de la cienciometría y la historia del pensamiento económico. Es autor (con R. Todeschini) del Manual de indicadores bibliométricos. The blog Roars (Return On Academic Research), que cofundó con Giuseppe De Nicolao en 2011, ha recibido hasta ahora más de 22 millones de visitas.

Sobre Giuseppe De Nicolao

Giuseppe De Nicolao es catedrático de Ingeniería de Sistemas y Control en la Universidad de Pavía, Italia. Sus principales intereses están en el campo de la identificación de sistemas y la ciencia de datos aplicada a sistemas industriales y biomédicos.

Sobre Eugenio Petrovich

Eugenio Petrovich es investigador postdoctoral en el Departamento de Economía y Estadística de la Universidad de Siena. Obtuvo su Ph.D. en Filosofía en la Universidad de Milán. Sus principales áreas de investigación incluyen cienciometría, filosofía de la ciencia e historia computacional de la filosofía. Está interesado en los fundamentos filosóficos del análisis de citas y en los aspectos epistemológicos de los estudios cuantitativos de la ciencia.

Articulo original em inglés

https://blogs.lse.ac.uk/impactofsocialsciences/2019/11/21/working-to-the-rule-how-bibliometric-targets-distorted-italian-research/

Traducido del original en inglés por Ernesto Spinak.