Imagen: Ben Smith.
Por Peter van den Besselaar y Ulf Sandström
Parece obvio que la ciencia se trata de calidad, no de cantidad. Como consecuencia, los procesos de evaluación no toman en cuenta la productividad, y ahora existe una tendencia a limitar el número de publicaciones por investigador en consideración. De esta forma, un panel puede evaluar la calidad sin verse enfrentado con enormes listas de publicaciones que serían poco prácticas para evaluar. Entonces, se puede alentar a los académicos a enfocarse en la calidad, no en la cantidad. De hecho, desde esta perspectiva, la calidad y la cantidad son características opuestas de la actividad de investigación, y centrarse en la cantidad no solo es un error, sino que incluso tendrá efectos perversos, ya que reducirá la calidad del trabajo. Sin embargo, estas ideas pueden estar equivocadas. Nuestro entendimiento, desarrollado en un artículo reciente de PLoS ONE, es que existe una relación positiva y más fuerte que la lineal entre la productividad y la calidad (en términos de los documentos más citados).
La Figura 1 muestra las diversas relaciones posibles que pueden existir entre “calidad” y “cantidad”: (i) puede haber un “techo de impacto”, lo que significa que después de un cierto número de documentos, el número de artículos altamente citados se estabiliza; podría haber (ii) disminución; (iii) constante; o incluso (iv) aumentar el “rendimiento del impacto” de la productividad; y finalmente (v) “lo pequeño puede ser hermoso” en el sentido de que el número de artículos de alto impacto disminuye cuando los autores se vuelven demasiado productivos, intercambiando calidad por cantidad. Lo bueno es que esto puede investigarse empíricamente.
Figura 1: Posibles puntos de vista sobre la relación entre cantidad y calidad. Nota: eje x = número de artículos; eje y = impacto de la cita
Mostramos nuestros hallazgos por campo temático, presentados de la misma manera que las posibles relaciones anteriores. Utilizamos un conjunto de datos desambiguado de más de 40,000 investigadores suecos (2008-2011). Para cada investigador, calculamos el número total de publicaciones (normalizadas por campo y contabilizadas en forma fraccional) y también el número de publicaciones que figuran en los artículos más altamente citados (2,5%). La Figura 2 muestra los resultados: en las ciencias naturales y la ingeniería, en las ciencias de la vida y médicas, y en psicología y educación, encontramos el patrón de “rendimientos crecientes”. En agricultura, biología, estudios ambientales y geografía, domina el patrón “constante”. En las ciencias sociales, parece dominar el patrón (ligeramente) de “rendimientos decrecientes”; mientras que el patrón del “techo de impacto” se encontró para las ciencias de la computación y matemáticas y para las humanidades.
Figura 2: Relación real entre cantidad y calidad basada en datos suecos 2008-2011 por área de disciplina. Nota: eje x = número de artículos; eje y = impacto de la cita (eje izquierdo – ciencias naturales y médicas, eje derecho – ciencias humanas y sociales). Fuente: Web of Science Online
Curiosamente, el patrón “pequeño es hermoso” no ocurre. La pregunta sigue siendo por qué el patrón en las ciencias de la computación y las humanidades es tan diferente de otros campos. Esto probablemente esté relacionado con la naturaleza de estos campos, que, más que en otros lugares, tienen varias audiencias además de sus pares científicos. Sugerimos que los autores prolíficos de las ciencias de la computación y las humanidades avancen hacia escribir más para las partes interesadas que no sean el público de colegas una vez que su producción académica esté por encima de un umbral (razonablemente alto). Sin embargo, para resolver esto se necesitaría más investigación.
¿Cómo podemos explicar los patrones que encontramos? En primer lugar, la investigación muestra que los académicos generalmente están muy motivados y comprometidos, por lo que no hay una buena razón para esperar que intenten maximizar el rendimiento a expensas de la calidad. En segundo lugar, las teorías de la creatividad científica sugieren lo contrario: mientras más creativa es una persona, cuantas más ideas nuevas genera, más potencial y (como sugieren nuestros resultados) documentos realizados por el investigador. Por supuesto, no todas las ideas son buenas ideas, pero cuantas más ideas tenga, mayor es la probabilidad de que algunas sean buenas. Se trata de intentar, experimentar, aprender: cuanto más se hace, mejor se vuelve, en promedio.
Este efecto de tamaño también se mantiene en el nivel organizacional, algo que no abordamos en el artículo de PLoS ONE, sino que se probó después de que un crítico afirmara lo contrario: “el Ranking CWTS Leiden, por ejemplo, no muestra una relación lineal tal como afirman los autores entre el número de trabajos producidos por una universidad y el porcentaje de artículos altamente citados producidos por esa universidad”. Lo probamos usando el Leiden Ranking 20141, que detalla la cantidad de trabajos y el número de artículos pertenecientes al 10% de los trabajos mejor citados para todas las universidades incluidas. Como se muestra en la Figura 3, la relación entre cantidad y calidad/impacto también sigue el patrón de “retornos positivos” a nivel de universidades y organizaciones públicas de investigación.
Figura 3: Relación entre el número de trabajos por universidad y el impacto en términos de los documentos Top10%. Fuente: ranking de Leiden 2014
En conclusión, lo que hemos visto es que, en general, hay un retorno positivo de calidad por el aumento de la productividad. Un número mayor de documentos resulta en un número aún mayor de artículos citados. En otras palabras, estimular el rendimiento importa, y parecería ser un incentivo positivo y no negativo para los investigadores. Siendo este el caso, los niveles de producción deberían tenerse en cuenta en la evaluación de investigadores y organizaciones. Esto, por supuesto, no implica que la producción sea el único criterio de evaluación relevante; pero que es relevante parece indiscutible.
Esta publicación de blog se basa en el artículo de los autores, “Quantity and/or Quality? The Importance of Publishing Many Papers”2, publicado en PLoS ONE (DOI: 10.1371/journal.pone.0166149).
Nota de los autores: Este artículo refleja las opiniones de los autores y no la posición de LSE Impact Blog, ni la de London School Econonomics. Por favor, revise nuestra política de comentarios3 si tuviera alguna duda al publicar un comentario.
Notas
1. CWTS Leiden Ranking 2014 [online]. CWTS Leiden Ranking. 2014 [viewed 23 January 2018]. Available from: http://www.leidenranking.com/ranking/2014
2. VAN DEN BESSELAAR,P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149
3. Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 23 January 2018]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/
Referencias
Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 23 January 2018]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/
CWTS Leiden Ranking 2014 [online]. CWTS Leiden Ranking. 2014 [viewed 23 January 2018]. Available from: http://www.leidenranking.com/ranking/2014
SIMONTON, D.K. Creativity in Science: Chance, Logic, Genius, and Zeitgeist. Cambridge: Cambridge University Press, 2004
VAN DEN BESSELAAR,P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149
Articulo original em inglés
Traducido del original en inglés por Ernesto Spinak.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Comentarios recientes