Cómo influye la retórica de la excelencia en la evaluación de la investigación

Por Lilian Nassi-Calò

Imagen: sentavio.

Instituciones académicas de todo el mundo anuncian sus programas de enseñanza e investigación asociados con posiciones destacadas en rankings universitarios de renombre, exalumnos distinguidos o simplemente nombres de universidades que han sido sinónimo de éxito, prestigio y reputación durante siglos. La mayoría de las veces, el término “excelencia” se utiliza para describir la investigación que desarrollan, las facultades que agrupan y los ilustres laureados que han pasado por allí.

Samuel Moore y coautores, en un artículo de 2017,¹ abordaron la “retórica de la excelencia” en el mundo académico y sus efectos nocivos, que distan mucho de calificar la ciencia de calidad – todo lo contrario, pues favorecen la falta de reproducibilidad, el fraude y la distribución ineficaz de las ayudas a la investigación, para, en definitiva, proponer estrategias para combatirlo.

El término “excelencia” no tiene un significado particular cuando se usa para describir instituciones académicas, y no se sabe si es posible reconocer la “excelencia” antes de observarla. El hecho es que no se sabe si la búsqueda de la “excelencia” y su uso para premiar o castigar a determinadas instituciones, investigadores o programas de investigación ayuda o dificulta el logro de sus objetivos.

Los autores del estudio, respaldados por la extensa literatura revisada, demuestran que el uso del término “excelencia” para guiar la asignación de recursos de investigación en realidad previene, en lugar de promover, la actividad científica y de investigación, mientras que al mismo tiempo desalienta el riesgo intelectual necesario para avanzar en las investigaciones más significativas que implican cambios de paradigma y la “ciencia normal” que permita consolidar el conocimiento a raíz de tales avances.

El artículo consta de tres partes. El primero discute la “excelencia” como retórica, en la que los autores argumentan que el término ampliamente utilizado no es una cualidad por descubrir, sino un mecanismo de intercambio lingüístico a través del cual los investigadores comparan conjuntos heterogéneos de prácticas disciplinarias. En la segunda parte, los autores investigan el uso de la “excelencia” como herramienta de evaluación y llegan a la conclusión de que distorsiona la práctica de la investigación y no proporciona un medio confiable para distinguir entre proyectos, instituciones o personas en competencia. Finalmente, proponen narrativas alternativas para la evaluación de investigaciones, investigadores e instituciones, basadas en la solidez y la capacidad. Donde hay más heterogeneidad y mayor oportunidad para la diversidad de resultados y perspectivas, creen los autores, se fortalece la investigación.

¿Qué es la “excelencia”?

El término encuentra numerosas definiciones en la literatura para referirse a la calificación de instituciones, actividades académicas e investigadores. Sin embargo, “no nos dice nada sobre la importancia de la ciencia y lo dice todo sobre quién decide.”² Esta afirmación está en concordancia con el trabajo de otros autores, quienes en los últimos años han recomendado reformas en el proceso de revisión por pares.

Es importante, según los autores, evaluar el proceso de revisión por pares, como se ha propuesto, a través de la formación de los revisores, mayor transparencia y otras acciones. Sin embargo, uno de los autores citados, Lamont, opina que “las soluciones actuales a este problema – que consisten principalmente en cambiar los grados de anonimato o el punto en el que se realiza la revisión (pre o post-publicación) – son insuficientes y constituyen ‘garantías imperfectas'”, y añade que, “como muchas cuestiones de la comunicación científica, el reto de la revisión por pares no es técnico, sino social.”³

Diferentes disciplinas tienen diferentes interpretaciones de las medidas de “excelencia”. Los biólogos, por ejemplo, consideran que el número de publicaciones, la posición del autor y el número de citas son fuertes indicadores de desempeño, mientras que los académicos de literatura inglesa enumeran un alto número de palabras por artículo, autoría única y publicación o artículo de revisión como indicadores de prestigio. en una revista literaria de renombre. Por lo tanto, parece claro que las culturas evaluativas están operando incluso sin un consenso interno más allá de algunas categorías amplias de desempeño.

Sin embargo, preguntan los autores, ¿podría la “excelencia” ser un “descriptor lingüístico sin ningún significado preestablecido cuyo valor radica en la capacidad de capturar juicios de valor interdisciplinarios y demostrar la utilidad política de la inversión pública en investigación e instituciones de investigación?”¹

Ni siquiera es útil de esta manera, concluyen. Debido a que no tiene contenido, el término sirve en el sentido más amplio solo como una afirmación de éxito comparativo (reivindicado): que una cosa, persona, actividad o institución puede ser “mejor”, más importante que otra (generalmente sin igual en ningún otro aspecto), y por lo tanto más merecedores de reconocimiento. Sin embargo, este énfasis en el reconocimiento, según Kohn⁴ y otros autores, es perjudicial para las verdaderas cualidades que se comparan.

¿La “excelencia” es buena para la investigación?

Los autores, como hemos visto, han argumentado que “la ‘excelencia’ sería una señal retórica utilizada para reivindicar valor por parte de instituciones, investigadores, proyectos o disciplinas esencialmente heterogéneas, y no una medida objetiva e intrínseca del mérito.” Pero, ¿existen criterios formales que podrían usarse para identificar la “excelencia” en una sola instancia de investigación en sus propios términos o en una disciplina en particular? Los autores concluyen que encontrar una respuesta a esta pregunta, que está en el centro del debate del artículo, es más difícil de lo que uno podría imaginar.

Lo que está en juego es la evaluación del mérito y el impacto del trabajo científico, y esto implica numerosos desafíos. Entre ellos se encuentra la no previsibilidad del impacto científico al momento de la publicación, o incluso en base a citas recibidas, Factor de Impacto (FI) y otros índices; la falta de correlación entre la concesión de ayudas a la investigación y la productividad posterior; el hecho de que artículos inicialmente rechazados por una revista terminen siendo publicados por otras de similar prestigio y circulación sin mayores cambios, y otros. Estos ejemplos son mencionados por los autores para resaltar la notoria incapacidad de la academia para evaluar la “excelencia”.

Más preocupante, agregan, es la considerable evidencia de falsos positivos en el proceso de revisión por pares. Son artículos que, en una primera evaluación, cumplen con los requisitos de “excelencia” estipulados por una determinada revista, organismo financiador o institución, pero no pasan cuando se someten a métricas posteriores. Por ejemplo, los artículos que han sido aceptados para su publicación en una revista se vuelven a enviar con breves cambios. De estos, solo el 8% fueron detectados por los editores o revisores. De los que no fueron detectados, el 90% fueron rechazados por fallas metodológicas y/u otras razones por las mismas revistas que habían publicado previamente estos artículos. Estos artículos “nuevos” fueron rechazados por no ser lo suficientemente “excelentes” por revistas que previamente habían decidido que eran lo suficientemente “excelentes”.

De manera similar, un estudio⁵ mostró que los autores muy citados tenían menos capacidad para liderar importantes subvenciones de investigación en biomedicina que los autores menos citados pero socialmente bien conectados asociados con grupos de estudio y paneles de revisión de agencias de financiación. También en esta dirección, Fang, et al.⁶ concluyó que las propuestas de becas de investigación otorgadas por los National Institutes of Health (NIH) de los Estados Unidos definidas por revisión por pares mostraron una baja correlación con la productividad de los autores premiados, medida por las citas de publicaciones producidas bajo la subvención. Este resultado también evidenció un sesgo por parte de las agencias financiadoras en contra de proyectos altamente innovadores, que apenas son contemplados.

Con base en el creciente número de retractaciones publicadas, incluso en revistas de renombre, los casos de fraude y errores han ido en aumento en la literatura científica. La mayoría de las retractaciones se deben a fraude, publicación duplicada y plagio (67,4%), y solo una pequeña parte a errores (21,3%). Aún más preocupantes son los casos de falsos positivos, es decir, estudios que no se pueden replicar. Puede parecer contra-intuitivo, pero numerosos autores han postulado que el deseo de tener éxito y producir investigaciones de “excelencia” puede llevar a los investigadores a ir más allá de la línea ética y presentar investigaciones fraudulentas, que contienen errores sustanciales y, a menudo, irreproducibles.

Investigadores del Reino Unido y Australia incluso admitieron en entrevistas realizadas en 2016⁷ que extrapolaban las afirmaciones de los impactos realizados en las propuestas de ayuda a la investigación, diciendo que se ha convertido en un “aspecto normal y necesario, aunque lamentable, de la cultura académica, considerando la búsqueda de recursos de investigación competitivos”, infiriendo que se trata de una práctica ampliamente difundida. “Aquí vemos cómo un requisito competitivo real o percibido de ‘excelencia’, combinado con una falta de confianza en la capacidad de los asesores para detectar afirmaciones falsas, conduce a una concepción de ‘excelencia’ que es puro juego: un concepto definido por quien se las arregla para salirse con la suya afirmando (en lugar de mostrar) ‘excelencia’”.

La publicación de artículos fraudulentos, o con algún tipo de error, sería perjudicial para la ciencia, pero no es la única consecuencia de cómo el foco en la “excelencia” perjudica a la investigación. Esta práctica acaba favoreciendo lo que se conoce como “efecto Mateo”,⁸ es decir, la distribución desigual de los recursos de investigación entre investigadores e instituciones bien dotadas de ayudas, en detrimento de las que no lo están. Este círculo vicioso crea distorsiones a lo largo del ciclo de investigación, generando sesgos en contra de proyectos de investigación innovadores, o autores de carrera temprana, desanimando la investigación y publicación de “ciencia normal”, incluidos los estudios de replicación, que son críticos para la viabilidad del proceso de investigación, sin ser convincente. suficiente para sugerir que sus autores son “excelentes”.

Las instrucciones a los autores de la mayoría de las revistas “excelentes” indican una predilección por los artículos originales y los resultados positivos. Esta categoría no se ajusta a los estudios de replicación, ya que no existen incentivos estructurales para realizar estudios que “simplemente” pueden revalidar (o no) los estudios existentes. Sin embargo, el hecho de que la literatura contenga estudios cuyos resultados no son reproducibles tiene consecuencias potencialmente peligrosas ya que puede conducir a conductas ineficaces o inseguras, o servir de base para futuros estudios cuyo fundamento no sea cierto.

Por último, pero no menos importante, el impacto negativo de la “excelencia” puede tener lugar de formas más sutiles que las que hemos visto hasta ahora. Al utilizar los estándares norteamericanos y europeos de “excelencia” en la capacidad de investigación como indicadores de desempeño, los países del sur global pueden experimentar el efecto paradójico de reducir esta capacidad al reducir el financiamiento para proyectos de investigación “normales” o alejándose de las prioridades nacionales.

Del mismo modo, puede haber una intensificación del prejuicio contra las mujeres y los grupos minoritarios en la concesión de becas de investigación, ya que estos grupos, al estar infrarrepresentados, tienden a perpetuarse de esta manera. Es mucho más fácil si su apariencia, estándares de trabajo y objetivos de investigación están en línea con la experiencia previa de sus árbitros. En ausencia de medidas correctivas sustanciales y conciencia, el enfoque en la “excelencia” continuará manteniendo, en lugar de superar, las barreras sociales para la participación en la investigación de los grupos actualmente subrepresentados.

Narrativas alternativas: trabajando por el cambio

La cuestión que surge, tras exponer numerosos ejemplos de cómo la “excelencia” es un criterio poco fiable para asignar parámetros de calidad y validez, es proponer formas alternativas de evaluar la actividad investigadora y su comunicación.

El mayor desafío, creen los autores, está en la infraestructura de financiación de la investigación. Los recursos públicos y privados para financiar proyectos de investigación e innovación son cada vez más escasos y la competencia implica prioridades y juicio de valores en decisiones difíciles de tomar.

Cabe mencionar el informe Publons de 2019 (publicado dos años después del artículo que analizamos en este post), Grant Review in Focus,⁹ con los resultados recopilados a partir de las respuestas de más de 11.000 investigadores, más de 800 financiadores en 95 países, algunos de los cuales fueron entrevistados para obtener información sobre cómo identificar mejor los proyectos con el mayor potencial de financiación, el tema de la publicación en este blog:¹⁰

Una diferencia clave entre la revisión por pares de publicaciones y la ayuda a la investigación radica en el hecho de que la primera, como ocurre después de realizada la investigación, influye en el rumbo que tomará la investigación en un área determinada al determinar qué se publicará y dónde, lo que en consecuencia influirá en la carrera del investigador. La evaluación de las ayudas a la investigación, en cambio, tiene una influencia más directa sobre un área determinada del conocimiento, ya que determina si la investigación será financiada o no y, en este último caso, puede que nunca se materialice. Los criterios utilizados por los revisores y el peso de cada uno son a menudo decisiones personales, o pueden ser proporcionados formalmente por los propios financiadores. Por eso, estos revisores tienen enormes desafíos en sus manos a la hora de asignar méritos a los proyectos, ya que terminan teniendo una gran influencia en la investigación de toda una zona o de un país.¹⁰

En muchos países líderes en investigación y desarrollo, como Estados Unidos, Canadá, Reino Unido y naciones con tradición investigadora en Europa, es común que las instituciones más reconocidas (y más ricas) concentren las ayudas públicas a la investigación (el mencionado “efecto Mateo”). Sin embargo, ha habido propuestas recientes para una redistribución más equitativa de los recursos entre grupos de investigación más pequeños y propuestas de estrategias alternativas después de darse cuenta de que una alternativa más productiva sería distribuir los recursos en función de la diversidad en lugar de una percepción de “excelencia”. o incluso la proposición de que distribuir los recursos disponibles entre todos los solicitantes sería más económico y productivo que presentar propuestas para su revisión y selección, o incluso decidir por sorteo quién recibirá las ayudas. En cualquier caso, en lugar de buscar la “excelencia”, los árbitros que evalúen propuestas de ayudas a la investigación deberían buscar algunos criterios básicos de calificación, como la “credibilidad” o la “validez”, que permitan pasar de la evaluación de resultados a la evaluación de procedimiento.

Los autores postulan que centrarse en la “validez”, la “solidez” y la “capacidad” en lugar de la retórica de la “excelencia” puede ofrecer alternativas concretas. Parte de la premisa de que “una investigación válida o sólida es una investigación de calidad” y “más investigación es mejor que poca” se enfoca en el rigor, la integridad y los estándares adecuados de descripción, evidencia y probidad, en lugar de vagas atribuciones de superioridad. Las cualidades mencionadas se pueden comparar y medir objetivamente. La colección Public Library of Science (PLoS) lanzada en 2001 con PLoS ONE y hoy con 12 revistas, tiene como principal política editorial, además del acceso abierto, la publicación de artículos técnicamente sólidos, sin considerar el grado de innovación o impacto, haciendo de PLoS la mayor colección de mega revistas de acceso abierto que existe.

El tema está lejos de ser agotado por el artículo, reconocen sus autores. De hecho, este artículo es parte de una colección reunida por Nature por el Prof. James Wilsdon titulado The future of Research Assessment,¹¹ que desde 2017 incluye nuevas publicaciones sobre el tema, centrándose en la gestión de los recursos de financiación de la investigación del Reino Unido, Australia, Estados Unidos y países europeos.

La solución, postulan, “estaría en la redistribución de recursos a la academia y no en la concentración de estos en las instituciones que se autodenominan ‘de excelencia’, ya que esto no puede ser reconocido ni definido consensualmente. La redistribución aumentaría la capacidad y diversificaría el ámbito de actividad, centrándose en la práctica de la investigación, incluida su comunicación. Adoptando este enfoque, será posible reconocer una actividad académica sólida y válida, y con ello, construir culturas y comunidades en torno a este reconocimiento. Y eso sería exelente.”¹¹

Notas

1. MOORE, S., et al. “Excellence R Us”: university research and the fetishisation of excellence. Palgrave Comm. [online]. 2017, vol. 3, 16105 [viewed 28 January 2022]. https://doi.org/10.1057/palcomms.2016.105. Available from: https://www.nature.com/articles/palcomms2016105#citeas

2. STILGOE, J. Against Excellence [online]. The Guardian. 2014 [viewed 28 January 2022]. Available from: https://www.theguardian.com/science/political-science/2014/dec/19/against-excellence.

3. LAMONT, M. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press, 2009.

4. KOHN, A. Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A’s, Praise, and Other Bribes. Boston: Houghton Mifflin, 1999.

5. NICHOLSON, J.M. and IOANNIDIS, J.P.A. Research grants: Conform and be funded. Nature [online]. 2012, vol. 492, no. 7427, pp. 34–36 [viewed 28 January 2022]. https://doi.org/10.1038/492034a. Available from: https://www.nature.com/articles/492034a

6. FANG, F.C., BOWEN, A. and CASADEVALL, A. NIH peer review percentile scores are poorly predictive of grant productivity. eLife [online]. 2016, vol. 5, e13323 [viewed 28 January 2022]. https://doi.org/10.7554/eLife.13323. Available from: https://elifesciences.org/articles/13323

7. CHUBB, J. and WATERMEYER, R. Artifice or integrity in the marketization of research impact? Investigating the moral economy of (pathways to) impact statements within research funding proposals in the UK and Australia. Studies in Higher Education [online]. 2016, vol. 42, no. 12, pp. 1–13 [viewed 28 January 2022]. https://doi.org/10.1080/03075079.2016.1144182. Available from: https://www.tandfonline.com/doi/full/10.1080/03075079.2016.1144182

8. Porque a cualquiera que tuviere, le será dado, y tendrá más; y al que no tuviere, aun lo que tiene le será quitado. (Mateo, 25:29)

9. Grant Review in Focus [online]. Publons. 2019 [viewed 28 January 2022]. Available from: https://publons.com/community/gspr/grant-review

10. NASSI-CALÒ, L. Una mirada a la revisión por pares de propuestas de becas de investigación [online]. SciELO en Perspectiva, 2019 [viewed 27 January 2022]. Available from: https://blog.scielo.org/es/2019/12/04/una-mirada-a-la-revision-por-pares-de-propuestas-de-becas-de-investigacion/

11. The future of research assessment [online]. Nature Humanities & Social Science Communications. 2016 [viewed 28 January 2022]. Available from: https://www.nature.com/collections/kzffqpcdch

Referências

CHUBB, J. and WATERMEYER, R. Artifice or integrity in the marketization of research impact? Investigating the moral economy of (pathways to) impact statements within research funding proposals in the UK and Australia. Studies in Higher Education [online]. 2016, vol. 42, no. 12, pp. 1–13 [viewed 28 January 2022]. https://doi.org/10.1080/03075079.2016.1144182. Available from: https://www.tandfonline.com/doi/full/10.1080/03075079.2016.1144182

EYRE-WALKER, A. and STOLETZKI, N. The assessment of science: The relative merits of post-publication review, the impact factor, and the number of citations. PLoS Biology [online]. 2013, vol. 11, no. 10, e1001675 [viewed 28 January 2022]. https://doi.org/10.1371/journal.pbio.1001675. Available from: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1001675

FANG, F.C., BOWEN, A. and CASADEVALL, A. NIH peer review percentile scores are poorly predictive of grant productivity. eLife [online]. 2016, vol. 5, e13323 [viewed 28 January 2022]. https://doi.org/10.7554/eLife.13323. Available from: https://elifesciences.org/articles/13323

FANG, F.C., STEEN, R.G. and CASADEVALL, A. Misconduct accounts for the majority of retracted scientific publications. Proc Natl Acad Sci USA [online]. 2012, vol. 109, no. 42, pp. 17028–17033 [viewed 28 January 2022]. https://doi.org/10.1073/pnas.1212247109. Available from: https://www.pnas.org/content/109/42/17028

GORDON, R. and POULIN, B.J. Cost of the NSERC science grant peer review system exceeds the cost of giving every qualified researcher a baseline grant. Accountability in Research [online]. 2009, vol. 16, no. 1, pp. 13–40 [viewed 28 January 2022]. https://doi.org/10.1080/08989620802689821. Available from: https://www.tandfonline.com/doi/full/10.1080/08989620802689821

Grant Review in Focus [online]. Publons. 2019 [viewed 28 January 2022]. Available from: https://publons.com/community/gspr/grant-review

KOHN, A. Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A’s, Praise, and Other Bribes. Boston: Houghton Mifflin, 1999.

KUHN, T.S. The Structure of Scientific Revolutions, Fourth edition. Chicago: University of Chicago Press, 2012 (1962).

LAMONT, M. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press, 2009.

MOORE, S., et al. “Excellence R Us”: university research and the fetishisation of excellence. Palgrave Comm. [online]. 2017, vol. 3, 16105 [viewed 28 January 2022]. https://doi.org/10.1057/palcomms.2016.105. Available from: https://www.nature.com/articles/palcomms2016105#citeas

NASSI-CALÒ, L. Una mirada a la revisión por pares de propuestas de becas de investigación [online]. SciELO en Perspectiva, 2019 [viewed 27 January 2022]. Available from: https://blog.scielo.org/es/2019/12/04/una-mirada-a-la-revision-por-pares-de-propuestas-de-becas-de-investigacion/

NICHOLSON, J.M. and IOANNIDIS, J.P.A. Research grants: Conform and be funded. Nature [online]. 2012, vol. 492, no. 7427, pp. 34–36 [viewed 28 January 2022]. https://doi.org/10.1038/492034a. Available from: https://www.nature.com/articles/492034a

PETERS, D.P. and CECI, S.J. Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences [online]. 1982, vol. 5, no. 2, pp. 187–195 [viewed 28 January 2022]. https://doi.org/10.1017/s0140525x00011183. Available from: https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/abs/peerreview-practices-of-psychological-journals-the-fate-of-published-articles-submitted-again/AFE650EB49A6B17992493DE5E49E4431

STILGOE, J. Against Excellence [online]. The Guardian. 2014 [viewed 28 January 2022]. Available from: https://www.theguardian.com/science/political-science/2014/dec/19/against-excellence.

The future of research assessment [online]. Nature Humanities & Social Science Communications. 2016 [viewed 28 January 2022]. Available from: https://www.nature.com/collections/kzffqpcdch

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.