Una mirada a la revisión por pares de propuestas de becas de investigación

Por Lilian Nassi-Calò

En 2018, Publons¹ publicó el estado mundial de la revisión por pares², con los resultados recopilados de las respuestas de más de 11,000 investigadores de varios países en todos los continentes. La publicación, analizada en este blog en dos publicaciones^3,4, permitió saber quiénes son los revisores y dónde están, así como otros detalles sobre la revisión por pares.

Este post comenta sobre el informe Grant Review in Focus⁵, que entrevistó a 4.700 investigadores y utilizó datos extraídos de la Web of Science sobre evaluación e identificación de proyectos para recibir financiación⁶. Los autores mencionaron a más de 800 financiadores⁷ en 95 países, algunos de los cuales fueron entrevistados en detalle para conocer sus perspectivas y preocupaciones sobre la mejor manera de identificar los proyectos que tienen el mayor potencial de financiamiento.

Se define: ayuda a la investigación (grant en inglés) – como un donación financiera de una institución gubernamental, privada o sin fines de lucro para el desarrollo de proyectos. No se espera que los fondos recibidos se devuelvan a la fuente de pago, que los usa para necesidades de infraestructura, desarrollo de proyectos de investigación, estudios y otras actividades relacionadas. El éxito en la carrera de un investigador generalmente se mide por publicaciones y métricas relacionadas con su impacto, como las citas. Sin embargo, es necesario tener en cuenta que su capacidad para obtener recursos de investigación es un factor importante para el progreso profesional, ya que está directamente relacionado con su capacidad para realizar investigaciones y, en consecuencia, generar publicaciones.

El 78% de los investigadores encuestados por Publons consideran que “la revisión por pares se reconoce sistemáticamente como un atributo de calidad”, por lo que la revisión por pares de las propuestas de financiación presentadas a las agencias de financiación es la mejor manera de asignar recursos de investigación. con mayor potencial de éxito. Al mismo tiempo, los encuestados expresaron su preocupación por la dificultad de obtener asistencia de investigadores de carrera temprana y/o proyectos muy innovadores o controvertidos.

Una diferencia clave entre la revisión por pares de publicaciones y ayudas de investigación radica en el hecho de que la primera ocurre después de que se ha realizado la investigación, influye en la dirección que tomará la investigación en un área determinada para determinar qué se publicará y dónde, lo que en consecuencia influirá en la carrera del investigador. La evaluación de la ayuda a la investigación, por otro lado, tiene una influencia más directa en un área particular de conocimiento al determinar si la investigación será financiada o no y, en este último caso, puede que nunca se materialice. Los criterios utilizados por los revisores y su peso son a menudo decisiones personales, o pueden ser provistos formalmente por los propios financiadores.

Por esta razón, estos árbitros enfrentan enormes desafíos en la asignación de méritos a los proyectos, ya que terminan teniendo una gran influencia en la investigación en un área o país.

Resultados principales

• Las fuentes de financiación están indicadas en el 79% de los artículos de acceso abierto publicados en el índice de Web of Science Science Citation Index Expanded (SCIE). En el universo de todos los artículos de WoS, este porcentaje es del 60% y se eleva al 70% en el campo de la ciencia (LIC).
• A nivel de país, el 90% de los artículos con al menos un autor con afiliación china indica la fuente de financiación de la investigación, y en Brasil este porcentaje es del 80%.
• Muchas investigaciones indican más de una fuente de financiación. En 2018, la proporción de artículos resultantes de la cooperación internacional fue del 26%, lo que indica una tendencia a que la investigación se convierta en un emprendimiento internacional.
• El 70% de los artículos que indican financiadores que apoyan el Plan S también incluyen otra fuente de financiamiento.
• Ciertas agencias de financiación, como la National Science Foundation de EE.UU., están recientemente a favor de proyectos de investigación innovadores y de alto riesgo. Para estos proyectos, el término “retorno de la inversión” no es concreto, ya que la naturaleza de esta investigación no permite que se evalúe de la manera habitual, lo que dificulta medir su impacto.
• Esta tendencia posiblemente busca abordar la falta de objetividad percibida en la evaluación de propuestas de financiamiento para jóvenes investigadores y proyectos muy innovadores. Alrededor del 50% de los encuestados considera que la revisión por pares no es objetiva en el primer caso y el 38% en el segundo.
• Treinta y seis por ciento de los investigadores encuestados consideran que asegurar la financiación de la investigación es uno de los factores más importantes en su carrera. En orden de prioridad, los encuestados identificaron los siguientes factores que más contribuyen al éxito profesional: 53.4% publicar en revistas líderes; 35,9% asegurar la financiación de la investigación; 27% obtener altas tasas de citas en revistas de renombre; y 18.8% tareas generales de investigación, docencia y administración.

Qué piensan los investigadores sobre el proceso de evaluación

• El 78% de los encuestados está totalmente de acuerdo con que la revisión por pares es la mejor manera de garantizar que la financiación cumpla con las mejores propuestas de investigación pero no es infalible. Al mismo tiempo, estos investigadores creen que los criterios pueden ser menos objetivos para los investigadores de carrera temprana. Este alto porcentaje está en línea con los resultados observados en la encuesta de revisión por pares (Publons 2018 The Global State of Peer Review²), donde el 98% de los encuestados dijeron que consideraban importante o extremadamente importante garantizar la calidad e integridad de la comunicación científica.
• La preocupación de los insatisfechos con el sistema de revisión por pares son los investigadores de carrera temprana y la investigación muy innovadora o “arriesgada”.
• Los investigadores, en general, están divididos en cuanto a la calidad y eficiencia de la revisión por pares para apoyo de investigación; sin embargo, existe una falta general de satisfacción con la transparencia y la legitimidad del proceso.
• La financiación de la investigación es altamente competitiva y las tasas de éxito son bajas, alrededor del 10-25%, según las propias agencias de financiación, y existe una tendencia descendente en todo el mundo. Estudios anteriores⁸ indicaron que los investigadores pueden pasar más tiempo buscando recursos que trabajando realmente en la investigación. Sin embargo, el informe de Publons reveló que estos números varían ampliamente según el área de conocimiento, los sistemas de investigación de cada país, y se aplican solo a aquellos investigadores que están en condiciones de solicitar financiación. El tiempo promedio dedicado a la tarea, considerando estos parámetros, es del orden del 15%.
• Las dificultades para encontrar revisores para evaluar la financiación de la investigación superan a las de la revisión por pares de publicaciones. Por lo tanto, los financiadores informan afirmando que tardan de 2 a 6 horas en encontrarlos, y que al menos tres investigadores deben ser invitados para asegurarse de que uno evaluará las propuestas. El tiempo necesario para evaluar una propuesta de financiación es un promedio de 6 horas, y los árbitros pasan unos 10 días al año en la tarea. Sin embargo, los desafíos de las agencias de financiación son similares a los de los editores de revistas: aumentar el porcentaje de aceptación de invitaciones para evaluar la financiación de la investigación; explorar nuevas fuentes de evaluadores potenciales; y obtener buenas evaluaciones.
• Otra similitud con la revisión por pares de las publicaciones es que pocos revisores son los responsables de gran parte de la evaluación de la financiación de la investigación: el 4% de ellos realizan el 25% de las revisiones por pares. La razón de esto es que los financiadores tienden a presentar propuestas a los revisores pares con quienes han trabajado previamente y conocen la calidad de sus consejos. Para tratar de igualar la carga de trabajo, algunos financiadores están reclutando jóvenes investigadores.
• Una práctica utilizada por algunos financiadores para reconocer el trabajo de los revisores es el pago en efectivo. Solo el 16% de los encuestados informó haber recibido un pago, lo que sugiere que esta práctica no es una motivación como reconocimiento para el trabajo de revisión por pares, considerada una tarifa simbólica de bajo valor ($50-100).
• La forma más frecuente de reconocimiento por el trabajo mencionado fue un correo electrónico de agradecimiento, mencionado por el 73% de los encuestados. Muchos afirman que estos mensajes se generan automáticamente y ni siquiera se personalizan. Además, el 14% dice que han sido citados en las listas anuales de revisión por pares en los sitios web de los financiadores.
• Estas formas de reconocimiento no satisfacen al 44% de los encuestados que, sin embargo, continúan realizando una revisión por pares de los fondos de investigación cuando se les solicita. Las razones principales no difieren mucho de las señaladas en la revisión por pares de publicaciones: se consideran parte del trabajo del investigador; es una contribución voluntaria al área de estudio/comunidad de investigación; desea comunicarse con colegas que evaluaron su trabajo; y asegurar la integridad y efectividad de la investigación en un área determinada; entre otros.
• Por otro lado, la causa más frecuente para rechazar la evaluación de propuestas de financiación es participar en otras tareas, lo que ocurre en el 50% de los casos. La segunda causa principal es cuando la propuesta de financiación de la investigación está fuera del área de especialización del investigador (40%).

Perspectivas futuras

• De los investigadores encuestados por Publons, el 60% cree que una mayor transparencia en la revisión por pares de la financiación de la investigación tendría un impacto positivo en el proceso, y el 70% cree que publicar informes de evaluación junto con la financiación de la subvención tendría un impacto positivo, promoviendo, además de transparencia, compromiso. Aunque la discusión sobre la apertura de la revisión por pares de las propuestas de financiación de la investigación ha estado en curso durante algún tiempo, los investigadores y los patrocinadores coinciden en que implementar estos cambios será un desafío.
• Es interesante observar que, en el caso de la evaluación de publicaciones, los investigadores indicaron porcentajes más bajos en relación con la apertura de opiniones: el 40% solo favoreció una mayor transparencia y el 45% quería la publicación de opiniones
• Los encuestados también creen que debería haber más comentarios a los revisores sobre la decisión final de los procesos que evalúan.
• Otros aspectos citados para mejorar el proceso incluyen: un mayor reconocimiento de los criterios de trabajo de revisión por pares e incentivos profesionales para los revisores por pares; reglas más claras por parte de las agencias de financiación y la mejora de los sistemas de presentación y evaluación en línea para propuestas de financiación; entrenamiento de árbitros; mejor comunicación entre financiadores, presentando investigadores y revisores; aumentar la diversidad internacional de árbitros; renovar periódicamente la junta de árbitros; establecer un proceso por el cual al presentar un proyecto para financiamiento, el investigador recibe, a cambio, una propuesta para evaluar.

Limitaciones del estudio

La evaluación del financiamiento de la investigación enfrenta desafíos que, según los encuestados, podrían abordarse mejor aumentando la transparencia y el compromiso del proceso de revisión por pares, al igual que la revisión por pares de las publicaciones. Sin embargo, debe considerarse que con los investigadores que escuchan a los usuarios de Publons, existe un sesgo en su deseo de mayor transparencia y reconocimiento en la revisión por pares. Además, los investigadores que actúan como revisores pares en las propuestas de financiación de la investigación no están distribuidos de manera uniforme en todo el mundo: alrededor del 50% son de Europa, mientras que menos del 3% son de China. Publons admite que los resultados no son representativos de la investigación en todo el mundo. Sin embargo, los resultados de la investigación contribuyen a la comprensión y discusión sobre el proceso de revisión por pares de las propuestas de financiación de la investigación.

Notas

1. En junio pasado, SciELO se asoció con Publons para proporcionar a los editores y revisores que publican en revistas SciELO Brasil las herramientas disponibles en la plataforma Publons. Los editores tendrán acceso a Reviewer Connect, un servicio que permite buscar por los revisores en Publons y Web of Science (incluido SciELO). Los revisores, a su vez, tendrán acceso al Reviewer Recognition, que permite la asignación y registro de la actividad de revisión por pares con fines de crédito académico.

2. Global State of peer review [online]. Publons. 2018 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr

3. SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte I [online]. SciELO en Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-i/

4. SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte II [online]. SciELO en Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2019/02/07/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii/

5. Grant Review in Focus [online]. Publons. 2019 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr/grant-review

6. Web of Science y Publons (desde 2017) son miembros del grupo Clarivate Analytics.

7. De los financiadores entrevistados para el informe, 9.7% son de América Latina. El Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) del Brasil ocupa el puesto 16 entre las 20 agencias de financiación más grandes del mundo, con un presupuesto anual para 2019 de US$100 millones, según el informe.

8. GUTHRIE, S., GHIGA, I., and WOODING S. What do we know about grant peer review in the health sciences? RAND Europe. 2017 [viewed 04 December 2019]. Available from: https://www.rand.org/pubs/research_reports/RR1822.html

Referencias

CHAWLA, D.S. Thousands of grant peer reviewers share concerns in global survey. Nature 15 Oct 2019. doi: 10.1038/d41586-019-03105-2. Available from: https://www.nature.com/articles/d41586-019-03105-2

Global State of peer review [online]. Publons. 2018 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr

Grant Review in Focus [online]. Publons. 2019 [viewed 4 December 2019]. Available from: https://publons.com/community/gspr/grant-review

GUTHRIE, S., GHIGA, I., and WOODING S. What do we know about grant peer review in the health sciences? RAND Europe. 2017 [viewed 04 December 2019]. Available from: https://www.rand.org/pubs/research_reports/RR1822.html

NASSI-CALÒ, L. ¿Podrían ser abiertas las evaluaciones de propuestas de financiamiento para la investigación? [online]. SciELO en Perspectiva, 2015 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2015/03/20/podrian-ser-abiertas-las-evaluaciones-de-propuestas-de-financiamiento-para-la-investigacion/

SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte I [online]. SciELO en Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-i/

SPINAK, E. Desde árbitros estrellas a los árbitros fantasmas – Parte II [online]. SciELO en Perspectiva, 2019 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2019/02/07/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii/

VELTEROP, J. Plan S – y cargos por procesamiento de artículos (APC) [online]. SciELO en Perspectiva, 2018 [viewed 04 December 2019]. Available from: https://blog.scielo.org/es/2018/11/27/plan-s-y-cargos-por-procesamiento-de-articulos-apc/

Enlaces externos

Publons <https://publons.com/>

Web of Science Core Collection <http://clarivate.libguides.com/woscc>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak