Cienciometría de evaluadores – ¿serán finalmente reconocidos?

Desde los comienzos de los estudios de bibliometría y cienciometría, surgió la inquietud de cómo medir y evaluar el papel de la revisón por pares o evaluadores (peer-review), así como los agradecimientos y reconocimientos (acknowledgements) que intervienen en la preparación de un manuscrito de un artículo a publicarse en una revista científica.

La noticia es que el pasado 7 de abril ORCID ha encargado a CASRAI (Consortia Advancing Standards in Research Administration Information) un proyecto para establecer una forma estándar de reconocimiento del trabajo de los evaluadores en forma de registros persistentes que permitan la recuperación y medición. Pero antes de describir el proyecto pasemos a presentar los actores involucrados y la importancia de este proyecto.

Los actores

ORCID es una institución sin fines de lucro, con el objetivo de crear y mantener una base de datos internacional con investigadores de todas las disciplinas, asignándoles un registro único digital. De este modo es posible vincular los resultados de las investigaciones con los autores, agencias de financiación y las actividades profesionales de los autores. El identificador de ORCID, al igual que el ResearchID, puede integrarse a los registros del Web of Science¹, y muchas revistas científicas están comenzado a exigir a los autores que se registren e incluyan en el manuscrito su identificador personal.

CASRAI (Consortia Advancing Standards in Research Administration Information) es una institución sin fines de lucro, establecida en Ontario, Canadá, cuyo fin es la estandarización de los datos que producen los investigadores y las instituciones que financian los proyectos, con el objetivo de asegurar el intercambio de información a lo largo del ciclo de vida de las actividades de investigación.

El proyecto

El proyecto surge del antiguo problema de cómo reconocer las actividades de revisión en la base de datos ORCID, y que los datos incorporen también las solicitudes de subvención y los flujos de trabajo por parte de los revisores de manuscritos enviados a publicación. Para hacer frente a esta necesidad ORCID solicitó a CASRAI el desarrollo de un proyecto de normalización y con ese motivo ha sido creado un Grupo de Trabajo al que han sido convocados varios miembros en representación de sociedades científicas, editoriales y agencias internacionales de financiación. El Grupo de Trabajo deberá entregar un documento borrador para evaluación externa el próximo mes de junio.

Entre los temas principales que debe resolver el Grupo de Trabajo se incluyen (i) la evaluación de la tecnología adecuada para identificar y definir los elementos de datos que permitan el reconocimiento, (ii) la identificación de opciones para la asignación de un identificador de documento persistente para la revisión propiamente dicha, y (iii) la recomendación de la estructura de metadatos que deberá tener la citación.

Estas discusiones son importantes, porque la comunidad de revisores tiene desde siempre la inquietud de cómo puede ser mejor reconocida su participación y el impacto de su servicio en el desarrollo profesional. Un problema central a resolver es cuál debería ser la mejor manera de dar cabida a la amplia variedad de actividades de la revisión por pares, sea un artículo clásico, un poster de congreso, una solicitud de financiación para un proyecto, etc., y entonces cómo registrar estos eventos en un estándar de citación común. Por otra parte, la información de esta actividad deberá registrarse en un identificador persistente que permita vincular al revisor con los documentos en los que participó, y en el futuro permita la recuperación y la compilación de estadísticas cienciométricas o altmétricas o las que correspondan, cruzando diferentes variables con los nombres de los revisores.

F1000Research es una revista en acceso abierto que co-dirige el proyecto junto con ORCID y que ha comenzado a incluir el identificador del revisor en los artículos publicados en su sitio. Debe indicarse además que el procedimiento de revisión es completamente abierto, con los nombres e informes de los árbitros siendo publicados junto con el artículo. Los informes de los árbitros además tienen asignados DOIs (digital object identifiers), de este modo aportando para que reciban los créditos que merecen por su trabajo.

Fonte: http://blog.f1000research.com/2014/04/07/project-to-include-referee-reports-in-orcid-profiles/

La importancia del proyecto

La revisión por pares demanda muchas horas de trabajo que en general no es reconocida públicamente. La calidad del servicio de revisión es fundamental en el proceso de investigación, y en particular para establecer la confiabilidad en las comunicaciones académicas. Porque, como escribe Alice Meadows (2014), sin importar si las revistas son de acceso abierto o comerciales, si la revisión por pares es doble-ciego o abierta, si se compilan valores altmétricos, o se usa software para detección de plagio, la comunidad científica en la última década, que ha sido testigo de cambios rápidos sin final a la vista, no ha cambiado su percepción de confianza en el procedimiento de arbitraje por pares.

De acuerdo a un estudio reciente realizado por la Universidad de Tennessee², el informe concluye que en la comunidad de investigadores las revistas arbitradas por pares siguen siendo el vehículo más confiable y preferido para la comunicación académica. La supuesta falta de revisión por pares fue uno de los argumentos de los investigadores encuestados que dijeron no querer publicar en revistas de acceso abierto a menos que tuviera un riguroso proceso de revisión por pares.

Cada ves más la comunidad se pregunta cómo puede ser mejor reconocido este trabajo, tanto para fomentar la participación de revisores como para evaluar el impacto en el desarrollo profesional. Y es con estos requerimientos, que vienen de larga data, que el Grupo de Tareas organizado por CASRAI tendrá muchas cosas a considerar.

Si el proyecto ORCID-CASRAI es exitoso, entonces el importante trabajo de revisión por pares, que casi siempre es anónimo, sin otro reconocimiento que ser incluido en las listas que las revistas publican cada año o dos, podrá ahora ser incorporado en las listas de méritos personales.

Pero para que sea exitoso, como comentan Pablo de Castro y Tomás Baiget³ en la lista de INCYT, se deberá contar con un nivel suficiente de aplicación y ser aceptado. Requerirá de la colaboración de las partes interesadas, o sea las instituciones, las editoriales, las empresas, sin importar si las publicaciones están en acceso abierto o son comerciales. Finalmente el gran desafío para ORCID es lograr que los autores estén dispuestos a realizar un mantenimiento sistemático de la información que debe ser recolectada en sus cuentas, o si este trabajo podrá hacerse en forma sincronizada y automática con los otros sistemas institucionales.

Según se nos informa, el Programa SciELO incorporará una iniciativa similar en el correr de este año. Sería bueno que las revistas que se publican en la Red SciELO comenzaran a pedir a los autores y revisores que se registren en ORCID e incluir esos datos en los artículos que envían para publicar.

Notas

¹ ResearchID and ORCID integration – http://wokinfo.com/researcherid/integration/

² Trust an authority in scholarly communications in the light of the digital transition: Final report University of Tennessee and CIBER Research Ltd. December 2013. http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf

³ Buscan poder reconocer el trabajo de los evaluadores. 9 de abril 2014. Comunicaciones de Pablo de Castro y Tomás Baiget en la lista de Indicadores en Ciencia y Tecnología http://listserv.rediris.es/cgi-bin/wa?A0=INCYT

Referencias

HAAK, L. Acknowledging Peer Review Activities. ORCID. 8 April 2014. Available from: http://orcid.org/blog/2014/04/08/orcid-and-casrai-acknowledging-peer-review-activities

LAW, A. ORCID & CASRAI Kick-off New Standards Project on ‘Peer Review Services’. CASRAI. 7 April 2014. Available from: http://casrai.org/about/announcements/orcid-%26-casrai-kick-off-new-standards-project-on-%E2%80%98peer-review-services%E2%80%99

LAWRENCE, R. Project to include referee reports in ORCID profiles. F1000Research. 7 April 2014. Available from: http://blog.f1000research.com/2014/04/07/project-to-include-referee-reports-in-orcid-profiles/

MEADOWS, A. In (Digital) Scholarly Communications We Trust?. the scholarly kitchen. 7 April 2014. Available from: http://scholarlykitchen.sspnet.org/2014/04/07/in-digital-scholarly-communications-we-trust/?utm_source=feedburner&utm_medium=email&utm_campaign=Feed%3A+ScholarlyKitchen+%28The+Scholarly+Kitchen%29

Enlaces externos

ORCID – http://orcid.org/

CASRAI – http://casrai.org/about

Sobre Ernesto Spinak

Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España. Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.