Informe sobre la encuesta de prioridades de la comunidad OJS [Publicado originalmente en el sitio web de PKP]

Por el Comité Técnico PKP

Antecedentes

Imagen: Jonny Gios.

El Comité Técnico Public Knowledge Project (PKP) invitó a la comunidad de OJS (Open Journal Systems) a participar en una encuesta para ayudar a identificar y priorizar las peticiones de desarrollo de los/las editores/es y gestores/as de revistas de OJS. En la encuesta se pedía que, en primer lugar, priorizaran ciertas categorías generales de “mejoras”, y a continuación, para las tres categorías que considerasen más importantes, se les mostraban funcionalidades específicas que debían ordenar de nuevo según su relevancia.

La encuesta, difundida en inglés, estuvo disponible en el servicio PKP Surveys (construido con LimeSurvey) desde el 9 de febrero de 2021 hasta el 24 de marzo de 2021. Se solicitó la participación a través del blog de noticias de PKP y los canales de redes sociales, el Foro de PKP y en una amplia gama de listas de distribución y redes.

524 encuestados/as completaron la encuesta.

A continuación presentamos un primer análisis de los resultados obtenidos.

Resultados

Acerca de los/las encuestados/as

La mayoría de los/as encuestados/as son directores/as o editores/as de revistas que utilizan OJS 3.X y más de la mitad han estado usando OJS durante menos de cinco años.

Clasificación de las categorías generales

Se pidió a los/las encuestados/as que ordenaran las siete categorías de funcionalidades generales en una lista (las más importantes primero). Las categorías a ordenar incluían “mejoras en”:

• Gestión de la lista de envíos (Mi lista, Sin asignar, Todo activo, Archivos)
• Funciones de correo electrónico OJS
• Revisión por pares y flujo de trabajo de decisiones editoriales
• Gestión de artículos de revistas para su publicación
• Gestión de números de revista
• Gestión de usuarios y sus cuentas
• Estadísticas y métricas

“Gestión de la lista de envíos” clasificado en primer lugar con mayor frecuencia (144 veces), seguido por “Revisión por pares y flujo de trabajo de decisiones editoriales” (101) y “Gestión de artículos de revistas para su publicación” (100). “Revisión por pares y flujo de trabajo de decisiones editoriales” ocupa el segundo lugar con mayor frecuencia (151 veces), seguido por “Gestión de artículos de revistas para su publicación” (78) y “Funciones de correo electrónico OJS” (62).

La categoría elegida con mayor frecuencia (144 veces) en primer lugar (y por tanto, la que desearían ver mejorada) fué “La gestión de la lista de envíos”, seguida por “Revisión por pares y flujo de trabajo de decisiones editoriales” (101) y la “Gestión de artículos de revistas para su publicación” (100).

“Revisión por pares y flujo de trabajo de decisiones editoriales” fué la segunda elección con mayor frecuencia (151 veces), seguido de “Gestión de artículos de revistas para publicación” (78) y “Funciones de correo electrónico OJS” (62).

Por otro lado, la categoría que se clasificó en último lugar con mayor frecuencia fue “Estadísticas y métricas” (131 veces) mientras que “Gestión de usuarios y sus cuentas” se escogió con mayor frecuencia en el segundo último lugar (109).

El análisis de las respuestas de los diferentes grupos de encuestados arrojó resultados muy similares, aunque con algunas excepciones notables. Aquellos/as que usan OJS 3.X (367 encuestados/as), cuando se les pidió que priorizaran las funcionalidades más importantes, siguieron las mismas tendencias generales que las anteriores y ordenaron la “Gestión de la lista de envíos” como la más importante con 98 encuestados (26,85%) seleccionando esto, siguieron estrechamente por la “Revisión pares y el flujo de trabajo de decisiones editoriales” (70 encuestados, 19,18%), y “Gestión de artículos de revistas para su publicación” (70 encuestados, 19,18%).

Los usuarios/as de OJS 2.X (83 encuestados/as) también clasificaron en primer lugar las mejoras en “Gestión de la lista de envíos” y 26 personas (31,3%) la escogieron como la más importante. Por otro lado, 17 personas (el 20,5% de los encuestados/as de OJS 2.X), seleccionaron mejoras en las “Estadísticas y métricas” como su categoría más importante.

El orden de clasificación no parece variar drásticamente en función de las respuestas a la pregunta “¿Cuánto tiempo ha trabajado con OJS?”. Las mejoras en la “Gestión de la lista de envíos” se posiciona siempre en primer lugar sin importar los años de la persona entrevistada, y la “Revisión por pares y el flujo de trabajo de decisiones editoriales” y la “Gestión de artículos de revistas para su publicación” también ocuparon un lugar destacado.

Un valor atípico menor que identificamos es que en el grupo de cinco a diez años, la tercera categoría calificada son las “Funciones de correo electrónico de OJS”, aunque esto representa solo 24 respuestas y, con 21 respuestas, la siguiente categoría (“Revisión por pares y el flujo de trabajo de decisiones editoriales”) está muy cercana.

No se han observado diferencias significativas en la clasificación de categorías entre las personas que se describieron como administradores/as de un programa de publicación/alojamiento de revistas o como editores/as o directores/as de revistas.

Respuestas detalladas

Como hemos comentado, para las tres categorías de mejoras que se ordenaron como las más importantes, a cada encuestado/a se le pidió que revisara una lista de funcionalidades específicas y considerara cuán firmemente estaban de acuerdo con la afirmación: “Esta funcionalidad es importante para mi trabajo”. El acuerdo se midió con una escala de cinco puntos: totalmente de acuerdo, de acuerdo, ni de acuerdo ni en desacuerdo, en desacuerdo y totalmente en desacuerdo.

A continuación proporcionamos las respuestas para cada una de las tres categorías que la mayoría de los encuestados calificaron como más importantes. También agrupamos las respuestas como de acuerdo (totalmente de acuerdo y de acuerdo), neutrales (ni de acuerdo ni en desacuerdo) y en desacuerdo (en desacuerdo y totalmente en desacuerdo) para mostrar las diferencias entre las funcionalidades con mayor claridad.

1. Gestión de la lista de envíos (Mi lista, Sin asignar, Todos los activos, Archivos)

Para esta categoría, se pidió a los encuestados que indicaran en qué medida estaban de acuerdo en que las siguientes funcionalidades eran importantes para su trabajo:

• Filtrar la lista de envíos por más criterios (por ejemplo: editor asignado, etapa de revisión, fecha de la última actividad, revisores, idioma y tema)
• Ordenar los resultados de la búsqueda en la lista de envío (por ejemplo: por fecha o alfabéticamente)
• Mostrar editores/as asignados/as en la lista de envío
• Mostrar ronda de revisión en la lista de envío
• Búsqueda por subtítulo en la lista de envíos
• Restaurar la última vista de las listas de envío cuando se cargan
• Volver a los resultados buscados anteriormente
• Permitir a los editores/as personalizar los resultados de la lista de envío guardando la configuración del filtro
• Diferenciar entre “respuesta del revisor/a vencida” y “revisión vencida”
• Verificar envíos duplicados dentro del misma revista

“Filtrar la lista de envíos”, “Mostrar la ronda de revisión”, “Ordenar los resultados de la búsqueda”, “mostrar los editores asignados”, “Diferenciar entre ‘respuesta del revisor/a vencida’ y la comprobación de duplicados” se mostraron con una puntuación alta (totalmente de acuerdo).

“Permitir a los editores personalizar las listas de envíos”, “Volver a los resultados buscados anteriormente”, “Restaurar la última vista” y “Buscar la lista de envíos por subtítulo” obtuvo una puntuación más baja, siendo este último el único elemento con más respuestas en desacuerdo que respuestas de acuerdo.

2. Revisión por pares y flujo de trabajo de decisiones editoriales

Para esta categoría, se pidió a los encuestados que indicaran en qué medida estaban de acuerdo en que las siguientes funcionalidades eran importantes para su trabajo:

• Permitir a los/las revisores/as asociar su ORCID iD a través del formulario de revisión
• Volver a invitar a los/las revisores/as de la ronda de revisión anterior para la próxima ronda de revisión
• Añadir a la vez varios/as revisores/as a un envío
• Permitir que los/las editores/as de sección añadan archivos
• Añadir categorías a los/las revisores/as y filtrar por esas categorías
• Mejorar la experiencia del/la usuario/a para cargar revisiones
• Enviar recordatorios a los/las revisores/as antes de la fecha de vencimiento
• Publicar revisiones y decisiones editoriales (Revisión abierta por pares)

En esta categoría, “Mejorar la experiencia del usuario para cargar revisiones”, “Volver a invitar a revisores de rondas anteriores” y “Agregar varios revisores a la vez”, obtuvieron todos una puntuación alta.

En cambio, “Publicar revisiones y decisiones editoriales (Revisión abierta)” muestra el menor nivel de acuerdo para esta categoría.

3. Gestión de artículos de revistas para su publicación

Para esta categoría, se pidió a los encuestados que indicaran en qué medida estaban de acuerdo en que las siguientes funcionalidades eran importantes para su trabajo:

• Convertir artículos XML a otros formatos, como PDF.
• Mejorar la compatibilidad con archivos multimedia, como como imágenes, audio y video
• Mostrar el texto completo del artículo en la página de destino del artículo
• Permitir a los/las autores/as comparar metadatos pre y post corrección de estilo
• Creación de artículos XML de JATS
• Agregar subtítulos de atribución para las imágenes de portada de artículos y ediciones
• Mostrar artículos en formato XML
• Listas de referencias multilingües

En esta categoría, la “Conversión de artículos XML a otros formatos”, “Mejorar la compatibilidad con archivos multimedia” y “Mostrar el texto completo del artículo en la página de inicio del artículo”, se elevan sobre el resto, mientras que los elementos restantes obtuvieron una puntuación similar.Respuestas notables de otras categorías

Si bien no hemos completado un análisis detallado para las categorías clasificadas más bajas, hay algunas funcionalidades que obtuvieron un número muy alto de respuestas “totalmente de acuerdo” y “de acuerdo” dentro de la categoría.

Por ejemplo, en la categoría “Mejoras en las funciones de correo electrónico de OJS”, más del 90% de los 196 encuestados para esa pregunta estuvieron de acuerdo en que “mejorar la selección, el borrador, la vista previa y el envío de correos electrónicos durante el flujo de trabajo” era importante para su trabajo.

En la categoría “Mejoras a las estadísticas y métricas”, hubo un fuerte acuerdo similar tanto para “Proporcionar a los autores estadísticas para sus propias publicaciones” como Herramientas para que las revistas compartan informes y estadísticas.

Próximos pasos

El Comité Técnico está muy satisfecho con los altos niveles de participación de la comunidad PKP, y nos gustaría agradecer a los 524 encuestados que se tomaron el tiempo para completar la encuesta, clasificar y calificar las funciones y proporcionar comentarios.

Las respuestas parecen indicar que existe un fuerte acuerdo compartido entre los encuestados de que mejorar la funcionalidad en torno a la Gestión de la lista de envíos, la Revisión por pares y los flujos de trabajo de decisiones editoriales y la Gestión de artículos de revistas para su publicación que son las categorías generales más importantes de las opciones presentadas.

Si bien el análisis de los campos de comentarios de texto libre aún no se ha completado, anticipamos que estos comentarios mejorarán nuestra comprensión de estos resultados y pueden proporcionar información sobre otras funcionalidades deseadas.

Aunque probablemente hay muchas formas en que podríamos mejorar el diseño y la implementación de la encuesta, estamos seguros de que estos hallazgos iniciales brindan un cuerpo de evidencia confiable para ayudar a guiar e informar la toma de decisiones en el futuro.

Hemos proporcionado los datos y nuestro análisis inicial a PKP y nos complace ver que nuestros hallazgos se alinean estrechamente con muchos de los comentarios de otros usuarios recopilados por PKP de muchas maneras diferentes a lo largo de los años.

Las tres categorías principales de mejoras identificadas en la encuesta se superponen con áreas prioritarias para el desarrollo de funciones de PKP, incluido el seguimiento y descubrimiento de envíos, asignaciones de revisión y revisión, y las herramientas de producción de XML / texto completo.

Esperamos que los datos recopilados en esta encuesta proporcionen más conocimientos al equipo de desarrollo de PKP para equilibrar las áreas de esfuerzo y también puedan proporcionar evidencia, según sea necesario, en apoyo de las oportunidades de subvenciones y financiación.

Nos gustaría presentar los resultados de nuestra encuesta a la comunidad a través de un seminario web o una llamada comunitaria entre junio y septiembre de 2021, y nos gustaría seguir trabajando con PKP para encontrar formas de facilitar los comentarios y la participación de la comunidad en el futuro.

Una vez que hayamos agregado y anonimizado los resultados de la encuesta, los compartiremos con la comunidad como un conjunto de datos abierto.

Presentado en nombre del Comité Tecnológico PKP por

• Sonya Betz, Universidad de Alberta
• Marc Bria, Universitat Autònoma de Barcelona
• Alex Mendonça, SciELO
• Carolina Tanigushi, SciELO
• Michelle Brailey, Universidad de Alberta

Enlace externo

Comité Tecnológico PKP: https://pkp.sfu.ca/about/organization/technical-committee/

Traducido del original en inglés por Marc Bria.