Relatório da pesquisa sobre prioridades da comunidade OJS [Publicado originalmente no site do PKP]

Pelo Comitê Técnico do PKP

Introdução

Imagem: Jonny Gios.

O Comitê Técnico do Public Knowledge Project (PKP) convidou membros da comunidade do OJS (Open Journal Systems) para participar de uma pesquisa para nos ajudar a identificar e priorizar as solicitações de desenvolvimento da comunidade de editores e gerentes de periódicos OJS. A pesquisa solicitou aos participantes que primeiro pontuassem categorias gerais de melhorias e, em seguida, avaliassem recursos específicos apenas dentro das três categorias que classificaram como mais importantes.

A pesquisa esteve disponível no serviço de pesquisa PKP Surveys, construído com o LimeSurvey, de 9 de fevereiro a 24 de março de 2021, e solicitamos a participação por meio do blog de notícias PKP e canais de mídia social, o Fórum PKP e em uma ampla gama de listas de servidores e redes.

524 respondentes completaram a pesquisa.

Resultados

Sobre os respondentes

A maioria de nossos respondentes são editores ou gestores de periódicos, que usam o OJS 3.X. Mais da metade deles usa o OJS há menos de cinco anos.

Classificação de categorias gerais de recursos

Os respondentes da pesquisa foram solicitados a classificar sete diferentes categorias gerais de recursos arrastando e soltando-os em ordem, do mais importante no topo para o menos importante na parte inferior. Estas sete categorias incluíam “melhorias para”:

• Gerenciar a lista de submissões (Minha fila, Não atribuídos, Todos Ativos, Arquivos)
• Funções de e-mail do OJS
• Avaliação por pares e fluxo de trabalho de decisão editorial
• Gerenciar artigos de periódicos para publicação
• Gerenciar números do periódico
• Gerenciar usuários e suas contas
• Estatísticas e métricas

“Gerenciar a lista de submissões” foi classificado em primeiro lugar com mais frequência (144 vezes), seguido por “Avaliação por pares e fluxo de trabalho de decisão editorial” (101) e “Gerenciar artigos de periódicos para publicação” (100). “Avaliação por pares e fluxo de trabalho de decisão editorial” foi classificado em segundo lugar com mais frequência (151 vezes), seguido por “Gerenciar artigos de periódicos para publicação” (78) e “Funções de e-mail do OJS” (62).

A categoria mais frequentemente classificada por último foi “Estatísticas e métricas” (131 vezes) com “Gerenciar usuários e suas contas” mais frequentemente classificado como penúltimo (109).

A análise das respostas para diferentes grupos de respondentes produziu resultados muito semelhantes, com algumas exceções notáveis. Aqueles que usam OJS 3.X (367 respondentes), quando solicitados a classificar os recursos mais importantes, seguiram as mesmas tendências gerais acima e classificaram “Gerenciar a lista de submissões” como o mais importante com 98 respondentes (26,85%) selecionando esta opção, seguido de perto por “Avaliação por pares e fluxo de trabalho de decisão editorial” (70 respondentes 19,18%), e “Gerenciar artigos de periódicos para publicação” (70 respondentes, 19,18%).

Usuários de OJS 2.X (83 respondentes) também classificaram as melhorias para “Gerenciar a lista de submissões” em primeiro lugar, com 26 respondentes ou 31,3% selecionando-o como o mais importante. Notadamente, 17 respondentes, ou 20,5% dos usuários de OJS 2.X pesquisados selecionaram melhorias em “Estatísticas e métricas” como sua característica mais importante.

A ordem de classificação não parece variar drasticamente com base nas respostas à pergunta “Há quanto tempo você trabalha com o OJS?”. Melhorias em como “Gerenciar a lista de submissões” foi consistentemente classificado em primeiro lugar em todas as faixas de tempo, com “Avaliação por pares e fluxo de trabalho de decisão editorial” e “Gerenciar artigos de periódicos para publicação” também classificados nas primeiras posições.

Um ligeiro ponto fora da curva que identificamos é que no grupo de cinco a dez anos, o terceiro elemento classificado é “Funções de e-mail do OJS” – mas isso representa apenas 24 respostas, e a categoria seguinte mais próxima é “Avaliação por pares e fluxo de trabalho de decisão editorial” com 21 respostas.

Não houve diferenças significativas nas classificações das categorias entre aqueles que se descreveram como gerenciadores de um programa de hospedagem/publicação de periódicos ou como editores ou gestores de periódicos.

Respostas detalhadas

Para as três categorias de melhorias que eles classificaram como mais importantes, cada entrevistado foi então solicitado a revisar uma lista de recursos específicos e considerar o quão fortemente eles concordaram com a afirmação: “Este recurso é importante para o meu trabalho”. A concordância foi medida com uma escala de cinco pontos: concordo totalmente, concordo, não concordo nem discordo, discordo e discordo totalmente.

Fornecemos as respostas para cada uma das três categorias que a maioria dos respondentes classificou como mais importante. Também agrupamos as respostas como concordo (concordo totalmente e concordo), neutro (não concordo nem discordo) e discordo (discordo e discordo totalmente) para ver as diferenças mais facilmente entre os recursos.

1. Gerenciar a lista de submissões (Minha fila, Não atribuídos, Todos ativos, Arquivos)

Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:

• Filtrar a lista de submissão segundo mais critérios (por exemplo, editor designado, estágio de revisão, data da última atividade, pareceristas, idioma e número)
• Classificar os resultados da pesquisa na lista de submissão (por exemplo, por data ou em ordem alfabética)
• Mostrar editores designados na lista de submissão
• Mostrar rodada de revisão na lista de submissão
• Pesquisar lista de submissão por subtítulo
• Restaurar a última visualização das listas de submissão quando carregadas
• Retornar aos resultados pesquisados anteriormente
• Permitir que os editores personalizem os resultados da lista de submissão salvando as configurações de filtro
• Diferenciar entre “resposta do parecerista atrasada” e “revisão atrasada”
• Verificar se há submissão duplicada no mesmo periódico

“Filtrar a lista de submissão”, “Mostrar a rodada de revisão”, “Classificar os resultados da pesquisa”, “mostrar os editores designados”, “diferenciar as respostas da revisão e verificar se há duplicatas”, tudo demonstrou forte concordância.

“Permitir que os editores personalizem as listas de submissão”, “Retornar aos resultados pesquisados anteriormente”, “Restaurar a última visualização” e “Pesquisar a lista de submissão por subtítulo” tiveram pontuação inferior, sendo este último o único item com mais respostas discordantes do que concordantes.

2. Avaliação por pares e fluxo de trabalho de decisão editorial

Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:

• Permitir que os pareceristas associem seu ORCID iD por meio do formulário de avaliação
• Convidar novamente pareceristas de rodadas de avaliações anteriores para uma próxima rodada de avaliação
• Adicionar múltiplos pareceristas de uma vez para uma submissão
• Adicionar categorias a pareceristas e filtrá-los segundo estas categorias
• Melhorar a experiência do usuário por meio do upload de pareceres
• Enviar lembretes aos pareceristas antes da data de vencimento da avaliação
• Publicar pareceres e a decisão editorial (Avaliação por Pares Aberta)

Nesta categoria, “melhorar a experiência do usuário fazendo upload de pareceres”, “convidar novamente pareceristas de rodadas anteriores” e “adicionar múltiplos pareceristas de uma vez”, todos tiveram pontuação elevada.

Publicar pareceres e decisões editoriais (Avaliação Aberta) apresenta o menor nível de concordância para esta categoria.

3. Gerenciar artigos de Periódicos para Publicação

Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:

• Conversão de artigos XML em outros formatos, como PDF
• Melhorar o suporte para arquivos de mídia, como imagens, áudio e vídeo
• Exibir o texto completo do artigo na página de destino do artigo
• Permitir que os autores comparem os metadados antes e depois da correção e edição
• Criação de artigos XML JATS
• Adicionar legendas de atribuição para imagens de capa de artigos e edições
• Exibir artigos no formato XML
• Elaborar listas de referências com capacidade multilíngue

Nesta categoria, a conversão de artigos XML em outros formatos, melhorar o suporte para arquivos de mídia e exibir o texto completo do artigo na página de destino do artigo, tudo oscilou para o topo, enquanto os itens restantes tiveram pontuação semelhante.

Respostas dignas de nota de outras categorias

Embora não tenhamos concluído uma análise detalhada para as categorias de classificação inferior, existem alguns recursos dignos de nota que tiveram um número muito alto de respostas “concordo totalmente” e “concordo” dentro da categoria.

Por exemplo, na categoria “Melhorias nas funções dos e-mails do OJS”, mais de 90% dos 196 respondentes desta questão concordaram que “melhorar a seleção, a redação, a visualização e o envio de e-mails durante o fluxo de trabalho” era importante para seu trabalho.

Na categoria “Melhorias nas estatísticas e métricas”, houve forte concordância semelhante para “Fornecer aos autores estatísticas para suas próprias publicações” e “Fornecer ferramentas para os periódicos compartilharem relatórios e estatísticas”.

Próximas etapas

O Comitê Técnico ficou muito satisfeito com o alto nível de envolvimento da comunidade PKP, e gostaríamos de agradecer aos 524 participantes que dedicaram seu tempo para completar a pesquisa e classificar e avaliar os recursos e fornecer comentários.

As respostas parecem indicar que há uma forte concordância compartilhada entre os respondentes de que melhorar a funcionalidade em torno do gerenciamento da lista de submissão, avaliação por pares e fluxos de trabalho de decisão editorial e gerenciamento de artigos de periódicos para publicação são as categorias gerais mais importantes dentre as opções apresentadas.

Embora a análise dos campos de comentário livre ainda não tenha sido concluída, prevemos que estes comentários aumentarão nossa compreensão destes resultados e podem fornecer alguns insights sobre outros recursos desejados.

Reconhecemos que há muitas maneiras de melhorar o design e a implementação da pesquisa, mas estamos confiantes de que estas descobertas iniciais fornecem um corpo de evidência confiável para ajudar a orientar e informar futuras tomadas de decisão.

Fornecemos os dados e nossa análise inicial ao PKP e estamos satisfeitos em ver que nossas descobertas estão alinhadas com muitos dos outros comentários de usuários que têm sido coletados pelo PKP de muitas maneiras diferentes ao longo dos anos.

As três principais categorias de melhorias identificadas na pesquisa se sobrepõem às áreas prioritárias para o desenvolvimento de recursos do PKP, incluindo rastreamento de submissão e descoberta, atribuições de avaliação, e ferramentas de produção de XML/texto completo.

Esperamos que os dados coletados nesta pesquisa forneçam percepções adicionais para a equipe de desenvolvimento do PKP com vistas a equilibrar áreas de esforços e que possam fornecer evidências, conforme necessário, em apoio a oportunidades de financiamento.

Gostaríamos de apresentar os resultados da nossa pesquisa à comunidade por meio de um webinário para a comunidade entre junho e setembro de 2021 e gostaríamos de continuar trabalhando com o PKP para encontrar maneiras de facilitar a retroalimentação e o envolvimento da comunidade no futuro.

Assim que tivermos agregado e anonimizado os resultados da pesquisa, iremos compartilhá-los com a comunidade como um conjunto de dados abertos.

Submetido em nome do Comitê Técnico do PKP por

• Sonya Betz, University of Alberta
• Marc Bria, Universitat Autònoma de Barcelona
• Alex Mendonça, SciELO
• Carolina Tanigushi, SciELO
• Michelle Brailey, University of Alberta

Link externo

Comitê Técnico do PKP: https://pkp.sfu.ca/about/organization/technical-committee/

Traduzido do original em inglês por Lilian Nassi-Calò.