O Comitê Técnico do Public Knowledge Project (PKP) convidou membros da comunidade do OJS (Open Journal Systems) para participar de uma pesquisa para nos ajudar a identificar e priorizar as solicitações de desenvolvimento da comunidade de editores e gerentes de periódicos OJS. A pesquisa solicitou aos participantes que primeiro pontuassem categorias gerais de melhorias e, em seguida, avaliassem recursos específicos apenas dentro das três categorias que classificaram como mais importantes.
A pesquisa esteve disponível no serviço de pesquisa PKP Surveys, construído com o LimeSurvey, de 9 de fevereiro a 24 de março de 2021, e solicitamos a participação por meio do blog de notícias PKP e canais de mídia social, o Fórum PKP e em uma ampla gama de listas de servidores e redes.
524 respondentes completaram a pesquisa.
Resultados
Sobre os respondentes
A maioria de nossos respondentes são editores ou gestores de periódicos, que usam o OJS 3.X. Mais da metade deles usa o OJS há menos de cinco anos.
Classificação de categorias gerais de recursos
Os respondentes da pesquisa foram solicitados a classificar sete diferentes categorias gerais de recursos arrastando e soltando-os em ordem, do mais importante no topo para o menos importante na parte inferior. Estas sete categorias incluíam “melhorias para”:
Gerenciar a lista de submissões (Minha fila, Não atribuídos, Todos Ativos, Arquivos)
Funções de e-mail do OJS
Avaliação por pares e fluxo de trabalho de decisão editorial
Gerenciar artigos de periódicos para publicação
Gerenciar números do periódico
Gerenciar usuários e suas contas
Estatísticas e métricas
“Gerenciar a lista de submissões” foi classificado em primeiro lugar com mais frequência (144 vezes), seguido por “Avaliação por pares e fluxo de trabalho de decisão editorial” (101) e “Gerenciar artigos de periódicos para publicação” (100). “Avaliação por pares e fluxo de trabalho de decisão editorial” foi classificado em segundo lugar com mais frequência (151 vezes), seguido por “Gerenciar artigos de periódicos para publicação” (78) e “Funções de e-mail do OJS” (62).
A categoria mais frequentemente classificada por último foi “Estatísticas e métricas” (131 vezes) com “Gerenciar usuários e suas contas” mais frequentemente classificado como penúltimo (109).
A análise das respostas para diferentes grupos de respondentes produziu resultados muito semelhantes, com algumas exceções notáveis. Aqueles que usam OJS 3.X (367 respondentes), quando solicitados a classificar os recursos mais importantes, seguiram as mesmas tendências gerais acima e classificaram “Gerenciar a lista de submissões” como o mais importante com 98 respondentes (26,85%) selecionando esta opção, seguido de perto por “Avaliação por pares e fluxo de trabalho de decisão editorial” (70 respondentes 19,18%), e “Gerenciar artigos de periódicos para publicação” (70 respondentes, 19,18%).
Usuários de OJS 2.X (83 respondentes) também classificaram as melhorias para “Gerenciar a lista de submissões” em primeiro lugar, com 26 respondentes ou 31,3% selecionando-o como o mais importante. Notadamente, 17 respondentes, ou 20,5% dos usuários de OJS 2.X pesquisados selecionaram melhorias em “Estatísticas e métricas” como sua característica mais importante.
A ordem de classificação não parece variar drasticamente com base nas respostas à pergunta “Há quanto tempo você trabalha com o OJS?”. Melhorias em como “Gerenciar a lista de submissões” foi consistentemente classificado em primeiro lugar em todas as faixas de tempo, com “Avaliação por pares e fluxo de trabalho de decisão editorial” e “Gerenciar artigos de periódicos para publicação” também classificados nas primeiras posições.
Um ligeiro ponto fora da curva que identificamos é que no grupo de cinco a dez anos, o terceiro elemento classificado é “Funções de e-mail do OJS” – mas isso representa apenas 24 respostas, e a categoria seguinte mais próxima é “Avaliação por pares e fluxo de trabalho de decisão editorial” com 21 respostas.
Não houve diferenças significativas nas classificações das categorias entre aqueles que se descreveram como gerenciadores de um programa de hospedagem/publicação de periódicos ou como editores ou gestores de periódicos.
Respostas detalhadas
Para as três categorias de melhorias que eles classificaram como mais importantes, cada entrevistado foi então solicitado a revisar uma lista de recursos específicos e considerar o quão fortemente eles concordaram com a afirmação: “Este recurso é importante para o meu trabalho”. A concordância foi medida com uma escala de cinco pontos: concordo totalmente, concordo, não concordo nem discordo, discordo e discordo totalmente.
Fornecemos as respostas para cada uma das três categorias que a maioria dos respondentes classificou como mais importante. Também agrupamos as respostas como concordo (concordo totalmente e concordo), neutro (não concordo nem discordo) e discordo (discordo e discordo totalmente) para ver as diferenças mais facilmente entre os recursos.
1. Gerenciar a lista de submissões (Minha fila, Não atribuídos, Todos ativos, Arquivos)
Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:
Filtrar a lista de submissão segundo mais critérios (por exemplo, editor designado, estágio de revisão, data da última atividade, pareceristas, idioma e número)
Classificar os resultados da pesquisa na lista de submissão (por exemplo, por data ou em ordem alfabética)
Mostrar editores designados na lista de submissão
Mostrar rodada de revisão na lista de submissão
Pesquisar lista de submissão por subtítulo
Restaurar a última visualização das listas de submissão quando carregadas
Retornar aos resultados pesquisados anteriormente
Permitir que os editores personalizem os resultados da lista de submissão salvando as configurações de filtro
Diferenciar entre “resposta do parecerista atrasada” e “revisão atrasada”
Verificar se há submissão duplicada no mesmo periódico
“Filtrar a lista de submissão”, “Mostrar a rodada de revisão”, “Classificar os resultados da pesquisa”, “mostrar os editores designados”, “diferenciar as respostas da revisão e verificar se há duplicatas”, tudo demonstrou forte concordância.
“Permitir que os editores personalizem as listas de submissão”, “Retornar aos resultados pesquisados anteriormente”, “Restaurar a última visualização” e “Pesquisar a lista de submissão por subtítulo” tiveram pontuação inferior, sendo este último o único item com mais respostas discordantes do que concordantes.
2. Avaliação por pares e fluxo de trabalho de decisão editorial
Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:
Permitir que os pareceristas associem seu ORCID iD por meio do formulário de avaliação
Convidar novamente pareceristas de rodadas de avaliações anteriores para uma próxima rodada de avaliação
Adicionar múltiplos pareceristas de uma vez para uma submissão
Adicionar categorias a pareceristas e filtrá-los segundo estas categorias
Melhorar a experiência do usuário por meio do upload de pareceres
Enviar lembretes aos pareceristas antes da data de vencimento da avaliação
Publicar pareceres e a decisão editorial (Avaliação por Pares Aberta)
Nesta categoria, “melhorar a experiência do usuário fazendo upload de pareceres”, “convidar novamente pareceristas de rodadas anteriores” e “adicionar múltiplos pareceristas de uma vez”, todos tiveram pontuação elevada.
Publicar pareceres e decisões editoriais (Avaliação Aberta) apresenta o menor nível de concordância para esta categoria.
3. Gerenciar artigos de Periódicos para Publicação
Para esta categoria, os respondentes foram solicitados a indicar o quão fortemente eles concordaram que os seguintes recursos eram importantes para o seu trabalho:
Conversão de artigos XML em outros formatos, como PDF
Melhorar o suporte para arquivos de mídia, como imagens, áudio e vídeo
Exibir o texto completo do artigo na página de destino do artigo
Permitir que os autores comparem os metadados antes e depois da correção e edição
Criação de artigos XML JATS
Adicionar legendas de atribuição para imagens de capa de artigos e edições
Exibir artigos no formato XML
Elaborar listas de referências com capacidade multilíngue
Nesta categoria, a conversão de artigos XML em outros formatos, melhorar o suporte para arquivos de mídia e exibir o texto completo do artigo na página de destino do artigo, tudo oscilou para o topo, enquanto os itens restantes tiveram pontuação semelhante.
Respostas dignas de nota de outras categorias
Embora não tenhamos concluído uma análise detalhada para as categorias de classificação inferior, existem alguns recursos dignos de nota que tiveram um número muito alto de respostas “concordo totalmente” e “concordo” dentro da categoria.
Por exemplo, na categoria “Melhorias nas funções dos e-mails do OJS”, mais de 90% dos 196 respondentes desta questão concordaram que “melhorar a seleção, a redação, a visualização e o envio de e-mails durante o fluxo de trabalho” era importante para seu trabalho.
Na categoria “Melhorias nas estatísticas e métricas”, houve forte concordância semelhante para “Fornecer aos autores estatísticas para suas próprias publicações” e “Fornecer ferramentas para os periódicos compartilharem relatórios e estatísticas”.
Próximas etapas
O Comitê Técnico ficou muito satisfeito com o alto nível de envolvimento da comunidade PKP, e gostaríamos de agradecer aos 524 participantes que dedicaram seu tempo para completar a pesquisa e classificar e avaliar os recursos e fornecer comentários.
As respostas parecem indicar que há uma forte concordância compartilhada entre os respondentes de que melhorar a funcionalidade em torno do gerenciamento da lista de submissão, avaliação por pares e fluxos de trabalho de decisão editorial e gerenciamento de artigos de periódicos para publicação são as categorias gerais mais importantes dentre as opções apresentadas.
Embora a análise dos campos de comentário livre ainda não tenha sido concluída, prevemos que estes comentários aumentarão nossa compreensão destes resultados e podem fornecer alguns insights sobre outros recursos desejados.
Reconhecemos que há muitas maneiras de melhorar o design e a implementação da pesquisa, mas estamos confiantes de que estas descobertas iniciais fornecem um corpo de evidência confiável para ajudar a orientar e informar futuras tomadas de decisão.
Fornecemos os dados e nossa análise inicial ao PKP e estamos satisfeitos em ver que nossas descobertas estão alinhadas com muitos dos outros comentários de usuários que têm sido coletados pelo PKP de muitas maneiras diferentes ao longo dos anos.
As três principais categorias de melhorias identificadas na pesquisa se sobrepõem às áreas prioritárias para o desenvolvimento de recursos do PKP, incluindo rastreamento de submissão e descoberta, atribuições de avaliação, e ferramentas de produção de XML/texto completo.
Esperamos que os dados coletados nesta pesquisa forneçam percepções adicionais para a equipe de desenvolvimento do PKP com vistas a equilibrar áreas de esforços e que possam fornecer evidências, conforme necessário, em apoio a oportunidades de financiamento.
Gostaríamos de apresentar os resultados da nossa pesquisa à comunidade por meio de um webinário para a comunidade entre junho e setembro de 2021 e gostaríamos de continuar trabalhando com o PKP para encontrar maneiras de facilitar a retroalimentação e o envolvimento da comunidade no futuro.
Assim que tivermos agregado e anonimizado os resultados da pesquisa, iremos compartilhá-los com a comunidade como um conjunto de dados abertos.
COMITÊ TÉCNICO DO PKP. Relatório da pesquisa sobre prioridades da comunidade OJS [Publicado originalmente no site do PKP] [online]. SciELO em Perspectiva, 2022 [viewed ]. Available from: https://blog.scielo.org/blog/2022/01/12/relatorio-da-pesquisa-sobre-prioridades-da-comunidade-ojs-publicado-originalmente-no-site-do-pkp/
Últimos comentários