A avaliação por pares é um tema recorrente neste blog e na literatura científica em todas as áreas do conhecimento, por sua relevância no processo editorial e seu reconhecido potencial em aprimorar a qualidade dos manuscritos submetidos para publicação.
Nas últimas décadas, os recursos para pesquisadores sobre como se tornar um bom parecerista vêm aumentando em todo o mundo, por iniciativa de sociedades científicas que visam atender a suas especialidades, organizações nacionais e internacionais de editores científicos e estudos abrangentes sobre avaliação por pares.
O Programa SciELO implementa, adota e incentiva, desde 2018, práticas de ciência aberta em suas coleções de periódicos, com a disponibilização aberta de dados de pesquisa, a postagem de preprints, a adoção de publicação contínua e o aumento da transparência nos processos de avaliação de pesquisas, artigos e periódicos. Como resultado, os editores de periódicos vêm, de forma crescente, adotando estas práticas com resultados positivos no aumento de preprints sendo publicados e compartilhados com a comunidade científica, a redução de prazos entre a submissão e a publicação e cada vez mais os dados sendo disponibilizados em repositórios abertos.
O postComo reformular a publicação científica para enfrentar a crise da avaliação por pares,1 aborda as potenciais causas que faz da avaliação por pares o processo mais lento da publicação de um artigo e um constante desafio aos editores e equipes editoriais. Uma nova abordagem propõe que os periódicos estruturem um formulário padrão a ser respondido pelos pareceristas, para que nenhum aspecto importante da avaliação do manuscrito passe desapercebida.
Mario Malički e Bahar Mehmani realizaram um estudo piloto com 23 periódicos de todas as áreas do conhecimento do publisher Elsevier, intitulado Structured Peer Review: Pilot results from 23 Elsevier Journals2 e postado no repositório de preprintsbioRxiv. Os autores propõem uma série de perguntas – que deveriam ser padronizadas para um determinado periódico, conforme suas particularidades, que enfocam nos aspectos metodológicos, analíticos e de interpretação do artigo. Por exemplo, os editores consideram importante orientar os pareceristas para considerar se os métodos descritos são suficientemente detalhados para permitir que o trabalho seja reproduzido por outros pesquisadores, se análise estatística adicional é necessária, ou ainda se a interpretação dos dados é substanciada pelos dados e metodologia do estudo.
Na hipótese da resposta a alguma destas questões seja insatisfatória, o parecerista deve, então, fornecer críticas construtivas aos autores. Caso o parecerista julgue que não tem conhecimento suficiente para fazê-lo, deve declarar ao editor sua limitação. Outros aspectos do trabalho, como ineditismo, impacto potencial, qualidade da redação (em qualquer idioma) e formatação são de responsabilidade dos editores. Os autores recomendam fortemente que os relatos de avaliação por pares sejam disponibilizados integralmente e de forma aberta, como parte do artigo publicado. “Isso permitiria que os leitores julgassem por si mesmos como um artigo foi avaliado e possibilitaria que os pesquisadores estudassem as práticas de revisão por pares.”2
Os resultados do estudo piloto mostram que quase todos os pareceristas (92%) responderam à totalidade das questões do formulário. Quando orientados pelo mesmo conjunto de questões, 41% dos pareceristas fizeram as mesmas recomendações quanto a aceitar, revisar ou rejeitar um artigo. Os pareceristas tiveram o maior percentual de concordância (72%) sobre a avaliação a respeito do fluxo e a estrutura do manuscrito e menor concordância (53%) sobre a avaliação a respeito de se os resultados são suficientemente sustentados pelos dados. Havia ademais, neste estudo, uma seção dissertativa opcional denominada comentários ao autor, que foi preenchida por 49% do pareceristas.
O questionário padrão proposto3 inclui apenas oito questões, duas para cada seção do artigo, introdução, métodos, resultados e discussão, que podem ser adequadas a periódicos de qualquer área do conhecimento e está disponível on-line no website da European Association of Science Editors, associação da qual os autores do estudo, Malički e Mehmani são, respectivamente, presidente e membro do Comitê de Avaliação por Pares. Cabe notar que os autores recomendam respostas múltipla-escolha, para tornar o processo mais célere e facilitar a leitura pelos autores.
Com o intuito de documentar práticas similares, foi feita uma busca por periódicos e publishers que documentam em suas páginas web instruções a pareceristas se disponibilizam formulários padrão de avaliação por pares. Os resultados são sumarizados na Tabela 1. Alguns mencionam dispor de formulários, porém não estavam disponíveis a leitores e presume-se que estariam disponíveis nos sistemas de gestão on-line de manuscritos, como o ScholarOne ou o OJS (Open Journal Systems), por exemplo. Outros não usam formulários, mas relacionam as perguntas que recomendam sejam feitas pelos pareceristas aos autores na avaliação dos manuscritos.
Tabela 1. Recursos sobre avaliação por pares recomendados por periódicos e publishers a pareceristas.
1Alternativamente, apresenta-se os tópicos a ser avaliados pelos pareceristas
2Formulário disponível para pareceristas no sistema online de gerenciamento de manuscritos
Cabe notar, ademais, que a totalidade dos periódicos e publishers pesquisados na Tabela 1 em algum ponto das instruções aos pareceristas recomenda veementemente não utilizar ferramentas de IA (inteligência artificial) na avaliação por pares.
O estudo sobre o questionário estruturado de avaliação por pares e os recursos citados na Tabela 1 apontam para a mesma direção. Cada vez mais a comunidade científica demanda transparência na avaliação da pesquisa. Os leitores de um artigo muito se beneficiam ao ter acesso aos informes de avaliação por pares, para saber a que tipo de escrutínio os manuscritos foram submetidos para serem aprovados e publicados.
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Questionários estruturados podem tornar a avaliação por pares mais eficiente [online]. SciELO em Perspectiva, 2024 [viewed ]. Available from: https://blog.scielo.org/blog/2024/05/15/questionarios-estruturados-podem-tornar-a-avaliacao-por-pares-mais-eficiente/
![Preprints SciELO podem ser encontrados no Europe PMC [Publicado originalmente no blog do Europe PMC em março/2022]](https://blog.scielo.org/wp-content/uploads/2022/03/europe-pmc_thumb.png "Preprints SciELO podem ser encontrados no Europe PMC [Publicado originalmente no blog do Europe PMC em março/2022]")
Últimos comentários