Editores opinam sobre política editorial e aspectos da avaliação por pares

Por Lilian Nassi-Calò

A avaliação por pares, processo por meio do qual material submetido para publicação é analisado por especialistas, que em geral não fazem parte da equipe editorial, varia em grande extensão entre periódicos e disciplinas.

O processo de avaliação por pares em periódicos é relativamente recente. Está presente na grande maioria dos periódicos desde a segunda metade do século XX, e a comunidade científica o considera uma função crítica da comunicação científica, na perspectiva de, por um lado, melhorar a qualidade e dar credibilidade aos relatos de pesquisas publicados, e, por outro, impedir a publicação de resultados irrelevantes ou falsos. Na verdade, quase sempre, espera-se da avaliação por pares mais do que está ao seu alcance, pois nem sempre detecta erros, dados falsos e alguns tipos de plágio e nem sempre pode verificar a reprodutibilidade. Ademais, sabe-se que resultados de pesquisa controversa ou muito inovadora costumam ser rejeitados na avaliação por pares, ao mesmo tempo em que artigos aprovados por pares foram retratados por graves erros, detectados após a publicação.

Por estes e outros motivos, o modelo clássico de avaliação por pares anônimo pré-publicação vem sendo considerado ineficiente, lento, incapaz de detectar erros e de acompanhar os desenvolvimentos da ciência e a necessidade de maior transparência, abertura e reponsabilidade na avaliação dos resultados de pesquisa.

Vários autores vêm propondo modelos de avaliação por pares aberta, ou open peer review (OPR). Entre eles, Ross-Hellauer, que enfocou na divulgação da identidade de autores e pareceristas, maior interação entre os atores envolvidos no processo e publicação dos pareceres, bem como os inúmeros resultados possíveis que emergem da combinação destas variáveis. Klebel et. al.1 propõem recentemente a iniciativa Transparency in Scholarly Publishing for Open Scholarship Evolution (TRANSPOSE), ao constatar o baixo grau de informação sobre políticas a respeito de preprints e tipos de avaliação por pares adotadas pelos periódicos, o que contrasta com o movimento de Ciência Aberta, apoiado por iniciativas como a Transparency and Openness Promotion Guidelines (TOP guidelines), o Open Science Monitor da Comissão Europeia e a recomendação da Unesco sobre ciência aberta, entre outras.

Um estudo recentemente publicado na eLife2 teve por objetivo avaliar a postura de editores de periódicos de cinco disciplinas (ecologia, economia, medicina, física e psicologia) sobre seu modo de conduzir avaliação por pares. Dos 1.500 periódicos3 selecionados segundo o Fator de Impacto em suas respectivas áreas do conhecimento, os editores de 332 deles (21%) responderam à pesquisa A, formada por questões sobre políticas e práticas da avaliação por pares. Destes, 233 editores (78%) responderam também à pesquisa B, desta vez composta por questões sobre cinco temas relacionados à ética da publicação e da avaliação por pares. Ainda que muitos resultados confirmem o comportamento esperado, outros foram surpreendentes.

Os resultados da primeira pesquisa (A) podem ser resumidos a seguir:

  • 49% dos editores fazem rotineiramente verificação de plágio por métodos eletrônicos.
  • 61% dos periódicos aceitam que os autores recomendem a favor e contra pareceristas específicos.
  • Dois periódicos informam terceirizar o processo de avaliação por pares a uma empresa comercial.
  • 73% dos periódicos encorajam a interação entre pareceristas e editor responsável.
  • Apenas 2% dos periódicos encorajam a interação entre os pareceristas e 6% encorajam a interação entre pareceristas e autores.
  • 57% dos periódicos adotam avaliação por pares simples-cego, 36% duplo-cego, e 4% adotam o simples-cego, porém deixa a critério dos pareceristas a opção de divulgar sua identidade. Esta opção na modalidade duplo-cego é de 1% dos periódicos que a adotam.
  • Apenas 8% dos editores declaram aceitar publicar Relatos Registrados4, em especial os periódicos de psicologia.
  • Apenas 1% dos editores relataram publicar os pareceres (estejam os pareceristas identificados ou não) e as cartas decisórias enviadas aos autores.
  • 79% dos editores declararam compartilhar os pareceres com os demais pareceristas e 82% compartilham as cartas decisórias com todos os pareceristas.
  • 84% dos editores afirmaram que seus periódicos não têm políticas estabelecidas a respeito de modificar pareceres emitidos.
  • No entanto, 91% dos editores identificaram ao menos uma situação na qual entendem que o editor teria permissão para editar um parecer sem a anuência do parecerista.
  • As duas situações mais frequentes para fazê-lo incluem quando o parecer contiver linguagem ofensiva (85%) ou discriminatória (83%). Outros 19% afirmam que seria pertinente modificar um parecer sem o consentimento do parecerista, caso o editor discorde do teor da recomendação.
  • A postura dos editores quanto ao compartilhamento de dados de pesquisa, materiais e códigos de software é bastante tímida, com mais de 50% deles apenas encorajando, mas não demandando, ou orientando a compartilhar apenas se for requerido. O restante simplesmente não tem política a este respeito.

Setenta e oito por cento dos editores (233) que responderam à primeira pesquisa manifestaram sua percepção sobre cinco questões a respeito de ética em publicação, envolvendo aspectos da avaliação por pares.

Coparticipação na avaliação por pares

Quarenta e três por cento dos editores encorajam pessoalmente a coparticipação de outros pareceristas (sem a certeza de que lhes será conferido o devido crédito) na avaliação por pares e 34% reportam que se trata de uma prática aceitável em seu periódico. Outros 2% responderam que permitem, a despeito de pessoalmente desencorajar a prática. Entre os que apoiam esta prática, o fazem com a justificativa de treinar uma nova geração de pareceristas, porém questões como confidencialidade preocupam os editores, principalmente porque a coparticipação na avaliação por pares, na maioria das vezes, não é previamente discutida ou autorizada pelo editor.

Sugestão por parte de pareceristas para citar seus artigos

Por inusitado que pareça, menos de 5% dos editore se opõem à sugestão de pareceristas para que os autores citem seus próprios artigos, entre as recomendações de aprimoramento feitas na avaliação por pares. Parece ser consenso entre os editores que “isso deveria ser esperado, uma vez que os pareceristas teriam realizado trabalho relevante”. Os editores teriam algum papel modulador nesta prática, no entanto, mas apenas para assegurar que as referências sugeridas sejam relevantes, e que a decisão final de incluir as citações sugeridas cabe, em última instância, ao autor. Os poucos editores que consideram tal prática inaceitável declaram que este é um motivo sólido para alterar pareceres, removendo a recomendação de citação.

Requisição de acesso à dados de pesquisa por pareceristas

A quase totalidade – 95% dos editores afirmam que intercedem em favor de solicitação de acesso à dados de pesquisa por pareceristas, em todas as disciplinas pesquisadas. Um sexto destes, entretanto, afirmam requerer uma forte justificativa para fazê-lo, enquanto outros preferem consultar os autores à respeito. De qualquer forma, há um entendimento generalizado de que prover acesso aos dados de pesquisa aumenta a transparência e credibilidade do artigo e caso não haja impedimentos, não há por que não disponibilizar estes dados aos pareceristas. No entanto, poucos editores, exceto aqueles de periódicos com políticas mandatórias quanto à dados abertos, condicionam a aceitação do manuscrito ao compartilhamento de dados.

Editores que publicam no periódico que editam

Uma parcela considerável dos editores – 79% consideram aceitável publicar no periódico por eles editado. Precauções para revestir o processo com legitimidade e evitar conflitos de interesse são comuns, como submeter o artigo para avaliação por pares anonimamente e deixar a gestão do manuscrito a cargo de outro editor associado. Caso não se publique no periódico que editam com muita frequência, consideram que seria “injusto” eliminá-lo como veículo para publicar suas pesquisas apenas pelo fato de ser o editor.

Estudos de replicação direta

Em tese, 86% dos editores apoiam a submissão de estudos de replicação em seus periódicos, porém apesar de considerá-los relevantes, ressaltam a necessidade de ser acompanhados de material inédito ou nova interpretação como condição para publicação. Fato é que estes estudos não despertam interesse por parte dos leitores das publicações, e inclusive não cumprem com o critério de conteúdo inédito comum à maioria dos periódicos. Um editor chega a citar um periódico que reserva uma sessão específica para estudos de replicação, que considera uma boa prática.

Alterações no processo de avaliação por pares existente

Sessenta e cinco por cento dos editores declararam que estavam contemplando, implementando ou haviam implementado recentemente alterações no sistema de avaliação por pares de seus periódicos. Apenas 35% deles afirmaram estar satisfeitos com as práticas correntemente adotadas. A maior parte das alterações inclui mudanças no cegamento da avaliação por pares, mas na direção oposta do que esperaríamos num horizonte em direção à ciência aberta, de fato, aumentando o anonimato. Outro tema de interesse é como encontrar pareceristas, formas de aumentar a eficiência do processo como um todo, e as possibilidades de recompensar pareceristas (por exemplo, via Publons), e algumas contemplando inclusive remuneração financeira ou eximir taxas de processamento de artigos.

Principais conclusões da pesquisa

Os resultados das duas séries de pesquisas publicados por Hamilton, et al.2 e resumidos neste post mostram um cenário bastante convencional a respeito do processo de avaliação por pares nos 21% dos periódicos que responderam à pesquisa entre aqueles de maior impacto em suas respectivas áreas (ecologia, economia, medicina, física e psicologia). Sabe-se que a adoção de processos inovadores em avaliação por pares é um desafio aos editores, pois ao mesmo tempo que desejam incentivar práticas abertas de avaliação por pares, necessitam manter seu time de pareceristas, que preferem manter o anonimato.

O que se observa em certas situações são oportunidades perdidas. Ao apoiar a solicitação de pareceristas que solicitam acesso à dados de pesquisa, nota-se a relutância dos editores em demandar dos autores que os disponibilizem, o que vai ao encontro da baixa taxa de políticas que demandam o depósito de dados abertos de pesquisa concomitantemente à submissão do artigo. Este cenário está em vias de mudar no futuro próximo, por iniciativa de financiadores que tendem a estabelecer políticas mandatórias sobre compartilhamento de dados ao conceder auxílios à pesquisa.

Um dos resultados mais notáveis da primeira parte da pesquisa diz respeito à baixíssima taxa de abertura da avaliação por pares, tanto na publicação de pareceres como na divulgação da identidade dos pareceristas. Apenas 18% dos editores informam deixar a critério dos pareceristas divulgar ou não sua identidade. No entanto, este movimento em direção à abertura contrasta com a declaração de 39% dos editores de que a divulgação da identidade dos pareceristas em um sistema anônimo é razão suficiente para editar pareceres sem sua anuência, removendo a identidade destes.

Setenta e cinco por cento dos editores considera que encontrar pareceristas é a parte mais difícil de seu trabalho, e encontrar pareceristas dispostos a revelar suas identidades torna esta tarefa ainda mais árdua, justificam. Felizmente, a aceitação de práticas abertas de avaliação por pares é maior entre editores e pareceristas jovens e, portanto, tende a aumentar.

Os autores do estudo consideram um dos resultados mais surpreendentes da pesquisa a prática por parte de editores de alterar pareceres sem autorização dos pareceristas, porém com conhecimento deles. Em tese, se o editor pode remover comentários do parecer com os quais não está de acordo, pode também alterar a recomendação para aceitar ou rejeitar o manuscrito para publicação. Evidentemente, correções de ortografia e para melhorar a redação em idioma estrangeiro, ou para tornar o parecer menos agressivo, ofensivo ou discriminatório podem ser feitas sem consultar o parecerista. Para além disso, o Committee on Publication Ethics (COPE) tem recomendações5. É motivo de preocupação, entretanto, o elevado número de editores (62%) que, nesta pesquisa, declarou considerar aceitável modificar pareceres substancialmente, além das razões supracitadas, sem consultar o parecerista.

Os resultados deste estudo sugerem que a avaliação por pares segue sendo uma prática fechada, em boa parte, com alguns desafios do ponto de vista ético. O conflito entre manter o pool de pareceristas e adotar práticas abertas de avaliação por pares está presente no dia a dia de cada editor. Estudos desta natureza podem contribuir para ampliar o debate sobre o papel que cada ator desempenha na avaliação por pares, e a inclusão de agências de fomento e instituições de pesquisa pode contribuir para a formulação de políticas e boas práticas que levem à maior transparência e abertura na comunicação científica.

Nota

1. KLEBEL. T., et al. Peer review and reprint policies are unclear at most major journals. PLoS ONE [online]. 2020, vol. 15, no. 10, e0239518 [viewed 12 February 2021]. https://doi.org/10.1371/journal.pone.0239518. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0239518

2. HAMILTON, D.G., et al. Journal policies and editors’ opinions on peer review. eLife [online] 2020, vol. 9, e62529 [viewed 12 February 2021]. https://doi.org/10.7554/eLife.62529. Available from: https://elifesciences.org/articles/62529

3. Limitações do estudo: os autores reconhecem que não foram considerados periódicos em outros idiomas que não o inglês, nem a influência do modelo de negócios do periódico (acesso aberto, por subscrição, ou híbrido), e se o periódico é gerido por um editor acadêmico ou professional. Em suma, o estudo representa uma fotografia da política editorial dos periódicos selecionados durante três meses em 2019, e que pode mudar substancialmente através do tempo.

4. O Relato Registrado (Registered Report) é uma forma de artigo de periódico em que a metodologia e análises propostas são pré-registradas e avaliados pelos pares antes de a pesquisa ser conduzida (etapa 1). Protocolos de alta qualidade são, então, provisoriamente aceitos para publicação antes do início da coleta de dados. Saiba mais em “O caminho para os ensaios de reprodutibilidade passa pelos Relatos Registrados”.

5. Ethical guidelines for peer reviewers [online]. Committee on Publication Ethics (COPE). 2013 [viewed 12 February 2021]. https://doi.org/10.24318/cope.2019.1.9. Available from: https://publicationethics.org/resources/guidelines-new/cope-ethical-guidelines-peer-reviewers

Referências

Anteproyecto de Recomendación de la UNESCO sobre la Ciencia Abierta [online]. UNESCO. 2020 [viewed 12 February 2021]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000374837_spa

Committee on Publication Ethics. Ethical guidelines for peer reviewers [online]. Committee on Publication Ethics (COPE). 2013 [viewed 12 February 2021]. https://doi.org/10.24318/cope.2019.1.9. Available from: https://publicationethics.org/resources/guidelines-new/cope-ethical-guidelines-peer-reviewers

First draft of the UNESCO Recommendation on Open Science [online]. UNESCO. 2020 [viewed 12 February 2021]. Available from: https://unesdoc.unesco.org/ark:/48223/pf0000374837

HAMILTON, D.G., et al. Journal policies and editors’ opinions on peer review. eLife [online] 2020, vol. 9, e62529 [viewed 12 February 2021]. https://doi.org/10.7554/eLife.62529. Available from: https://elifesciences.org/articles/62529

KLEBEL. T., et al. Peer review and reprint policies are unclear at most major journals. PLoS ONE [online]. 2020, vol. 15, no. 10, e0239518 [viewed 12 February 2021]. https://doi.org/10.1371/journal.pone.0239518. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0239518

NASSI-CALÒ, L. Avaliação por pares: ruim com ela, pior sem ela [online]. SciELO em Perspectiva, 2015 [viewed 12 February 2021]. Available from: https://blog.scielo.org/blog/2015/04/17/avaliacao-por-pares-ruim-com-ela-pior-sem-ela/

NASSI-CALÒ, L. O caminho para os ensaios de reprodutibilidade passa pelos Relatos Registrados [online]. SciELO em Perspectiva, 2020 [viewed 12 February 2021]. Available from: https://blog.scielo.org/blog/2020/08/26/o-caminho-para-os-ensaios-de-reprodutibilidade-passa-pelos-relatos-registrados/

NOSEK, B.A., et al. Promoting an open research culture. Science [online]. 2015, vol. 348, no. 6242, pp. 1422–1425 [viewed 12 February 2021]. https://doi.org/10.1126/science.aab2374. Available from: https://science.sciencemag.org/content/348/6242/1422

ROSS-HELLAUER,T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, pp. 558 [viewed 12 February 2021]. https://doi.org/10.12688/f1000research.11369.1. Available from: https://f1000research.com/articles/6-588/v1

VELTEROP, J. Peer review – issues, limitations, and future development. ScienceOpen Research [online]. 2015 [viewed 12 February 2021]. https://doi.org/10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1. Available from: https://www.scienceopen.com/document?vid=1dcfbe69-c30c-4eaa-a003-948c9700da40

WILKINSON, J. Who’s using open peer review? [online]. Publons blog, 2017 [viewed 12 February 2021]. Available from: https://publons.com/blog/who-is-using-open-peer-review/

Links externos

Committee on Publication Ethics (COPE): https://publicationethics.org/

Open science monitor | European Comission: https://ec.europa.eu/info/research-and-innovation/strategy/goals-research-and-innovation-policy/open-science/open-science-monitor

TOP Guidelines: https://www.cos.io/initiatives/top-guidelines

 

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.

 

Como citar este post [ISO 690/2010]:

NASSI-CALÒ, L. Editores opinam sobre política editorial e aspectos da avaliação por pares [online]. SciELO em Perspectiva, 2021 [viewed ]. Available from: https://blog.scielo.org/blog/2021/03/03/editores-opinam-sobre-politica-editorial-e-aspectos-da-avaliacao-por-pares/

 

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Post Navigation