eLife testa uma abordagem inovadora de avaliação por pares

Imagem: vividbiology.com.

Por Lilian Nassi-Calò

A comunicação científica da era moderna, até recentemente, se apoiava tradicionalmente sobre três pilares fundamentais: os periódicos como principais veiculadores da informação científica, os sistemas de avaliação por pares pré-publicação, e os índices de impacto baseados em citações.

O cenário atual, entretanto, não apenas questiona a solidez destes pilares, como apresenta alternativas viáveis, talvez até melhores, que vêm sendo adotadas com crescente credibilidade pela comunidade científica e compartilhadas com a sociedade.

A avaliação por pares, em particular, passa por um momento de transição, no qual modelos clássicos são abandonados em prol de formas inovadoras que trazem maior credibilidade, transparência, responsabilidade, rapidez, e qualidade ao processo, contribuindo, assim, para acelerar a publicação dos resultados de pesquisa sem sobrecarregar pareceristas e editores.

Inúmeros periódicos vêm adotando modalidades abertas de avaliação por pares, em particular na última década. No entanto, sob a categoria avaliação por pares aberta existem dezenas de diferentes tipos e procedimentos, cada qual com vantagens, desvantagens, e limitações, que são aplicáveis idealmente a certos periódicos e/ou áreas do conhecimento.

O periódico eLife é uma publicação arbitrada de acesso aberto na área de biomedicina e ciências da vida, criada em 2012 por um consórcio formado pelo Howard Hughes Medical Institute, a Sociedade Max Plank e a Wellcome Trust. A organização sem fins lucrativos passou a operar com taxas de publicação (article processing charges, APC) desde 2017 para cobrir os custos de publicação.

O eLife adota, desde seu primeiro número, um formato de avaliação por pares diferente daquele utilizado por muitos periódicos. Enquanto a maioria das publicações persistia com a avaliação pré-publicação nas modalidades clássicas simples ou duplo-cego, o eLife já adotava a revisão por pares aberta, na qual editores e pareceristas se reúnem para discutir suas recomendações e emitem um único parecer consolidado sobre as revisões que devem ser feitas para que o artigo seja aceito para publicação. Este parecer é enviado em média 30 dias após a submissão, e é publicado resumidamente em seguida ao artigo. A transparência do processo encoraja pareceres construtivos e desencoraja múltiplos rounds de revisão, uma vez que o editor está preparado para avaliar as novas submissões sem precisar consultar os pareceristas.

Randy Schekman¹, editor-chefe, e Mark Patterson², diretor executivo da publicação, dedicaram o editorial do número de junho³ a relatar um experimento com o processo de avaliação por pares do eLife. Eles pretendem testar a viabilidade de uma forma ainda mais participativa de revisão por pares, na qual os autores poderão controlar a decisão sobre publicar (ou não) e como eles irão responder aos comentários dos pareceristas. Basicamente, ao enviar um manuscrito para avaliação por pares, o periódico assume o compromisso de publicá-lo, juntamente com os pareceres, a carta de decisão e as respostas dos autores.

Ao propor o “experimento” o editor-chefe e o diretor executivo do eLife pretendem reduzir a carga do prestígio do periódico na avaliação da pesquisa, equalizar as relações entre autores, editores e pareceristas e aumentar a eficiência na publicação do periódico.

O teste será oferecido aos primeiros 300 autores que submeterem artigos ao periódico. Os artigos passarão pelo processo editorial padrão: serão designados a um Editor Sênior que fará a avaliação inicial, em conjunto com outros editores. Os artigos selecionados nesta fase serão enviados para pareceristas externos para revisão por pares. Geralmente um terço dos artigos submetidos prossegue para avaliação por pares e metade destes é aceita para publicação. Neste experimento, entretanto, a decisão de enviar para avaliação por pares será equivalente a aceitar o artigo para publicação.

Ao compartilhar com os autores a decisão de publicar – ou não – o artigo, o editor e pareceristas discutem com estes seus comentários. Porém, são os autores que decidem de que forma irão responder aos comentários. Podem decidir realizar novos experimentos, ou ajustar as conclusões, refazer os testes estatísticos, ou até mesmo retirar o artigo, caso a revisão por pares aponte falhas graves no manuscrito. No final, a apresentação do artigo e a decisão de publicá-lo ou não ficará a cargo dos autores. O periódico publicará a versão final juntamente com o comentário consolidado dos pareceristas, a carta de decisão e as respostas dos autores. Ademais, o editor e os pareceristas irão julgar em que extensão os autores responderam aos questionamentos levantados na avaliação, emitindo um dos seguintes conceitos: todos os argumentos foram resolvidos, poucos argumentos permanecem não resolvidos, ou muitos argumentos permanecem não resolvidos.

Os artigos que forem publicados como parte integrante deste teste serão designados “Research Communication” para diferenciá-los dos artigos que passaram pelo processo normal de avaliação por pares do eLife.

Os principais objetivos do teste, segundo o eLife, são descobrir as fortalezas e debilidades da abordagem, bem como consequências inesperadas. Os editores pretendem conhecer detalhes sobre os participantes do teste (autores e pareceristas) e têm interesse em comparar os dados do teste com os dados atuais do periódico, como por exemplo: as taxas de artigos que prosseguem para avaliação por pares, e a taxa global de aprovação, entre outros.

“Não podemos prever como autores, editores e pareceristas se comportarão durante o teste, uma vez que estamos mudando uma parte fundamental do que fazem normalmente […]Entretanto, já que nosso objetivo é explorar quão seletivamente periódicos e avaliação por pares podem evoluir para apoiar a ciência de forma mais eficaz, estamos convencidos de que este experimento vale a pena”, conclui o editorial³.

Notas

1. Randy Schekman, da Universidade da Califórnia em Berkeley, recebeu o Prêmio Nobel de Fisiologia e Medicina em 2013, juntamente com dois outros pesquisadores por seus trabalhos sobre a regulação do transporte de vesículas através da membrana celular.

2. Mark Patterson é Diretor Executivo da eLife. Patterson trabalhou como pesquisador em genética por 12 anos, ajudou a lançar o Nature Reviews Journal, vários periódicos PLoS, e foi um dos fundadores da OASPA e da eLife.

3. PATTERSON, M. and SCHEKMAN R. A new twist on peer review. eLife [online]. 2018, vol. 7, e36545 [viewed 11 July 2018]. DOI: 10.7554/eLife.36545. Available from: https://elifesciences.org/articles/36545

Referências

NASSI-CALÒ, L. eLife: um exemplo de aperfeiçoamento da avaliação por pares [online]. SciELO em Perspectiva, 2015 [viewed 11 July 2018]. Available from: https://blog.scielo.org/blog/2015/05/06/elife-um-exemplo-de-aperfeicoamento-da-avaliacao-por-pares/

PATTERSON, M. and SCHEKMAN R. A new twist on peer review. eLife [online]. 2018, vol. 7, e36545 [viewed 11 July 2018]. DOI: 10.7554/eLife.36545. Available from: https://elifesciences.org/articles/36545

SPINAK, E. Sobre as vinte e duas definições de revisão por pares aberta… e mais [online]. SciELO em Perspectiva, 2018 [viewed 11 July 2018]. Available from: https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-e-mais

Links externos

eLife Sciences <http://elifesciences.org/>

Mark Patterson <https://orcid.org/0000-0001-8615-6409>

Randy Schekman < http://orcid.org/0000-0001-7237-0797>

Lilian Nassi-Calò

See Full Bio