Associando Pre-Prints e Revisão por Pares Pós-Publicação para Publicação Científica Rápida, Barata e Efetiva [Publicado originalmente no blog “it is not junk” de Michael Eisen]

Por Michael Eisen e Leslie V. Vosshall

Imagem: BRENDAN MONROE.

Artigos científicos são o principal resultado tangível e duradouro de um cientista. É como comunicamos nossas descobertas e como somos avaliados para contratações, promoções e prêmios. O sistema atual pelo qual trabalhos científicos são publicados precede a Internet por várias centenas de anos, e pouco mudou ao longo dos séculos.

Acreditamos que este sistema não serve mais às necessidades dos cientistas.

1. Ele é lento. Manuscritos levam uma média de nove meses na revisão por pares antes da publicação, e os revisores exigem cada vez mais dados e mais experimentos para aprovar um artigo para publicação. Estes atrasos maciçamente retardam a disseminação do conhecimento científico.
2. É caro. Gastamos US$ 10 bilhões por ano em publicação de periódicos científicos e de medicina, mais de US$ 6.000 por artigo, e cada vez mais estes custos são provenientes diretamente de auxílios de pesquisa.
3. É arbitrário. O atual sistema de revisão por pares é falho. Excelentes trabalhos são rejeitados, e artigos falhos são aceitos. Apesar disto, o nome do periódico continua a ser utilizado como um substituto para a qualidade do artigo.
4. É inacessível. Mesmo com os esforços significativos do movimento de publicação de acesso aberto, a grande maioria da literatura científica não é acessível sem uma assinatura.

Tendo em vista estes problemas, apoiamos fortemente a meta da ASAP Bio em acelerar a disponibilidade online de manuscritos de pesquisa biomédica. Se todos os pesquisadores biomédicos postassem cópias de seus artigos quando eles estivessem prontos para compartilhá-los, estas quatro principais patologias da publicação científica seriam curadas.

O objetivo da ASAP Bio para convencer financiadores e outras partes interessadas a endossar a adoção de pre-prints é louvável. Todavia, sem uma reforma fundamental na forma como a revisão por pares é realizada, o estímulo para a publicação de pre-prints não terá sucesso. Um objetivo adicional importante da a reunião deve, portanto, ser a obtenção de apoio de financiadores a mecanismos alternativos para conduzir a revisão por pares. Tais mecanismos operariam fora do sistema tradicional baseado no periódico e se concentrariam em avaliar a qualidade, o público potencial, e o impacto da obra publicada exclusivamente como “pre-print”. Se for estruturado adequadamente, prevemos que um novo sistema de publicação de pre-prints, aliado a revisão por pares pós-publicação, irá substituir a publicação científica tradicional tanto quanto comentários online orientados pelo usuário (Amazon, Yelp, Trip Advisor, etc.) substituíram métricas orientadas pelo publisher para avaliar a qualidade (Consumer Reports, Zagat, Fodor’s, etc.).

Neste documento explicamos por que a adoção de pre-prints e a reforma da revisão por pares são indissociáveis, delineamos possíveis sistemas alternativos de revisão por pares, e sugerimos medidas concretas que agências de fomento podem tomar para alavancar mudanças na revisão por pares para promover com sucesso a adoção de pre-prints.

Pre-prints e revisão por pares com base no periódico não podem coexistir

O ensaio de Ron Vale que levou à reunião ASAP Bio tem como premissa a ideia de que devemos usar pre-prints para aumentar o sistema existente de revisão por pares com base no periódico. No modelo de Vale, pesquisadores biomédicos postam artigos em servidores de pre-prints e, em seguida, submetem os mesmos a periódicos tradicionais, que os avaliam como fazem hoje, e, finalmente, publicam os trabalhos que considerem adequados para seu periódico.

Há muitas razões por que tal sistema seja indesejável – manteria intacto um sistema de periódicos que é ineficiente, ineficaz, inacessível e caro. Porém, proximamente não há simplesmente nenhuma maneira de que funcione tal simbiose entre pre-prints e o atual sistema de periódicos.

Servidores de pre-prints em biomedicina como BioRxiv, gerido pela reputada editora Cold Spring Harbor Press, agora oferecem a pesquisadores biomédicos a opção de publicar seus trabalhos imediatamente, a um custo mínimo. No entanto, os biólogos têm sido relutantes em fazer uso desta oportunidade, pois não têm qualquer incentivo para fazê-lo, e em muitos casos, têm incentivos para não o fazer. Se nós, como comunidade biomédica, queremos promover a adoção universal da pre-prints, temos que fazer mais que pagar pretensos serviços de pre-prints, temos de mudar os incentivos que impulsionam as decisões editoriais. E isso significa mudar a revisão por pares.

Por que pre-prints e revisão por pares estão interligados? Cientistas publicam por duas razões: para comunicar o seu trabalho aos seus colegas, e para obter crédito em contratações, promoções e financiamento. Se a prática da publicação fosse impulsionada principalmente pelo desejo de comunicar, cientistas biomédicos aproveitariam a oportunidade de postar pre-prints, o que tornaria seu trabalho disponível para a maior audiência possível no menor espaço de tempo possível, praticamente a custo zero. Eles não subestimam a realidade que, para a maioria dos pesquisadores biomédicos, as decisões sobre como eles publicam são movidas quase que inteiramente pelo impacto destas decisões sobre suas carreiras.

Pre-prints não serão adotadas por cientistas biomédicos a não ser que deixemos de tratá-los como “pré” alguma coisa, o que sugere que uma melhor versão “real” ainda está por vir. Em vez disso, pre-prints devem ser aceitos como obras formalmente publicadas. Isso só acontecerá se antes criarmos e adotarmos sistemas que permitam avaliar nessas obras já publicadas, sua qualidade e impacto, e seu público adequado.

Entretanto, mesmo se estivermos errados, e o pre-print se tornar a norma, ainda seria necessário criar uma alternativa para a revisão por pares com base no periódico. Se todos, ou mesmo a maioria dos artigos estiver disponível gratuitamente online, é quase certo que as bibliotecas começariam a reduzir as subscrições, e a publicação em periódicos tradicionais, que ainda depende quase que exclusivamente da receita de assinaturas, já não seria economicamente viável.

Assim, a crença na importância da utilização de pre-prints em biomedicina exige a criação de um sistema alternativo para avaliar artigos. Sugerimos, portanto, que o ato mais importante de financiadores, universidades e outras partes interessadas não é apenas endossar o uso de pre-prints em biomedicina, mas apoiar o desenvolvimento e a utilização de uma alternativa viável para títulos de periódicos na avaliação da qualidade, impacto e público potencial de trabalhos publicados exclusivamente como “pre-prints”.

Revisão por pares na Era da Internet

O atual sistema de avaliação por pares com base no periódico tenta assegurar a qualidade dos trabalhos publicados; ajudar os leitores a encontrar artigos de importância e interesse para eles; e atribuir valor a obras individuais e aos pesquisadores que as criaram. A revisão por pares pós-publicação de trabalhos inicialmente publicados como pre-prints pode não apenas replicar estes serviços, mas fazê-lo de forma mais rápida, mais barata e mais eficaz.

A principal justificativa para conduzir revisão por pares antes da publicação é que isso impediria trabalhos falhos de ver a luz do dia. Convidar um painel de dois ou três especialistas para avaliar os métodos, raciocínio e apresentação da ciência no artigo, sem dúvida, leva muitas falhas a serem identificadas e corrigidas.

Mas qualquer cientista ativo pode facilmente apontar artigos altamente falhos que passaram por revisão por pares em sua área, mesmo em periódicos supostamente de alto perfil. No entanto, mesmo quando falhas são identificadas, isso raramente importa. Em um mundo onde o título do periódico é a moeda aceita de qualidade, um artigo extremamente falho da Science ou Nature ainda é um artigo da Science ou Nature.

A avaliação por pares pré-publicação foi desenvolvida e aperfeiçoada para periódicos impressos, onde o espaço tinha de ser racionado para equilibrar as etapas custosas de impressão e distribuição de um periódico. Mas hoje é absurdo confiar exclusivamente em pareceres de dois ou três avaliadores que podem ou não ser melhor qualificados para avaliar um artigo, que muitas vezes não queriam ler o artigo originalmente, que estão agindo sob intensa pressão de tempo, e que estão emitindo um julgamento em um determinado momento, para serem os únicos árbitros da validade e qualidade de um trabalho. A avaliação por pares pós-publicação de pre-prints é uma revisão por pares aperfeiçoada para a Era da Internet.

Começar agora a experimentar com sistemas de avaliação pós-publicação irá acelerar o seu desenvolvimento e aceitação, e é o caminho mais rápido para a publicação universal de pre-prints. No espírito da experimentação, propomos um possível sistema a seguir.

Um sistema de revisão por pares pós-publicação

Em primeiro lugar, autores publicariam artigos não-revisados ​​em servidores de pre-prints que detectam e removem spam e artigos que não cumprem com especificações técnicas e éticas, antes de torná-los disponíveis gratuitamente online. Neste ponto tem início a revisão por pares, procedendo ao longo de duas vias paralelas.

Via 1: Revisão organizada na qual comunidades, como sociedades científicas ou grupos auto organizados de pesquisadores, representando temas ou áreas de interesse providenciam a revisão dos artigos que eles acreditam ser relevantes para pesquisadores em sua área. Eles poderiam solicitar diretamente a pareceristas, ou convidar membros de seu grupo, a apresentar avaliações e publicam os resultados destas avaliações em um formato padronizado. Estes grupos seriam avaliados por uma coligação de agências de fomento, bibliotecas, universidades e outras partes, de acordo com um conjunto acordado de padrões, semelhantemente à detecção que é feita para periódicos tradicionais no PubMed.

Via 2: Pareceres submetidos individualmente por qualquer pessoa que tenha lido o artigo. Estes pareceres seriam no mesmo formato dos comentários organizados e se tornariam, como comentários organizados, parte do registro permanente do artigo. Idealmente, queremos que todo mundo que lê um artigo cuidadosamente ofereça sua visão de validade, público potencial e impacto. Para garantir que o sistema não seja corrompido, avaliações apresentadas individualmente seriam verificadas quanto à adequação, conflitos de interesse e outros problemas, e não haveria mecanismos para julgar reclamações sobre as opiniões apresentadas.

Os autores estariam aptos a qualquer momento a responder aos comentários e submeter versões revisadas de seus manuscritos.

Tal sistema traria muitas vantagens imediatas sobre o nosso atual sistema de avaliação por pares pré-publicação. A quantidade de revisões que um artigo recebe seria aumentada de acordo com o nível de interesse no artigo. Se um artigo for lido por milhares de pessoas, muito outros além de três pareceristas escolhidos por um periódico estariam em condições de atestar sobre sua validade, público em potencial e importância. Em vez de avaliar apenas os trabalhos em um único ponto fixo no tempo, o processo de revisão por pares continuaria por toda a vida útil do artigo.

E quanto a preocupações sobre o anonimato dos avaliadores? Acreditamos que a revisão por pares funciona melhor quando está completamente aberta e os pareceristas são identificados. Isso tanto fornece um desincentivo a várias formas de abuso, como permite que leitores coloquem a avaliação em perspectiva. Também reconhecemos que há muitos cientistas que não se sentem à vontade para expressar suas opiniões honestas sem a proteção do anonimato. Propomos, portanto, que as revisões possam ser autorizadas a permanecer anônimas desde que um dos grupos definidos na Via 1 acima ateste sua ausência de conflito e conhecimento especializado adequado. Isso permite atingir o equilíbrio certo entre prover o anonimato aos avaliadores enquanto protege os autores de ataques anônimos.

E sobre a preocupação de artigos falhos sendo publicados, ou estarem sujeitos a mau uso e má interpretação enquanto estão sendo avaliados? Não consideramos que isso seja um problema sério. As pessoas em melhor situação para fazer uso do acesso imediato aos trabalhos publicados – cientistas em atividade na área do artigo – estão na melhor posição para julgar a validade do artigo eles próprios e para compartilhar suas impressões com outros. Os leitores que demandarem avaliação externa da qualidade de um trabalho podem esperar até que ela seja feita, e estes não estão em situação pior do que no sistema atual. Se implementado corretamente, este sistema permitiria obter o melhor dos dois mundos – acesso rápido para aqueles que querem e precisam, e controle de qualidade ao longo do tempo para um público mais amplo.

Avaliando qualidade e público potencial sem nomes de periódicos

A principal razão da persistência do sistema tradicional de revisão por pares com base no periódico, apesar de sua natureza anacrônica, é que o título do periódico em que um artigo científico aparece reflete a posição dos avaliadores sobre o público adequado para o artigo e seu julgamento da contribuição para a ciência. Há obviamente valor em ter pessoas que leem artigos julgando seu público potencial e impacto, e há muitas circunstâncias em que pode ser útil contar com avaliação externa do trabalho de um cientista. Mas não há nenhuma razão pela qual temos de usar títulos de periódicos para transmitir esta informação.

Seria relativamente simples prover aos avaliadores de pre-prints publicados um conjunto de ferramentas para especificar o público mais adequado ao artigo, antecipar seu nível esperado de interesse no trabalho, e avaliar o impacto do trabalho. Também podemos tirar proveito dos vários métodos automatizados para sugerir artigos para os leitores, e fazer estes leitores avaliarem a qualidade do artigo por um conjunto de métricas úteis. Os sistemas que usam a Internet para aproveitar experiência coletiva mudaram fundamentalmente quase todas as áreas da sociedade humana – é hora deles fazerem o mesmo pela ciência.

Ações

Um compromisso de promover pre-prints em biomedicina requer um compromisso em promover um novo sistema para avaliar trabalhos inicialmente publicados como pre-prints não avaliados. Tais sistemas são práticos e representam uma melhoria dramática sobre o sistema atual. Fazemos um chamado às agências de fomento e outras partes interessadas a apoiar a publicação universal de pre-prints e revisão por pares pós-publicação como etapas inseparáveis ​​que vão aperfeiçoar dramaticamente a maneira como os cientistas comunicam suas ideias e descobertas. Reconhecemos que tal sistema requer normas, e propomos que um dos principais resultados da reunião ASAP Bio seja a criação de uma “Organização Internacional de Padrões para Avaliação por Pares” (“International Peer Review Standards Organization”) para trabalhar com financiadores e outras partes interessadas para estabelecer estes critérios e trabalhar nas muitas das questões importantes, e então servir como um órgão de aprovação para grupos de usuários que desejem participar deste sistema. Estamos preparados para assumir a liderança na formação de um grupo internacional de cientistas líderes para conformar tal organização.

Leia o post original:

http://www.michaeleisen.org/blog/?p=1820

Sobre Michael Eisen e Leslie V. Vosshall

Michael Eisen – Sou biólogo na Universidade da Califórnia em Berkeley e Pesquisador do Howard Hughes Medical Institute. Meu trabalho, principalmente, é com moscas e minha pesquisa inclui evolução, desenvolvimento, genética, genômica, ecologia química e comportamento. Sou um forte defensor da ciência aberta, e cofundador da Public Library of Science. E mais importante, sou fã dos Red Sox (time norte-americano de Beisebol). Saiba mais sobre mim aqui. Meus contatos: mbeisen@berkeley.edu e @mbeisen no Twitter. Saiba mais em: http://www.michaeleisen.org/blog/?p=1820#sthash.xyeqzY06.10pxav3O.dpuf

Leslie B. Vosshall é Professora ‘Robin Chemers Neustein’ e Chefe do Laboratório de Neurogenética e Comportamento da Universidade Rockefeller e pesquisadora no Howard Hughes Medical Institute. Vosshall obteve o grau de Bacharel em Bioquímica pela Universidade de Columbia em 1987 e doutorado pela Universidade Rockefeller em 1993. Após seus trabalhos de pós-doutorado na Universidade de Columbia, ela ingressou na faculdade Rockefeller em 2000. Ela recebeu o Prêmio Lawrence C. Katz da Universidade de Duke em 2008, o Prêmio DART/NYU em Biotecnologia em 2010, e Prêmio Jovem Pesquisador Gill em 2011, e foi eleita para a American Association for the Advancement of Science (AAAS) em 2014. Em 2015 foi eleita para a Academia Nacional de Ciências dos Estados Unidos. Fotografia: Evan Sung, 2011. CV de Leslie Vosshal: NIH Biosketch 2015

Traduzido do original em inglês por Lilian Nassi-Calò.