Polêmico artigo na Science expõe fragilidades da revisão por pares em um conjunto de periódicos de acesso aberto

Motivado por uma experiência pessoal do comportamento não ortodoxo do publisher Scientific  & Academic Publishing Co. (SAP), em 2012,  em torno à cobrança da taxa de publicação de um artigo de uma pesquisadora da Nigéria, o biólogo e jornalista científico John Bohannon submeteu 304 versões pouco diferentes entre si de um artigo científico fictício, assinado por um autor inexistente, de uma instituição também fictícia, a um conjunto selecionado de periódicos que publicam em Acesso Aberto (AA) na modalidade dourada, com cobrança de taxa de publicação (article processing charge). Em 157 deles, o trabalho, que contém erros primários, conceituais e de interpretação, foi aceito prontamente para publicação, revelando o interesse financeiro, antes de tudo. Estes periódicos têm endereços de publicação em vários países, mas os indianos representam um terço deles. No Brasil, o Genetics and Molecular Research, publicado pela Fundação de Pesquisas Científicas de Ribeirão Preto, e indexado na Web of Science, JCR e Scopus caiu na armadilha. Algumas das grandes editoras comerciais, como a Elsevier, também tiverem periódicos que aceitaram o estudo fictício.  Noventa e oito periódicos, entretanto, também prontamente rejeitaram o artigo.

O trabalho que relata como a ideia surgiu, a forma de criar as diferentes versões do artigo e a escolha dos periódicos aos quais os artigos seriam submetidos, bem como os resultados do “experimento” foi publicado no prestigioso periódico Science¹ no dia 4 de outubro.

Bohannon se refere ao seu trabalho na Science como uma “ferroada” (sting) ao AA. Entretanto, da mesma forma como seu artigo fictício, que contém falhas metodológicas e desigualdade de condições nos experimentos com as substâncias testadas e os controles, assim também é seu trabalho. O autor não aplica a estratégia a um grupo de controle que, neste caso, seria formado por periódicos não AA. Assim, a pergunta que permanece, todavia, sem resposta é: como se comportariam periódicos não AA diante de um artigo fictício desta natureza? Outro questionamento é que Bohannon selecionou somente periódicos que cobram pelo acesso aberto e muitos deles já identificados como “predatórios”. Entretanto, o número de periódicos em acesso aberto que não cobram é muito grande.

Michel Eisen, biólogo na Universidade de Berkeley e pesquisador do Howard Hughes Medical Institute, entretanto, chama a atenção, em seu blog para um trabalho da autoria de Wolfe-Simon et. al. publicado na Science em 2011, o qual descreve a existência de bactérias que utilizam arsênico ao invés de fósforo na composição de seu DNA (um dos cinco elementos que compõe a macromolécula). O trabalho, que relata os experimentos no mínimo questionáveis, para propor uma teoria que afeta “o entendimento da ciência sobre origem da vida na Terra” e de temas ligados à evolução, foi aceito para publicação após passar pelo alegado criterioso processo de revisão por pares do periódico.  Eisen, assim, evidencia que a precariedade do modelo de revisão por pares não se limita ao universo de periódicos AA, mas atinge também periódicos renomados de elevado impacto. Sua explicação para o fato deste artigo ter sido aceito reside no fato de que propõe um tema bastante inovador  e atraente.

Desde a data da publicação na Science, dezenas de blogs científicos e leigos, jornais e revistas, e redes sociais em todo o mundo noticiaram e/ou comentaram os resultados do estudo.  Alguns concordando com a existência de uma relação inequívoca entre acesso aberto e ausência de peer review, ou baixa qualidade de publicações. Há, entretanto, vários aspectos que contestam a generalização das conclusões do autor, os quais foram salientados em grande parte dos comentários que o artigo recebeu – e vem recebendo desde sua publicação. Neste post analisaremos alguns deles.

A ideia

O autor relata como surgiu a iniciativa de submeter um artigo fictício com inúmeras falhas evidentes a um grande número de periódicos AA. Uma pesquisadora da Nigéria tentou publicar um artigo sobre o vetor da febre do Nilo e outros patógenos no periódico AA Public Health Research, achando se tratar de uma publicação sem custos para o autor, cujo site não mencionava taxas. Após a aceitação de seu artigo, entretanto, lhe foi cobrada uma taxa de US$ 150, esta já com desconto de 50% por se tratar de autor baseado na Nigéria. Contornadas as dificuldades inerentes a um país africano em efetuar remessas em moeda estrangeira, e graças à intervenção de um colega nos Estados Unidos, que efetuou o pagamento (nesta fase, já reduzido a US$ 90), seu trabalho foi publicado.

Este fato levou Bohannon a investigar sobre o SAP, publisher do Public Health Research, onde descobriu uma série de irregularidades como: plágio, corpo editorial e endereço fictícios, e a decisão de submeter um artigo a um periódico do SAP, e para traçar um panorama completo, “a replicar o experimento através de todo o universo do acesso aberto”.

A metodologia

A fonte de periódicos AA utilizada pelo autor foi o Directory of Open Access Journals (DOAJ), bem como a lista de publishers² que adotam práticas antiéticas, denominadas “predatórias” segundo o cientista da informação da Universidade do Colorado, EUA, Jeffrey Beall, curador da lista. Cruzando ambas as listas de periódicos nas áreas de química, biologia ou medicina e eliminando aqueles publicados em idiomas diferentes do inglês, resultaram 304 periódicos.

Para criar centenas de versões diferentes de um mesmo artigo “científico”, o autor partiu da seguinte premissa: a molécula X do líquen da espécie Y inibe o crescimento da célula cancerosa Z. Para criar os trabalhos, foi criada uma base de dados de moléculas, liquens e linhagens celulares e um programa de computador que permitia gerar centenas de trabalhos “originais” a partir da combinação entre as variáveis. Os nomes dos autores fictícios eram associados a instituições também fictícias na África, por meio de um programa que permitia permutar nomes e sobrenomes de pessoas desse Continente, ou unir prefixos e sufixos para gerar os nomes das instituições.

A sessão da metodologia dos assim gerados artigos continha erros grosseiros, bem como a análise dos resultados, a partir dos quais seria impossível chegar à conclusão de que a molécula X de fato inibe o crescimento das células transformadas em cultura. Mais grave, entretanto, é a conclusão final do artigo, de que “a molécula X é uma nova e promissora droga contra o câncer”, com base em poucos experimentos, no mínimo inconclusivos, sem nem ao menos mencionar a necessidade de ensaios clínicos. A pincelada final da fraude ficou por conta de tornar o inglês nativo do autor mais imperfeito, por meio da tradução e tradução reversa para o francês pelo Google Translate.

Os resultados

Entre janeiro e agosto de 2013, o autor submeteu cerca de dez trabalhos por semana: um artigo para cada periódico de cada publisher. Inicialmente, o autor escolheu periódicos cobravam apenas taxas para publicação caso o artigo fosse aceito; e, posteriormente, periódicos que praticavam taxas para que o artigo fosse submetido. Caso o artigo fosse rejeitado, o processo para aquele periódico era terminado. Se encaminhasse comentários de revisores e solicitasse modificações, o autor enviava algumas fotos dos líquens, maiores detalhes da metodologia, melhor formatação, sem, entretanto, alterar nenhuma das deficiências mais graves do artigo. Caso o artigo fosse aceito, o periódico recebia uma mensagem padrão na qual informava que os autores haviam, infelizmente, detectado alguma falha nos experimentos que invalidavam os resultados, e solicitavam retirar o trabalho submetido.

O autor conclui que muitos periódicos existem apenas para arrecadar dinheiro dos autores, na forma de “taxa de publicação em acesso aberto” ou para supostamente custear o trabalho de editoração e revisão do artigo. Muitos periódicos denominados “American Journal X”, na realidade tem suas editoras operando na China, Índia ou Paquistão, e seus editores redigem mensagens aos autores em inglês bastante precário.

A análise

Até a data da publicação do artigo na Science, 157 periódicos haviam aceitado o trabalho e 98 o haviam rejeitado. Dos 49 remanescentes, 29 haviam sido aparentemente abandonados pelos seus publishers, que não respondiam a e-mails nem possuíam endereços válidos nos locais que informavam operar. Editores de outros 20 informaram aos autores fictícios que seus artigos ainda se encontravam em processo de revisão, e também foram retirados desta análise. O prazo para aceitação dos trabalhos foi em média de 40 dias, e para rejeição, 24 dias.

Dos 255 trabalhos (157 aceitos + 98 rejeitados) que passaram por todo o processo editorial, aproximadamente 60% aparentam não ter passado por nenhum tipo de revisão por pares. Este número é positivo do ponto de vista das rejeições, porém do ponto de vista dos trabalhos aceitos significa que alguém os julgou aptos para publicação sem ao menos lê-los.

O tipo de revisão solicitado pelos 106 periódicos que o fizeram está centrado basicamente em formato, layout e na redação do idioma. Destes, 70% acabaram por aceitar os artigos. Apenas 36 das 304 submissões geraram comentários que levam em conta as graves falhas metodológicas dos artigos. Ainda assim, 16 destes artigos foram aceitos apesar das revisões superficiais conduzidas pelos autores, quando solicitadas pelos revisores.

A lista de Beall mostrou-se bastante acurada para detectar publishers com baixo controle de qualidade ou “predadores”. Entre os publishers que completaram o processo de revisão, 82% aceitaram os trabalhos. O resultado surpreendente está no DOAJ: dos publishers que completaram o processo de revisão, 45% aceitaram o artigo fictício.

Publishers renomados como a Elsevier, que publica o periódico AA Drug Intervention Today, também caíram na armadilha, pois aceitou o artigo de Bohannon.  Seu Vice-presidente, entretanto, afirma que o periódico não pertence à editora, que apenas o publica, mas não atua no processo editorial. Outras editoras renomadas, como a Wolters Kluwer, que publica o Journal of Natural Pharmaceuticals, o qual aceitou o artigo fictício, retratou-se publicamente e encerrou a publicação.

O autor, entretanto, consultou cientistas renomados que tem apreço pelo AA. Eles concordam que o modelo de publicação per se não deve ser responsabilizado pela má qualidade dos trabalhos apontada pela Science. “Se o experimento tivesse sido feito com periódicos por assinatura, provavelmente o resultado seria o mesmo”, afirma David Roos, da Universidade da Pensilvânia.  Todos são da opinião, entretanto, que é necessário assegurar que os periódicos científicos honrem com suas obrigações de exercer um estrito controle do que publicam.

Comentários sobre o artigo na mídia científica e geral

Peter Suber’s Google Plus

https://plus.google.com/u/0/109377556796183035206/posts/CRHeCAtQqGq

Para Peter Suber, um dos mais comprometidos e respeitados defensores do acesso aberto desde seu surgimento no início dos anos 2000, Bohannon mostrou falhas em alguns periódicos AA, porém estes não representam uma amostragem significativa da categoria e nem que estes sejam piores do que periódicos não AA. Tampouco que o problema de baixa qualidade de revisão por pares está restrito a periódicos AA, ou que estes sejam mais desonestos.

Na opinião de Suber, o artigo da Science é positivo por expor os maus periódicos AA e alertar autores a não submeterem a eles seus artigos. Por outro lado, tem efeito deletério sobre a percepção geral do AA, levando muitos a crer que todos estes periódicos são de baixa qualidade – ou desonestos. Na verdade, o artigo leva a crer que a maior parte deles cobra taxas de publicação, o que não é correto, pois a maioria deles não cobra nenhuma taxa, segundo o DOAJ. Bohannon, afirma Suber, não é responsável pela avaliação errônea de que todos os periódicos AA são de má qualidade, mas a forma como tira conclusões em seu artigo corrobora esta falsa avaliação.

Open Access Scholarly Publishers Association (OASPA)

http://oaspa.org/response-to-the-recent-article-in-science/

A OASPA publicou em seu blog uma declaração pública referente ao artigo de Bohannon, onde aponta as falhas mais graves deste e enumera fatos que buscam restaurar a credibilidade do AA, a qual foi arranhada pela prática antiética de alguns publishers  – porém, não sua maioria.

Assim como outros autores de blogs e jornalistas, a OASPA aponta a maior limitação do experimento que é a falta de grupo controle, e a seleção não randomizada dos periódicos aos quais o artigo fictício foi enviado.  A Associação reafirma seu compromisso com a conduta ética dos publishers a ela afiliados e informa que o não cumprimento pode levar ao desligamento.  Entretanto, a Associação retém clara a mais importante mensagem decorrente do trabalho de Bohannon, que é identificar, junto à comunidade acadêmica, novas e eficientes formas de reconhecer periódicos e publishers confiáveis, independente de seu modelo de negócios.

Retraction Watch

http://retractionwatch.wordpress.com/2013/10/03/science-reporter-spoofs-hundreds-of-journals-with-a-fake-paper/

Os autores do blog (Adam Markus e Ivan Oransky) criticam o “experimento” de Bohannon  pela falta de grupo controle, no caso representados pelos periódicos por assinatura, os quais são tradicionalmente conhecidos pelo criterioso processo de peer review  que conduzem. A esta crítica, Bohannon contrapõe dizendo que tais periódicos podem levar muitos meses a anos revisando um artigo e com isso seria difícil obter uma amostragem significativa em período de tempo comparável aos dos periódicos AA. Os autores ainda mencionam que um periódico não AA da Elsevier, Applied Mathematics Letters publicou uma série de artigos não faziam absoluto sentido matematicamente. O e-mail do autor correspondente também era uma provocação (ohm@budweiser.com), mas passou despercebido.

Inside Higher Education

http://www.insidehighered.com/news/2013/10/04/open-access-journals-confuse-contributors-they-experiment-peer-review-models

Carl Straumsheim analisa o experimento publicado na Science com olhar crítico e se posiciona do ponto de vista do autor. Cita exemplos de processos de peer review em estudo na área de humanidades e conclui que não há apenas um modelo de avaliação. Muitos periódicos incipientes encontram-se pressionados entre conduzir uma avaliação criteriosa e responder aos autores em tempo hábil. Os pareceristas que produzem boas avaliações são difíceis de recrutar, tendo em vista que seu minucioso trabalho consome tempo, é gratuito e não recebe reconhecimento proporcional. Os editores do periódico AA Journal of Digital Humanities defendem a proposta de um processo aberto de peer review, onde “a publicação, críticas e discussão podem ocorrer no mesmo espaço”. Todavia, os editores acreditam que mais experiências são necessárias para atestar sua validade. Afinal, editores de periódicos AA estão em busca de um processo de avaliação que assegure tanto a diversidade quanto a qualidade dos artigos.

Doubtful News

http://doubtfulnews.com/2013/10/the-slums-of-scientific-peer-review/

Sharon Hill salienta o fato de que muitos dos periódicos AA têm por objetivo tão somente cobrar taxas de publicação de autores que tem seus trabalhos aceitos. O estudo da Science também demonstrou que o mais prestigioso periódico AA, PLOS ONE, passou no teste, recusando o trabalho de Bohannon. PLOS ONE pode ser considerada como a Science do acesso aberto, por seu prestígio e credibilidade.

Hill admite, entretanto, que o processo de peer review do AA sofreu um duro golpe e necessita ter sua credibilidade restaurada, sem apresentar opções de como fazê-lo.

Science Blogs – Pharyngula

http://scienceblogs.com/pharyngula/2013/10/04/stones-glass-houses-etc/

P.Z. Meyers analisa o trabalho de Bohannon do ponto de vista de que muitos periódicos que aceitaram os trabalhos gerados por computador são apenas um grupo de pessoas, um computador e um site na Internet com um título atrativo, determinados a coletar taxas de publicação. Trata-se de uma fraude perfeitamente legal, e quanto mais artigos forem aceitos, melhor.

É injusto, no entanto, culpar o AA pelo problema, uma vez que 40% dos periódicos rejeitaram o artigo, assim como fez o PLOS ONE. Meyers também chama atenção para o fato de que faltou o grupo controle do “experimento” de Bohannon, que teria sido os periódicos por assinatura. O autor do blog concorda que há inúmeros problemas com respeito à publicação científica, porém estes não se referem ao AA. Em sua opinião, “há uma proliferação excessiva de periódicos científicos, falta de rigor na avaliação dos artigos e uma comunidade científica que gera unidades minimamente publicáveis de protocolos de rotina em experimentos enfadonhos”.

The Guardian Higher Education Network

http://www.theguardian.com/higher-education-network/blog/2013/oct/04/science-hoax-peer-review-open-access

De acordo com Curt Rice, o artigo da Science “não aponta a verdadeira crise da publicação acadêmica – o colapso do sistema de revisão por pares”.

De maneira geral, a revisão por pares é um processo levado muito a sério pelos pesquisadores. Entretanto, devido à pressão que sofrem para publicar, pois disso depende suas projeções na carreira, trabalhos de má qualidade escapam ao controle e são publicados.

Rice cita o caso do pesquisador D. Stapel, da Universidade de Tilburg, na Holanda, que publicou 55 artigos baseados em dados fraudados em periódicos renomados, incluíndo a Science.

Segundo Rice, Bohannon aponta para a crise na ciência, mas esta não está restrita ao universo dos periódicos AA. O que está em crise é o sistema de revisão por pares e – é necessário ressaltar – são os periódicos AA que estão liderando o desenvolvimento de novas abordagens para esta importante etapa do processo editorial.

Rice destaca também que 65% dos periódicos listados no DOAJ não cobram nenhuma taxa de publicação, pois são mantidos por universidades ou sociedades científicas, embora reconheça que a cobrança de taxas pode favorecer a corrupção.

Assim como outros autores, este também defende o projeto de avaliação por pares aberta como alternativa, utilizando o potencial da Internet como plataforma da comunicação científica atual.

Scholarly Open Access

http://scholarlyoa.com/2013/10/03/science/#more-2386

O blog é da autoria de Jeffrey Beall, o autor da lista de publishers² que adotam práticas antiéticas utilizada por Bohannon em seu artigo na Science.

Beall escreveu o post em seu blog na véspera da data em que o artigo da Science foi publicado, relatando detalhes do trabalho. Ele observa que apesar de Bohannon retirar o trabalho quando o este havia sido aceito por um periódico alegando ter detectado erros nos experimentos, quatro deles publicaram o artigo. Os publishers dos quatro periódicos figuram na lista de Beall, o que dá credibilidade à esta lista. “Eu sabia há tempo que publishers predadores estão corrompendo o AA, aceitando trabalhos indignos de serem rotulados de científicos, atingindo pesquisadores, a ciência e a comunicação científica. Estou contente que a pesquisa publicada na Science confirmou isso”, afirmou Beall.

Real Clear Science

http://www.realclearscience.com/blog/2013/10/spoof-paper-accepted-to-157-open-access-journals.html

“Acesso aberto. ‘Publicando para todos!’ Boa ideia, certo? Sim! E não…”

Ross Pomeroy aponta o modelo de publicação AA, em que o autor paga para ter seu artigo disponibilizado livremente para todos, como o responsável pela baixa seletividade dos periódicos que adotam esta modalidade.

Enquanto Nature rejeita 90% dos artigos submetidos, a editora AA suíça Frontiers rejeita apenas 20% dos artigos submetidos. Não há motivo para supor que algum periódico publicado pela Frontiers, considerada uma das melhores editoras AA teria caído na armadilha arquitetada por Bohannon. De fato, o periódico Frontiers in Pharmacology of Anti-Cancer Drugs rejeitou o artigo.

Pomeroy também destaca o fato do PLOS ONE ter rejeitado o artigo, reiterando sua reputação de conduzir um cuidadoso processo de revisão por pares. O mesmo ocorreu com o publisher baseado no Egito Hindawi, que publica o Chemotherapy Research and Practice.

O autor do blog considera o AA uma ideia válida e legítima. Entretanto, afirma Pomeroy, “pareceristas e editores de periódicos AA devem se ater aos padrões rigorosos da ciência ao invés de cair na tentação do dinheiro fácil”.

Language Log

http://languagelog.ldc.upenn.edu/nll/?p=7584

Mark Liberman, por meio da análise do artigo de Bohannon na Science e os comentários de Curt Rice³ no The Guardian, lembra que Science é a “definição” de periódico por assinatura, que assim como outros nesta categoria vem sofrendo o assédio moral e político devido aos recentes mandatos nos Estados Unidos e em vários países da Europa que determinam que resultados de pesquisa financiada com recursos públicos sejam disponibilizados em AA. Há que considerar também que o custo do processo editorial de periódicos AA é diferente de zero, e uma das formas de cobrir estes custos é por meio da cobrança de taxas de publicação aos autores. Este modelo, sim, é propício a fraude e extorsão, que devem ser coibidos, mas não invalidam, per se, o modelo de publicação em AA.

Periódicos por assinatura e seus publishers, deve ser salientado, também são motivados pelos altos lucros, como atestam Elsevier e outras editoras que auferem lucros gigantescos sobre o trabalho gratuito de editores científicos, autores, e pareceristas.

Lieberman concorda com Rice que o problema reside no antiquado sistema de peer review em vigor e termina concluindo que: (1) o atual sistema de peer review não previne a publicação de trabalho de má qualidade, mesmo em periódicos renomados; (2) sua morosidade atrasa a inovação e o desenvolvimento da ciência; (3) a proposta de avaliação pós-publicação pode se tornar o padrão, por expor publicamente os comentários do parecerista em uma plataforma baseada na Web; e (4) o modelo de avaliação aberta pode prevenir rivalidades, retaliações e vieses que ocorrem acobertadas pelo anonimato. Entretanto, ressalta Liberman, cientistas são conservadores por natureza, e pode ser necessário um longo tempo até que mudanças sejam concretizadas.

Links externos

Blog Michel Eisen – http://www.michaeleisen.org/blog/

DOAJ – http://www.doaj.org/

Notas

¹ Science

² Lista de publishers

³ Curt Rice

Referências

BOHANNON, J.  Who’s Afraid of Peer Review? Science,  Vol. 342,  nº 6154, pp. 60-65. Available from: doi: 10.1126/science.342.6154.60.

WOLFE-SIMON, F. et al.  A Bacterium That Can Grow by Using Arsenic Instead of Phosphorus. Science. 2010, Vol. 332, pp. 1163–1166 Available from: <http://www.sciencemag.org/content/332/6034/1163>.

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.