A partir de março de 2015, o periódico Nature irá disponibilizar aos autores a opção de manter seu nome e afiliação confidenciais durante o processo de revisão dos artigos submetidos. Esta modalidade, conhecida como revisão por pares duplo-cego, difere do processo simples-cego, no qual apenas a identidade dos revisores é mantida em segredo, inclusive após a publicação do artigo.
A revisão por pares é tida pela grande maioria dos pesquisadores como o mecanismo mais efetivo e eficaz para garantir a qualidade, confiabilidade, integridade e consistência da literatura acadêmica. As limitações e falhas do processo, principalmente em relação à fraude e plagiarismo, embora reconhecidas, não diminuem seu largo emprego, mesmo porque não se conhece outro método mais eficiente.
O aumento contínuo no número de periódicos e artigos em todo o mundo, impulsionado principalmente pela publicação online, não vem sendo acompanhado na mesma proporção pelo número de pesquisadores, o que ocasionou a saturação do minucioso trabalho de revisão por pares. Assim, é cada vez mais difícil obter boas revisões dentro dos prazos preconizados pelos periódicos – e desejados pelos autores.
Recentemente, novas formas de revisão por pares vem sendo consideradas, como alternativas aos métodos simples e duplo-cego. Revisões totalmente abertas, em que a identidade de autores e revisores é conhecida por ambos; revisões abertas publicadas ao final do artigo, abrindo espaço para discussões pós-publicação; e a substituição da revisão por pares por revisão pós-publicação estão entre as alternativas que ganharam destaque como formas da evolução do processo original de peer review.
Um detalhado estudo conduzido por Mulligan, et al. em 20091, com 4.037 pesquisadores em todo o mundo com reconhecida atividade como revisores, apontou que a grande maioria considera a revisão por pares essencial à comunicação científica, e nove entre dez afirmaram que o processo adiciona qualidade a seus próprios manuscritos, sendo o duplo-cego o sistema considerado mais efetivo por 76% dos respondentes. O sistema simples-cego também foi considerado efetivo por 45% dos entrevistados, e 47% apoiam a revisão pós-publicação como forma de complementar o processo. Apenas 15%, entretanto, acreditam que a revisão por pares pode ser substituída por estatísticas de uso, e um número ainda pequeno, porém crescente, acredita na revisão aberta (20%) e na revisão aberta publicada em sequência ao artigo (25%).
Os principais argumentos em favor da revisão na modalidade duplo-cego são a eliminação de julgamento subjetivo e vieses de autoria e afiliação, impedindo que instituições menos renomadas e autores de países cujo idioma nativo não é o inglês tenham as mesmas oportunidades de publicar seus artigos. Além disso, encoraja opiniões sinceras e permite ao revisor concentrar-se na qualidade do manuscrito. O inverso também é válido, ou seja, no processo duplo-cego um pesquisador proeminente ou pertencente a uma instituição de renome não tem seus artigos aprovados apenas em função desse fato. Por outro lado, pesquisadores acreditam que não é possível manter o anonimato sempre, pois o tema, autocitações, ou estilo acabam dando fortes indícios da autoria. Outros sustentam que conhecer o autor é importante para melhor entender o conteúdo do artigo e ajuda a detectar o plagiarismo.
Os pesquisadores que apontam a revisão simples-cego como a mais efetiva (45% dos pesquisadores entrevistados no estudo de Mulligan, et al.) apontam os mesmos fatores para defender seu uso: eliminar vieses, encorajar opiniões honestas e focar na qualidade do manuscrito. Possivelmente referem-se a estas vantagens em relação à revisão aberta ou revisão aberta publicada ao final do artigo. As razões apontadas para considerar a revisão simples-cego como não efetiva são que instituições menos prestigiosas e autores de países em desenvolvimento são prejudicados nesta modalidade, além de permitir a competidores atrasar a publicação propositadamente.
A revisão aberta é considerada efetiva por 20% dos pesquisadores, principalmente porque assegura comentários honestos e menos corrosivos do que na revisão simples ou duplo-cego, envolvendo revisor e autor em um debate científico frutífero. Os que se opõem acreditam que ela encoraja revisores a ser pouco críticos, pode excluir revisores jovens e dá ao autor a oportunidade de influenciar o revisor, além de encorajar a disputa entre ambos.
A revisão aberta publicada em seguida ao artigo (apontada como efetiva por 25% dos pesquisadores) tem como vantagens assegurar que os revisores sejam honestos e atenciosos ao redigir seus comentários, além de fazer com que a qualidade das revisões aumente, e encorajar o debate entre autor e revisor, envolvendo também outros pesquisadores, caso comentários de terceiros sejam admitidos. Outra vantagem é reconhecer publicamente o importante trabalho dos revisores. Como desvantagens foram apontadas que algumas culturas podem considerar que a publicação das revisões vá ferir relações hierárquicas ou que os relatórios não sejam críticos como deveriam.
Outro tipo combina a revisão por pares simples ou duplo cego com revisão pós-publicação, e conta com 47% de respondentes que a consideram efetiva, principalmente por considerar que esta modalidade incentiva o diálogo, amplia o escopo dos comentários além de um ou dois revisores, e possibilita que inconsistências no artigo sejam apontadas tão logo forem localizadas, e publicadas na sequência do artigo. Os que a consideram não efetiva argumentam que sem adequado controle editorial a discussão possa se prolongar indefinidamente, enquanto outros defendem que debates desta natureza ocorram preferencialmente em conferências.
Finalmente, a substituição da revisão por pares por estatísticas de uso, considerada efetiva por apenas 15% dos pesquisadores entrevistados, tem como principal motivo o fato de ser mais rápida, objetiva e não impedir que resultados negativos, igualmente válidos, sejam publicados. Por outro lado, muitos pesquisadores que discordam desta metodologia estão principalmente preocupados com o atraso em gerar estatísticas significativas e que os artigos não serão melhorados, transformando a ciência em concurso de popularidade. Além disso, não há indícios de que diferenças subjetivas nos hábitos de download sejam consideradas nesta análise. Em última análise, um artigo popular não é necessariamente um bom artigo.
De maneira geral, 91% dos 4.037 pesquisadores que participaram da pesquisa de Mulligan, et al. consideram que o processo de revisão por pares melhorou a qualidade do seu último artigo publicado. O mesmo percentual de autores, 91%, afirmou que a seção que mais se beneficia da revisão é a discussão, ao passo que 85% dos autores de países/regiões cujo idioma nativo não é o inglês, como Ásia e América Latina, afirmam que a revisão melhorou muito a redação e a legibilidade dos trabalhos. Este índice, entretanto, mesmo para a América do Norte, Oceania e Europa, situa-se entre 60% e 70%, mostrando que a revisão consegue melhorar a redação de autores cujo idioma nativo – ou a segunda língua é o inglês.
O Programa SciELO, em seu contínuo esforço de aperfeiçoar a qualidade, credibilidade, visibilidade, uso e impacto dos periódicos que publica, recomenda aos editores que a avaliação dos manuscritos seja conduzida de modo eficiente e transparente com o apoio de sistemas online. Estes sistemas, além de organizar as funções de todos os atores envolvidos no processo (autores, editor-chefe, editores associados, revisores, administradores, etc.), permitem aos editores e ao Comitê Consultivo SciELO acompanhar os fluxos de trabalho e melhorar a eficiência do processo, além de gerar estatísticas e indicadores.
De acordo com dados extraídos do sistema ScholarOne de gestão de manuscritos em 27 de fevereiro, foi possível obter a distribuição das modalidades de revisão por pares adotadas pelos periódicos da coleção SciELO Brasil. Do total de 79 periódicos registrados no sistema, 23 adotam a revisão simples-cego (29%); 53 a revisão duplo-cego (67%); e três periódicos adotam a revisão triplo-cego, na qual apenas o editor-chefe conhece a identidade e afiliação dos autores e revisores, porém os editores associados não. De acordo com a área de concentração, a metodologia simples-cego é preferida por periódicos das áreas de Ciências Biológicas, Engenharia e Ciências Exatas e da Terra; o duplo-cego é adotado preferencialmente por periódicos nas áreas de Ciências Agrícolas, Ciências Sociais Aplicadas, Ciências da Saúde, Ciências Humanas, e Linguística, Letras e Artes. A revisão triplo-cego, ainda incipiente nos periódicos Brasileiros e também em outros países, é adotada por dois periódicos de Ciências Sociais Aplicadas e um de Ciências da Saúde.
As preferências identificadas nos periódicos da coleção SciELO Brasil coincidem em grande parte com as do estudo de Mulligan, et. al., no qual a revisão duplo-cego é apontada por 76% dos entrevistados como sendo efetiva e a revisão simples-cego, por 45%. Com relação às áreas de concentração, os autores também identificaram que as áreas de Artes e Humanidades, Ciências Sociais e Ciências da Saúde tendem a preferir o método duplo-cego, enquanto Ciências Exatas e da Terra, Ciências Agrícolas, e Engenharia utilizam preferencialmente revisões simples-cego.
A Nature, em seu anúncio sobre a opção por revisão duplo-cego2, informa que resultados da pesquisa realizada pelos editores do seu próprio grupo de periódicos com jovens pesquisadores em todo o mundo confirmam a tendência a favor deste tipo de revisão, revelando a percepção de que vieses de autoria afetam a revisão simples-cego. Este viés se reflete também no menor número de citações que autores de países em desenvolvimento recebem em periódicos de prestígio.
Como reportado neste blog, o sistema de avaliação por pares encontra-se saturado pelo aumento do número de publicações online e o desproporcional número de pesquisadores para revisá-los. Paradoxalmente ao que apresentamos neste post, os dois modelos propostos para atender à demanda envolvem revisões abertas. Um deles propõe um modelo híbrido envolvendo revisão pós-publicação e o segundo relata um serviço online para registro e publicação de revisões, com a finalidade de conferir crédito e reconhecimento aos revisores.
A questão de qual é o sistema mais adequado de revisão por pares não tem uma única resposta. Cada periódico deve procurar atender da melhor forma possível sua comunidade de autores, editores e leitores e avaliar os prós e contras de cada modalidade. Entretanto, trata-se de um consenso que medidas simples como treinar novas gerações de revisores é imperativo para a sustentabilidade do sistema de revisão por pares.
Notas
1MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: 10.1002/asi.22798
MENEGHINI, R. and PACKER, A. L. Is there science beyond English? EMBO reports. 2007, vol. 8, nº 2, pp. 112-116. DOI: 10.1038/sj.embor.7400906.
MENEGHINI, R., PACKER, A. L., NASSI-CALO, L. Articles by Latin American authors in prestigious journals have fewer citations. PLoS One. 2008, vol. 3, nº 11. DOI: 10.1371/journal.pone.0003804
MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: 10.1002/asi.22798
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Avaliação por pares: modalidades, prós e contras [online]. SciELO em Perspectiva, 2015 [viewed ]. Available from: https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/
Sobre Lilian Nassi-Calò
Pingback: Avaliação por pares: modalidades, prós e contras | Blog da BC
Pingback: A avaliação por pares em discussão – Parte 1 | Linguística-UFRJ M.Carlota Rosa
Pingback: Revisión por pares: modalidades, pros y contras | SciELO en Perspectiva | Francisca Cuéllar Gragera