Considerado um dos pilares da comunicação científica, a avaliação por pares vem passando por profunda análise e detalhado escrutínio de sua metodologia. O atual modelo que pressupõe que toda a produção científica passe obrigatoriamente por peer review antes da publicação está sendo revisado e muito em breve está previsto o surgimento de modelos alternativos de avaliação mais sustentáveis, rápidos e eficientes1-3.
Já estamos, de fato, testemunhando esta transição. Os periódicos já oferecem aos autores a opção de avaliação aberta, com a possibilidade de publicar o histórico da revisão logo após o artigo, e outros deixam aberta à comunidade científica a avaliação de relevância e impacto, pré-julgando apenas consistência metodológica e certo grau de inovação. Repositórios de preprints abrem inúmeras perspectivas para a comunicação científica, em cenários onde pesquisadores, agências de fomento, profissionais e a sociedade se beneficiam da disponibilização imediata e aberta dos resultados de pesquisa.
Neste cenário, é cada vez mais importante aos editores de periódicos orientarem os pareceristas sobre o que se espera de seu trabalho. Instruções claras e precisas sobre como conduzir a avaliação por pares permitem realizar esta importante etapa da publicação dos resultados de pesquisa de forma adequada à política editorial dos periódicos, seu escopo e público-alvo, e promover uniformidade no procedimento.
Recomendações destinadas a pareceristas sobre as particularidades do processo de avaliação por pares conduzidos pelo publisher ou periódico, entretanto, são pouco praticadas. A análise das instruções aos autores de periódicos em ciências da saúde da coleção SciELO Brasil realizada em meados de 2016, e publicada neste blog4, mostrou que nenhum destes periódicos inclui recomendações a pareceristas sobre como conduzir esta importante etapa da publicação científica. A literatura confirma esta deficiência em diretrizes, como mostra o estudo de Hirst e Altman5, sobre uma ampla busca realizada em 2010 e 2011 nas bases de dados da área da saúde por literatura reportando sobre instruções de periódicos a pareceristas referente a avaliação por pares, a política editorial, e a temas correlatos às normas de publicação que resultou nula. Estes autores conduziram, também, uma pesquisa nos sites dos 116 periódicos da McMaster list, revisada pelo American College of Physicians6 em busca de recomendações aos pareceristas e destes, apenas 41 periódicos (35%) disponibilizavam tais diretrizes nas instruções aos autores.
Com a finalidade de pesquisar a presença de tais recomendações e seu conteúdo em periódicos renomados, realizamos uma busca nos portais de periódicos e dos principais publishers quanto às instruções destinadas aos pareceristas sobre a forma de conduzir a avaliação por pares de acordo com a política editorial dos periódicos editados. Selecionamos os seguintes periódicos: PLoS ONE, Molecular Biology of the Cell (abreviado como Mol Biol Cell), Proceedings of the National Academy of Sciences of the USA (PNAS), F1000Research (F1000), PeerJ, Europhysics Letters e Cell. O portal da Royal Society of Chemistry foi incluído por agregar 44 periódicos de química, biologia, bioquímica e biomedicina, toxicologia, fotoquímica, ciências de alimentos, ciência dos materiais e meio ambiente, entre outros. Além destes, pesquisamos as recomendações dos seguintes publishers: Nature Publishing Group, BMJ Publishing Group, Elsevier, Taylor & Francis e Willey Blackwell.
As instruções aos pareceristas foram avaliadas usando 20 critérios: o screening preliminar pelo editor-chefe ou comitê editorial; informar sobre aceitar/declinar a realização de uma avaliação; o intervalo de tempo aceitável para realizar uma avaliação; o conflito de interesses; a confidencialidade; o reconhecimento de tanto os aspectos positivos como as falhas do artigo; a cautela ao sugerir trabalho adicional; os cinco critérios necessários para publicação; a possibilidade de fazer comentários confidenciais ao editor; a modalidade da avaliação; o processo de avaliação cega; a existência de um formulário padrão; a concordância com a política de dados abertos; a edição dos comentários dos pareceristas pelo editor-chefe; e a transferência dos pareceres e dos manuscritos para outros periódicos.
Quanto ao primeiro critério, o screening dos artigos submetidos pelo editor-chefe ou comitê editorial antes de enviá-los aos pareceristas, todos os periódicos e publishers pesquisados adotam este procedimento. A Royal Society of Chemistry, entretanto, não informa explicitamente sobre esta etapa na página dedicada aos pareceristas, mas isso não significa que não a adota.
A totalidade dos periódicos e publishers consultados contêm instruções explícitas sobre como os pareceristas devem informar o quanto antes se aceitam ou declinam conduzir determinada avaliação no tempo estipulado pelo periódico/publisher. Todos, com exceção do Europhysics Letters, solicitam aos pareceristas que declarem qualquer conflito de interesses identificado ao receber um manuscrito para avaliar. Quanto à confidencialidade, todos os periódicos e publishers, com exceção do F1000, que adota revisão por pares aberta pós-publicação, solicitam aos pareceristas manter confidenciais as informações sobre o manuscrito e seus autores durante todo o processo de avaliação, ao menos até a publicação do artigo.
Na tentativa de conduzir a avaliação por pares de forma construtiva, a maior parte dos periódicos e publishers orienta seus pareceristas a reconhecer os aspectos positivos e as fortalezas do manuscrito, ao mesmo tempo que aponta as falhas a serem sanadas. Da nossa seleção, apenas o PLoS ONE, o F1000 e os periódicos da Royal Society of Chemistry não sugerem esta atitude especificamente. Da mesma forma, a solicitação de novos experimentos e/ou análises, segundo editores experientes, deve ser feita com parcimônia, quando for realmente necessária. Essa orientação, entretanto, é feita apenas pelo Nature Publishing Group, o PeerJ, o PNAS, e o Mol Biol Cell.
Os periódicos e publishers consultados são unânimes ao estipular e exigir como critérios mínimos para publicação de manuscritos: a originalidade da contribuição e a concordância com o escopo do periódico; a metodologia adequada e válida; a análise rigorosa dos resultados e conclusões apoiadas pelos dados apresentados; o correto uso da língua inglesa; o cumprimento com os critérios éticos de experimentação e a integridade em pesquisa.
Durante o processo de avaliação, é possível que surja a necessidade do parecerista fazer comentários confidenciais ao editor, que não são levados ao conhecimento dos autores. As publicações consultadas variam consideravelmente de posição quanto a este tópico. O PLoS ONE, especificamente, não aceita estes comentários, ao passo que o Cell, o Nature Publishing Group e a Willey Blackwell aceitam. Os demais não mencionam se aceitam ou não estes comentários, e presumivelmente, julgam caso a caso.
Quanto à modalidade da avaliação por pares, todos os periódicos e os publishers consultados conduzem a avaliação pré-publicação, exceto o F1000, que realiza a avaliação pós-publicação. O processo mais comum é o simples cego, ou seja, os pareceristas conhecem a identidade dos autores, porém não o contrário, que ocorre com o PLoS ONE, o PNAS, o PeerJ, o Cell, a Royal Society of Chemistry, a Elsevier, e a Taylor and Francis. Apenas a Willey Blackwell adota o duplo cego, ou seja, pareceristas e autores desconhecem a identidade um do outro, e o periódico Mol Biol Cell não especifica o processo de avaliação cega adotado. O F1000 e o grupo BMJ conduzem avaliação aberta, ou seja, os pareceristas assinam as avaliações ao enviá-las aos autores. Entretanto, os pareceristas da PeerJ, do Nature Publishing Group e dos periódicos da Royal Society of Chemistry são encorajados, porém não obrigados, a informar seus nomes aos autores, em uma tentativa de tornar o processo de peer review mais transparente e responsável.
Dos periódicos consultados, o PLoS ONE, o Cell, o Europhysics Letters, e os publishersRoyal Society of Chemistry, Elsevier, Taylor and Francis (apenas parte) e Willey Blackwell utilizam o formulário padrão para avaliação por pares. O PNAS, o F1000, o PeerJ, e o BMJ Publishing Group não adotam; o restante não especifica.
Quanto à adoção da política de dados abertos, apenas o PLoS ONE, o F1000, o Cell, a Elsevier e a Willey Blackwell requerem que os autores estejam de acordo com a disponibilização dos dados de pesquisa em repositórios de acesso aberto. Os demais não mencionam qualquer recomendação a este respeito.
Sabe-se que a despeito da avaliação dos pareceristas, cabe ao editor-chefe a decisão final sobre a aceitação ou rejeição do manuscrito para publicação. Entretanto, muitos periódicos adotam a política de não intervir no conteúdo dos pareceres enviados aos autores. Em nossa seleção, o PLoS ONE, o F1000, o PeerJ, o BMJ Publishing Group, e o Nature Publishing Group declaram que não editam, como norma, os comentários dos pareceristas, e os demais periódicos/publishers não informam sua política neste sentido.
O trabalho de peer review é extremamente minucioso e demanda tempo e esforço dos pesquisadores. Com o intuito de não desperdiçar este valioso trabalho nos casos em que o manuscrito não é aprovado para publicação em um determinado periódico, é prática não rara dentro de um mesmo grupo editorial, com a concordância dos autores, transferir o manuscrito e os pareceres para outro periódico. O PLoS ONE, o Mol Biol Cell, o Cell, o Europhysics Letters, a Royal Society of Chemistry, o BMJ Publishing Group, e o Nature Publishing Group adotam esta prática, ao passo que os demais não informam sobre esta possibilidade nas recomendações aos pareceristas. Apenas no caso do F1000 isso não se aplica, pois o periódico conduz avaliação pós-publicação.
O conjunto de recomendações destinadas a pareceristas disponibilizadas pelos periódicos e publishers relacionados neste post é extremamente útil e permite que a avaliação seja conduzida de forma homogênea, equilibrada e justa, indo ao encontro dos objetivos e política editorial da publicação. Um editorial publicado no Mol Biol Cell em 2011, da autoria de David G. Drubin, ao apresentar as recomendações aos pareceristas do periódico, é intitulada “Qualquer um pode derrubar um celeiro, mas é necessário um bom carpinteiro para construir um.” O autor explica o título: “os autores usam seu coração, alma, e energia criativa para realizar experimentos e relatar os resultados em manuscritos, porém os pareceristas muitas vezes, parece que estão mais interessados em derrubar o celeiro do que ajudar o carpinteiro com o projeto e a construção, ou requerem uma estrutura totalmente nova”7.
Drubin afirma que as publicações representam os resultados de toda a carreira de um pesquisador, e lhes assegura o reconhecimento e a obtenção de financiamento, por isso, para o legado científico de um pesquisador, a avaliação por pares é de suma importância.
A disseminação de boas práticas na avaliação por pares beneficia toda a comunidade científica, por isso disponibilizar políticas e procedimentos, normas e regras claras sobre como conduzi-la devem ser encorajadas, como vem fazendo o Programa SciELO, que tem entre suas prioridades o aumento da eficiência, transparência e qualidade dos processos de avaliação de manuscritos.
5. HIRST, A. and ALTMAN, D.G. Are Peer Reviewers Encouraged to Use Reporting Guidelines? A Survey of 116 Health Research Journals. PLoS one [online]. 2012, vol. 7, no. 4, e35621, ISSN: 1932-6203 [viewed 16 August 2017]. DOI: 10.1371/journal.pone.0035621. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0035621
7. DRUBIN, D.G. Any jackass can trash a manuscript, but it takes good scholarship to create one (how MBoC promotes civil and constructive peer review). Molecular Biology of the Cell [online]. 2011, vol. 22, no. 5, pp. 525-527, ISSN: 1939-4586 [viewed 16 August 2017]. DOI: 10.1091/mbc.E11-01-0002. Available from: http://www.molbiolcell.org/content/22/5/525
Referências
DRUBIN, D.G. Any jackass can trash a manuscript, but it takes good scholarship to create one (how MBoC promotes civil and constructive peer review). Molecular Biology of the Cell [online]. 2011, vol. 22, no. 5, pp. 525-527, ISSN: 1939-4586 [viewed 16 August 2017]. DOI: 10.1091/mbc.E11-01-0002. Available from: http://www.molbiolcell.org/content/22/5/525
HIRST, A. and ALTMAN, D.G. Are Peer Reviewers Encouraged to Use Reporting Guidelines? A Survey of 116 Health Research Journals. PLoS one [online]. 2012, vol. 7, no. 4, e35621, ISSN: 1932-6203 [viewed 16 August 2017]. DOI: 10.1371/journal.pone.0035621. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0035621
Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.
NASSI-CALÒ, L. Avaliação por pares: recomendações dos periódicos aos pareceristas [online]. SciELO em Perspectiva, 2017 [viewed ]. Available from: https://blog.scielo.org/blog/2017/09/20/avaliacao-por-pares-recomendacoes-dos-periodicos-aos-pareceristas/
Sobre Lilian Nassi-Calò
Últimos comentários