A revisão por pares como objeto de estudo

Por Lilian Nassi-Calò

Na última década, mais e mais pesquisadores em todas as áreas do conhecimento têm se dedicado ao tema da comunicação científica como objeto de estudo. O número de artigos e trabalhos de revisão enfocando os vários aspectos da publicação científica, bem como os desafios impostos pela era digital é significativo e merece reflexão. Um dos temas mais estudados é a avaliação da revisão por pares, incluindo seus aspectos qualitativos e quantitativos, sua capacidade de detectar e coibir práticas antiéticas, apreciação das modalidades de avaliação e como a tecnologia pode facilitar e aperfeiçoar o processo.

Posts recentes neste blog discutem os prós e contras das várias modalidades de avaliação por pares e os principais desafios que se interpõem ao processo recentemente. A despeito dos desafios como a saturação dos revisores, pareceres fraudulentos ou de má qualidade, a avaliação por pares está firmemente consolidada como a etapa mais importante do processo de publicação de resultados de pesquisa na opinião de todos os atores da cadeia editorial, como a que confere qualidade, confiabilidade e originalidade ao artigo.

Mais de uma dezena de artigos reportam pesquisas conduzidas com autores, editores e pareceristas sobre os vários aspectos da avaliação por pares. Dentre os mais recentes trabalhos publicados, dois se destacam pelo elevado número da amostra – ambos se referem a pesquisas com mais de 3.500 respondentes – e um deles por abranger outros temas sobre comunicação científica, além da avaliação por pares.

O primeiro destes artigos, de autoria de Mulligan, Hall e Raphael¹ refere-se a uma pesquisa conduzida em 2009 pela agência Sense about Science para a Fundação Alfred P. Sloan. Esta consistiu-se em enviar questionários online a 40 mil pesquisadores em todo o mundo, selecionados aleatoriamente na base Web of Science, Thomson Reuters. Cerca de dez por cento, 4.037 autores, responderam ao questionário sobre os diversos aspectos da revisão por pares, como índice geral de satisfação, modalidades (cegamento e outras formas de revisão), velocidade do processo, avaliação subjetiva sobre os resultados da avaliação em seus próprios artigos, sugestões para melhorias e outros aspectos.

O artigo assinado por Nicholas, et. al.², trata de uma pesquisa sobre confiabilidade em comunicação científica na era digital conduzida em 2013 pelo Center for Information and Communication Studies da Universidade do Tennessee, EUA e a CIBER Research Ltd., no Reino Unido, também para a Fundação Sloan. Os questionários online foram enviados aos autores por meio dos seis principais publishers de periódicos em que publicam e atuam como pareceristas. Responderam a pesquisa 3.650 participantes referente a questões sobre como estabelecer parâmetros de confiabilidade da literatura científica, hábitos de leitura e citação, uso de mídias sociais e opinião sobre índices alternativos de impacto científico, entre outros temas. A avaliação por pares é transversal e influencia a todos estes temas e os resultados deste estudo vão ao encontro dos da pesquisa de 2009 já mencionada e também de outros autores quanto ao seu papel preponderante como gatekeeper da comunicação científica, apesar de haver certa discordância quanto às formas de aperfeiçoar o processo.

A pesquisa de 2009 enfoca com mais detalhe as opiniões da comunidade científica sobre a avaliação por pares sob as perspectivas do pesquisador, do autor e do parecerista e busca responder qual o grau de satisfação dos entrevistados com o status atual da revisão por pares, seus anseios, preocupações e sugestões de melhorias. O trabalho de 2013, entretanto, é menos minucioso e mais abrangente, pois tinha como objetivo avaliar se e como a publicação digital modificou conceitos fortemente estabelecidos como autoridade e confiabilidade dos canais de literatura científica que usam, citam e onde publicam. Trata-se de analisar as preferências e hábitos dos pesquisadores tanto como produtores como consumidores da informação científica, especialmente em relação a seu comportamento no ambiente digital, uso de mídias sociais e publicação em acesso aberto.

Revisão por pares, prós e contras

Ambos os estudos, além de muitos outros, revelam que a avaliação por pares permanece como o pilar central que norteia a confiabilidade da pesquisa científica. Trata-se de uma prática familiar, confiável e tradicional que encontra pouca variabilidade através das disciplinas, da idade e senhoridade dos pesquisadores e da região geográfica. Ademais, 91% dos entrevistados no artigo de Mulligan e colaboradores declararam que o processo levou à melhoria significativa de seus próprios artigos, especialmente a discussão. É interessante notar que as sugestões dos pareceristas são tão valiosas na opinião dos autores, que afirmam valer a pena submeter seus artigos para periódicos renomados, mesmo que não sejam aceitos, apenas para se beneficiar dos pareceres de qualidade.

As maiores críticas referem-se aos seguintes aspetos: lentidão da avaliação por parte dos pareceristas, principal motivo pelo qual pesquisadores consideram o processo pouco sustentável; qualidade dos pareceres, o que leva artigos de má qualidade ou casos de plágio a passar pela avaliação; pareceres enviesados ou preconceituosos; e falta de transparência no processo.

Quanto à modalidade de revisão por pares, a preferência dos autores recai principalmente no duplo cego (76%), seguido do simples cego (45%). Ver post anteriormente publicado neste blog que analisa este tópico detalhadamente³.

Impacto da avaliação por pares em atividades acadêmicas

A avaliação por pares influencia as principais atividades acadêmicas – uso/leitura, citação e publicação/disseminação, principalmente as duas últimas. Como fonte preferencial de literatura usada pelos pesquisadores estão os periódicos arbitrados. O Fator de Impacto destes periódicos, ademais, foi considerado importante pela maioria como qualificador da informação. Além dos índices mensuráveis, pesquisadores também acessam suas fontes preferenciais na Internet ou em periódicos não arbitrados para buscar ideias e temas inovadores.

Muitos autores, erroneamente, associam periódicos de acesso aberto com baixa qualidade ou ausência de avaliação por pares. Os pesquisadores desconhecem o fato de que publishers renomados também publicam periódicos de acesso aberto de qualidade e, com exceção de periódicos publicados por publishers predatórios, não há motivo para confiar menos na informação publicada em acesso aberto. De fato, os autores afirmaram incluir citações de fontes em acesso aberto, desde que arbitradas.

Seguindo a tendência dos hábitos de uso da literatura, pesquisadores são ainda mais conservadores quando trata-se de citações. As principais razões para escolher/confiar uma citação inclui: o autor ou sua instituição ser conhecido do pesquisador; o periódico ou fonte ser conhecido; e, o artigo citado é uma referência na área ou endossa a metodologia utilizada pelo autor. Ademais, autores preferem citar artigos de periódicos arbitrados, considerados como fontes confiáveis e de qualidade. Mídias sociais são geralmente consideradas comunicação informal e não são preferencialmente citadas. Corroborando esta visão sobre mídias sociais, apenas 15% dos pesquisadores entrevistados no estudo de Mulligan, Hall e Raphael consideram que estatísticas de uso, download e compartilhamento em mídias sociais poderiam, em princípio, ser usadas como alterativa à avaliação por pares.

Ao escolher um periódico para publicar ou disseminar resultados autores buscam principalmente a relevância em sua área de atuação. A seguir, em caráter de importância, está a avaliação por pares, e em terceiro e quarto lugar estão a publicação por um publisher renomado e o nível de citação ou Fator de Impacto do periódico, respectivamente. Entretanto, 75% dos pesquisadores sentem-se seguros em citar artigos de periódicos arbitrados, pois acreditam que eles contêm informação qualificada. Publicações em periódicos submetidos à avaliação por pares também são fundamentais para consolidar uma carreira acadêmica e obter financiamento à pesquisa. Esta é uma consideração unânime, independente da área de pesquisa, mesmo nas ciências sociais em que livros, monografias e trabalhos apresentados em congressos constituem parte significativa da produção acadêmica.

Sugestões para aprimoramento

Para manter a sustentabilidade da avaliação por pares é importante considerar o fator motivação dos pareceristas. É importante notar que 86% dos 3.597 entrevistados por Mulligan, Hall e Raphael que atuam como pareceristas, declararam que apreciam atuar como revisores e pretendem seguir com esta atribuição, a despeito de não receber alguma forma de recompensa imediata por seu trabalho. Este resultado pode soar conflitante com a crise da avaliação por pares reportada recentemente. Os entrevistados dos dois maiores estudos recentes sobre avaliação por pares, entretanto, são maioria ao afirmar que não consideram a avaliação por pares pouco sustentável pela falta de pareceristas disponíveis. Eles consideram esta atividade fundamental no exercício de sua profissão. Muitos, entretanto, acreditam que treinar jovens pesquisadores e motivá-los é imperativo para a continuidade do processo.

A maioria dos entrevistados declinou ao menos uma avaliação nos últimos doze meses, a média sendo de 2,2 recusas por ano. Dentre as razões mais citadas para uma recusa estão: o artigo situa-se fora da área de experiência do pesquisador; o pesquisador encontra-se ocupado com temas de sua própria pesquisa; e, finalmente, por estar ocupado com pareceres anteriormente recebidos. Quase a metade respondeu que considera a suplementação da avaliação por pares com alguma forma de comentário pós-publicação promissora. Outros mencionam a publicação prévia em repositórios antes da revisão por pares, para acelerar a disseminação de resultados. Estes artigos são de certa forma avaliados, apesar de não passar formalmente por revisão por pares, ao receber comentários e ser endossados por moderadores. O repositório de artigos ArXiv da Universidade Cornell na área de física e matemática e o periódico de literatura biomédica em acesso aberto PeerJ são bons exemplo desta modalidade.

Mídias sociais, principalmente gerenciadores de referências como Mendeley e métricas alternativas em nível do artigo como Altmetrics podem ser usadas como formas de avaliar a qualidade da pesquisa publicada, porém, na opinião de 85% dos entrevistados, não substituem a avaliação formal, e 47% acreditam que a complementa. Nicholas, et al., reporta que pesquisadores traçam uma linha bem definida entre métodos formais de comunicação (periódicos arbitrados) e métodos informais (mídias sociais). Para a maioria dos entrevistados na pesquisa, com exceção de poucos mais jovens e em início de carreira, a única forma de confiar em material disseminado por meio de mídias sociais é quando está ligada à alguma fonte formal, como tweets, páginas de Facebook ou blogs de periódicos submetidos a avaliação por pares.

Permanece indefinido, entretanto, entre os pesquisadores, qual deve ser o controle exercido sobre os dados de pesquisa que estão sendo disponibilizados publicamente. Seria factível, ou ainda recomendável que fossem previamente avaliados? Considerando que o tema dos dados abertos é recente, parece prematuro que tenham opinião formada a este respeito.

Ainda sobre propostas inovadoras, é preciso mencionar iniciativas como PaperCritic, que tem por objetivo prover aos autores feedback sobre seu trabalho por meio de comentários postados em seu site da mesma forma que oferece aos pesquisadores a oportunidade de comentar sobre artigos de outros. Com uma proposta semelhante, Peerevaluation visa complementar as métricas quantitativas existentes com uma série de indicadores de qualidade inovadores e na forma de revisões abertas, com sugestões para aprimoramento dos artigos.

Finalmente, a maior parte dos entrevistados na pesquisa de Nicholas, et al., considera que o Fator de Impacto (FI) guarda íntima correlação com avaliação por pares, ambos como indicadores de confiabilidade e qualidade. Muitos autores são de opinião que a mudança de paradigma em direção à métrica baseada em artigo e não no periódico levaria ao enfraquecimento do FI e de sua estreita relação com qualidade da pesquisa. Entretanto, não é o que se observa entre os pesquisadores. O FI, de fato, encontra-se fortalecido e tem um papel importante para determinar onde publicar e o que citar, principalmente em países em desenvolvimento e economias emergentes.

Ao que tudo indica, a opinião da comunidade científica sobre como distinguir informação e literatura de qualidade passa obrigatoriamente por periódicos submetidos à avaliação por pares, em todas as áreas do conhecimento. A transformação da comunicação científica, muito comentada em alguns meios é tema futuro para discussão. A insatisfação que pode haver com a avaliação por pares é motivo para aprimorar o sistema e fortalecê-lo ainda mais, na direção contrária da suposta crise ou saturação do processo.

Notas

¹ MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: http://dx.doi.org/10.1002/asi.22798

² NICHOLAS, D., and et al. Peer review: still king in the digital age. Learned Publishing. 2015, vol. 28, nº1, pp. 15-21. DOI: http://dx.doi.org/10.1087/20150104

³ Avaliação por pares: modalidades, prós e contras. SciELO em Perspectiva. [viewed 29 March 2015]. Available from: https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/

Referências

ARNS, M. Open access is tiring out peer reviewers. Nature. 2014, vol. 515, nº 467, pp. 467. DOI: http://dx.doi.org/10.1038/515467a

Artigo analisa a saturação dos revisores por pares. SciELO em Perspectiva. [viewed 29 March 2015]. Available from: https://blog.scielo.org/blog/2015/01/22/artigo-analisa-a-saturacao-dos-revisores-por-pares/

Avaliação por pares: modalidades, prós e contras. SciELO em Perspectiva. [viewed 29 March 2015]. Available from: https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/

Avaliação por pares: ruim com ela, pior sem ela. SciELO em Perspectiva. [viewed 29 March 2015]. Available from: https://blog.scielo.org/blog/2015/04/17/avaliacao-por-pares-ruim-com-ela-pior-sem-ela/

Dados Abertos: informação líquida, democracia, inovação… os tempos estão mudando. SciELO em Perspectiva. [viewed 05 April 2015]. Available from: https://blog.scielo.org/blog/2013/11/18/dados-abertos-informacao-liquida-democracia-inovacao-os-tempos-estao-mudando/

MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: http://dx.doi.org/10.1002/asi.22798

NICHOLAS, D., and et al. Peer review: still king in the digital age. Learned Publishing. 2015, vol. 28, nº1, pp. 15-21. DOI: http://dx.doi.org/10.1087/20150104

NICHOLAS, D., and et al. Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study. Learned Publishing. 2014, vol. 27, nº 2, pp. 121–134. DOI: http://dx.doi.org/10.1087/20140206

ONITILO, A. A., and et al. A core-item reviewer evaluation (CoRE) system for manuscript peer review. Accountability in Research. 2014, vol. 21, nº 2, pp. 109–21. DOI: http://dx.doi.org/10.1080/08989621.2014.847664

Os pareceres de propostas de financiamento a pesquisa poderiam ser abertos?. SciELO em Perspectiva. [viewed 29 March 2015]. Available from: https://blog.scielo.org/blog/2015/03/20/os-pareceres-de-propostas-de-financiamento-a-pesquisa-poderiam-ser-abertos/

PARK, I.-U., PEACEY, M. W., and MUNAFÒ, M. R. Modelling the effects of subjective and objective decision making in scientific peer review. Nature. 2014. vol. 506, nº 7486, pp. 93–6. DOI: http://dx.doi.org/10.1038/nature12786

Trust and Authority in Scholarly Communications in the Light of the Digital Transition. CICS/CIBER. 2013. Available from: http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf

VESNIC-ALUJEVIC, L. Peer review and scientific publishing in times of web 2.0. Publishing Research Quarterly. 2014, vol. 30, nº 1, pp 39-49. DOI: http://dx.doi.org/10.1007/s12109-014-9345-8

Links externos

Altmetrics – <http://altmetrics.org/>

ArXiv – <http://arxiv.org/>

Mendeley – <http://mendeley.com>

PaperCritic – <http://www.papercritic.com/>

Peer J – <https://peerj.com/>

PeerEvaluation – <http://www.peerevaluation.org/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.