Nós temos a tecnologia para salvar a avaliação por pares – agora compete às nossas comunidades implementá-las [Publicado originalmente no blog LSE Impact of Social Sciences em Setembro/2017]
A avaliação por pares de artigos de pesquisa científica constitui um dos fundamentos do nosso processo de geração de conhecimento. Desde as suas origens no século XIX, tornou-se um processo diverso e complexo. O objetivo da revisão por pares é avaliar e melhorar a qualidade, o grau de inovação, a validade e o impacto dos trabalhos submetidos e da pesquisa subjacente. Apesar de ser visto por muitos como o padrão dourado de certificação para a pesquisa, há agora evidências crescentes de que o ideal de avaliação por pares não é equiparado ao seu processo ou prática.
Uma pesquisa1 mostrou que a revisão por pares é propensa ao viés em várias dimensões, frequentemente não confiável, e pode até mesmo não conseguir detectar uma pesquisa fraudulenta. Esta é uma questão crítica em um momento em que a educação pública e o envolvimento com a ciência e a confiança na pesquisa são necessários, devido à proliferação de “fatos alternativos”, onde a experiência é muitas vezes desprezada de maneira casual em importantes domínios sociopolíticos. Embora acreditemos que o ideal de revisão por pares ainda seja necessário, é a sua implementação e a falta atual de qualquer alternativa viável que deve procurar melhorar.
Em nosso último trabalho de pesquisa2, publicado na F1000 Research, reunimos uma equipe internacional e interdisciplinar de 33 autores para analisar a história, o estado atual e o potencial futuro da avaliação por pares. Como equipe, achamos que havia algumas questões importantes sobre a avaliação por pares que precisavam ser examinadas com maior detalhe. Por exemplo, qual o papel que desempenha a avaliação por pares na nossa infraestrutura moderna de pesquisa e comunicação digital? Seria esta conduzida com os padrões elevados com os quais geralmente é considerada? Como o poder e as práticas da Web, particularmente os aspectos sociais da Web 2.0, podem ser alavancados para pensar em modelos inovadores para a revisão por pares?
Mostramos que houve uma explosão em inovação e experimentação na revisão por pares nos últimos cinco anos. Isso foi impulsionado pelo advento das tecnologias da Web e uma percepção crescente de que há capacidade substancial para melhorar o processo de revisão por pares. Ao combinar o conhecimento e as experiências de diversas disciplinas, fizemos uma análise introspectiva da revisão por pares, que esperamos que seja útil para futuras discussões sobre o tema.
Acreditamos que existem três características fundamentais que sustentam qualquer sistema viável de revisão por pares: controle de qualidade e moderação, incentivos de desempenho e engajamento, certificação e reputação. Nós também acreditamos fortemente que qualquer novo sistema de revisão por pares deve ser capaz de demonstrar não apenas que supera os modelos atuais, mas que também evita ou elimina o máximo possível os vieses dos sistemas existentes.
Controle de qualidade e moderação
O controle de qualidade é a função central da revisão por pares, e é o que distingue a literatura acadêmica de praticamente qualquer outro tipo. Normalmente, o controle de qualidade ocorre em um sistema fechado, ligado a um local, com poucos atores, isto é, autores, pareceristas e editores, com os últimos gerenciando o processo. Uma forte ligação da revisão por pares com os periódicos desempenha um papel importante nisso devido à comum, embora profundamente inexata, associação de prestígio do pesquisador com a marca do periódico. A questão aqui é que a “qualidade” da avaliação por pares continua baseada na confiança, em vez de algo substantivo. Embora, intuitivamente, a qualidade da revisão por pares em periódicos mais prestigiosos possa ser considerada melhor do que em periódicos menores, não podemos declarar objetivamente que isso é verdade pois simplesmente não há evidência suficiente devido à falta de transparência do processo.
Outras plataformas de intercâmbio de conhecimento social, como a Wikipedia, o Stack Exchange e o Reddit, têm comunidades auto-organizadas e estruturas de governança (por exemplo, moderadores) que representam possíveis modelos alternativos. Aqui, os moderadores têm a mesma funcionalidade operacional que os editores de periódicos em termos de gate-keeping e facilitação do processo de engajamento. As comunidades de pesquisa individuais podem escolher de forma transparente grupos de moderadores com base em conhecimentos especializados (por exemplo, automatizados, através do ORCID, utilizando o número de publicações anteriores como limite), envolvimento prévio com a revisão por pares e avaliação de sua reputação. Diferentes comunidades podem usar normas e procedimentos sociais específicos para governar conteúdo e engajamento, e se auto-organizar em plataformas individuais, porém conectadas.
Nesse tal sistema, os objetos publicados poderiam ser preprints, dados, software ou qualquer outro resultado digital de pesquisa. O controle de qualidade seria provido por um sistema semiautomatizado, porém gerenciado, de revisão por pares aberta, com interação pública, colaboração e refinamento transparente através do controle de versão. A moderação comunitária e o crowdsourcing desempenhariam um papel importante, evitando feedbacks subdesenvolvidos que não sejam construtivos e possam atrasar o progresso eficiente da pesquisa.
Quando os autores e os moderadores consideram coletivamente que o processo de revisão por pares tenha sido suficiente para que um objeto alcançasse um nível de qualidade ou aceitação da comunidade, a revisão está completa. Alguns periódicos, como o Journal of Open Source Software, já implementaram este processo com sucesso. Embora os papéis editoriais tradicionais não estejam previstos em nossa visão, reconhecemos que ainda existem casos extremos em que o consenso não é alcançado e o envolvimento de terceiros é necessário. Isso pode ser conseguido, por exemplo, através da eleição improvisada de um supermoderador ou árbitro altamente qualificado, ou um sistema de revisão por pares descontinuado, como o do F1000. Após este processo, os objetos podem ser indexados e a versão atualizada pode ser atribuída a um identificador persistente, como um DOI, bem como uma licença apropriada que permita a máxima reutilização (inclusive o envio para um periódico tradicional) e a sustentabilidade do processo.
A importante distinção aqui do modelo tradicional é a promoção ativa da participação inclusiva e da interação da comunidade, com qualidade definida e controlada por um processo de engajamento e digestão de conteúdo. Se desejado, estes objetos poderiam então constituir a base para envios de manuscritos para periódicos, talvez até via fast track, já que a avaliação de qualidade já teria sido concluída. O papel da avaliação por pares seria, então, associado ao conceito de “unidade viva publicada”, e com a disseminação e validação de pesquisas ocorrendo independentemente de periódicos.
Incentivos de desempenho e envolvimento
Para motivar e encorajar a participação na avaliação por pares, os incentivos tornarão o engajamento mais amplo. Reduzindo o limiar de ingresso para diferentes comunidades de pesquisa começa a tornar a revisão por pares aberta mais acessível e menos onerosa. Uma das razões mais amplamente utilizadas para realizar a revisão por pares é um senso de quid pro quo de altruísmo ou dever acadêmico para com a comunidade de pesquisa. No entanto, atualmente, isso ainda não atingiu um equilíbrio e os pesquisadores ainda recebem muito poucos créditos ou reconhecimento por seus esforços. Vincular diretamente a certificação e reputação é o objetivo final da maioria dos sistemas de incentivo acadêmico.
Novas formas de encorajar a revisão por pares podem ser desenvolvidas através da quantificação do engajamento com o processo e sua vinculação aos perfis acadêmicos. Até certo ponto, isso já é realizado em plataformas como Publons ou ScienceOpen, onde os registros de indivíduos que fizeram pareceres para um periódico específico podem ser integrados ao ORCID. Plataformas como o Reddit, a Amazon e o Stack Exchange usam a ludificação (gamification) e representam um modelo no qual os participantes recebem recompensas virtuais por se envolverem em revisões. Estas atividades são avaliadas e classificadas pela comunidade por meio de upvotes e pontuações de utilidade. Um sistema de recompensa hierárquico baseado em emblemas poderia ser integrado a isso, incluindo recursos para conteúdo ou indivíduos como ” Parecerista dos melhores 5% “, “Replicado com sucesso”, “500 upvotes“, ou o que as comunidades individuais decidirem que é melhor.
A diferença do processo tradicional é que os pareceres altamente avaliados ganham mais exposição, mais escrutínio e reconhecimento e, finalmente, mais crédito. Isso cria o incentivo para se envolver com o processo de forma mais benéfica para a comunidade, que pode então ser usado como forma de estabelecer prestígio para os indivíduos e para o conteúdo.
Certificação e reputação
O atual processo de revisão por pares geralmente é mal recompensado como atividade acadêmica. As métricas de desempenho fornecem uma maneira de certificar a revisão por pares e fornecer a base para incentivar a participação. Como descrito acima, um processo totalmente transparente e interativo, combinado com a identificação do examinador, torna claro o nível de engajamento e valor agregado de cada participante.
A certificação pode ser fornecida aos contribuintes com base no seu envolvimento com o processo: avaliação de suas contribuições pela comunidade (por exemplo, como implementado na Amazon, no Reddit ou no Stack Exchange), combinado com sua reputação como autores. Ao invés de ter participantes anônimos ou pseudônimos, a revisão por pares, para funcionar bem neste sistema aberto, exige uma identificação completa, para conectar a reputação na plataforma com o histórico da autoria. Em vez de um formulário com base no periódico, a certificação é concedida com base no envolvimento contínuo com o processo de pesquisa e é revelada ao nível do objeto individual.
A diferença do modelo tradicional aqui é que a realização da certificação ocorre por meio de um processo contínuo e evolutivo de engajamento na comunidade e que pode ser quantificado. Modelos como o do Stack Exchange são candidatos ideais para este sistema, e operam através de um esquema de up-voting e down-voting simples e transparente, combinado com emblemas de realizações. Estas métricas quantificáveis de desempenho podem ser facilmente vinculadas à reputação acadêmica dos indivíduos. Como isso é desacoplado dos periódicos, alivia todos os problemas bem conhecidos com os sistemas de classificação baseados em periódicos e é totalmente transparente. Isso deve ser altamente atraente, não apenas para os pesquisadores, mas também para os responsáveis pela contratação, permanência, promoção, obtenção de financiamento e avaliação de pesquisa, podendo, então, tornar-se um fator importante no desenvolvimento de políticas futuras.
Desafios e considerações futuras
Nenhuma das ideias propostas acima é radical, inatingível ou vai além dos atuais meios técnicos e sociais. Existem modelos de trabalho que demonstram a viabilidade potencial de tal sistema, como exemplificado por uma enorme variedade de plataformas nativas da Web, com muitas das quais os acadêmicos já estão envolvidos. Em vez disso, o que sugerimos aqui é a simples recombinação de traços existentes de plataformas sociais de sucesso em uma plataforma híbrida única e hipotética.
Um desafio-chave que nosso sistema híbrido proposto terá que superar é a captação simultânea através de todo o ecossistema acadêmico. Em particular, esta proposta envolve um requisito para a comunicação padronizada entre uma série de participantes-chave. Mudanças reais ocorrerão quando elementos deste sistema puderem ser ocupados por comunidades específicas, mas permanecerem interoperáveis entre eles. Identificar sites onde as mudanças passo a passo na prática são desejáveis para uma comunidade é um dos próximos passos importantes. Aumentar o – atualmente quase inexistente – papel e o reconhecimento da revisão por pares nos processos de promoção, contratação e permanência pode ser um passo crítico para incentivar as mudanças que discutimos. Como tal, esperamos que as agências financiadoras de pesquisa, em vários níveis, estejam interessadas em reunir conhecimentos e recursos para construir uma plataforma na forma de um consórcio.
Ao analisar a crescente adoção de tecnologias sociais pelas comunidades digitais, podemos ver que existe um amplo alcance e apetite para o desenvolvimento significativo e a adoção de novas iniciativas de avaliação por pares aqui propostas. Tais iniciativas têm o potencial de resolver muitas das questões técnicas e sociais associadas à revisão por pares, e também perturbar todo o nosso sistema de comunicação científica. As implementações de alta qualidade destas ideias em sistemas que as comunidades podem escolher adotar podem atuar como padrões de facto que ajudem a construir uma prática e adoção consistentes. Estamos ansiosos para ver desenvolvimentos progressivos neste domínio no futuro próximo.
Nota dos autores: Este artigo reflete as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja a nossa política de comentários3 se você tiver alguma dúvida ao postar um comentário.
Notas
1. SMITH, R. Peer review: a flawed process at the heart of science and journals. J R Soc Med. [online]. 2006, vol. 99, no. 4, pp. 178-182 [viewed 11 September 2017]. DOI: 10.1258/jrsm.99.4.178. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1420798/
2. TENNANT J.P., et al. A multi-disciplinary perspective on emergent and future innovations in peer review [version 1; referees: 2 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 1151, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.12037.1. Available from: https://f1000research.com/articles/6-1151/v1
BREMBS, B., BUTTON, K. and MUNAFÒ, M. Deep impact: unintended consequences of journal rank. Front. Hum. Neurosci. [online]. 2013, vol. 7, ISSN: 1662-5161 [viewed 11 September 2017]. DOI: 10.3389/fnhum.2013.00291. Available from: http://journal.frontiersin.org/article/10.3389/fnhum.2013.00291/full
KIDWELL, M.C., et al. Badges to Acknowledge Open Practices: A Simple, Low-Cost, Effective Method for Increasing Transparency. PLOS Biology [online]. 2016, vol. 14, no. 5, pp. 1-15, ISSN: 1545-7885 [viewed 11 September 2017]. DOI: 10.1371/journal.pbio.1002456. Available from: http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002456
MAYDEN, K. D. Peer Review: Publication’s Gold Standard. J Adv Pract Oncol. [online]. 2012, vol. 3, no. 2, pp. 117–122 [viewed 11 September 2017]. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4093306/
ROSS-HELLAUER, T. What is open peer review? A systematic review [version 1; referees: 1 approved, 3 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 588, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.11369.1. Available from: https://f1000research.com/articles/6-588/v1
SMITH, R. Peer review: a flawed process at the heart of science and journals. J R Soc Med [online]. 2006, vol. 99, no. 4, pp. 178-182 [viewed 11 September 2017]. DOI: 10.1258/jrsm.99.4.178. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1420798/
TENNANT J.P., et al.. A multi-disciplinary perspective on emergent and future innovations in peer review [version 1; referees: 2 approved with reservations]. F1000Research [online]. 2017, vol. 6, no. 1151, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.12037.1. Available from: https://f1000research.com/articles/6-1151/v1
TENNANT, J., GRAZIOTIN, D. and KEARNS, S. Nós temos a tecnologia para salvar a avaliação por pares – agora compete às nossas comunidades implementá-las [Publicado originalmente no blog LSE Impact of Social Sciences em Setembro/2017] [online]. SciELO em Perspectiva, 2017 [viewed ]. Available from: https://blog.scielo.org/blog/2017/09/27/nos-temos-a-tecnologia-para-salvar-a-avaliacao-por-pares-agora-compete-as-nossas-comunidades-implementa-las-publicado-originalmente-no-blog-lse-impact-of-social-sciences-em-setembro2017/
Últimos comentários