Imagem: 3dman_eu.
Por Ernesto Spinak
A Ciência Aberta (Open Science) se fundamenta sobre três eixos estratégicos: o Acesso Aberto, os Dados Abertos e as Revisões por Pares Abertas (Open Access, Open Data, and Open Peer Review). A proposta de Revisão por Pares Abertas, uma das pedras fundamentais nesta agenda, vem produzindo diferentes reações e atitudes entre editores, autores, pareceristas e publishers e isso se soma às iniciativas dos servidores de preprints.
A avaliação por pares no formato tradicional, geralmente, é anônima – simples ou duplo cega; seletiva, com pareceristas selecionados pelos editores, e confidencial. Este modelo tem sido criticado por muito tempo, por ter vários defeitos significativos, como indicados na tabela a seguir.
| 1. Pouco fidedigno | Nem sempre detecta erros, ou pode haver inconsistências entre os informes dos pareceristas. |
| 2. É muito demorado | Ocasiona tempos extensos entre o envio e a publicação. |
| 3. Não se assume responsabilidades | Permite sesgos sociais e de publicação. |
| 4. Sem incentivo aos pareceristas | Os pareceristas não recebem créditos. |
| 5. Desperdício de esforço | O mesmo manuscrito pode ser revisado muitas vezes, à medida que passa por ciclos de envios e reprovações. |
Devido a estes problemas, discutidos desde os anos 80, é que aparecem periodicamente diversas iniciativas para mudar o sistema de avaliação por pares. (Para ampliar o tema, leia neste blog “Como será a avaliação por pares em 2030?”1).
Uma das iniciativas mais populares hoje em dia é a Revisão por Pares Aberta (OPR, do inglês Open Peer Review).
OPR – revisão por pares aberta – é um termo geral para várias opções superpostas de modelos de revisão ou arbitragem de acordo com o espírito da Open Science, incluindo a abertura das identidades dos autores e pareceristas, a publicação dos informes dos pareceristas, e uma maior participação do público no processo de revisão. Estes modelos vêm surgindo desde finais dos anos 90 com tantas variantes e opiniões que Ross-Hellauer, em uma publicação recente, What is open peer review?2 analisa ao menos 122 conceitos independentes que poderiam conformar ao menos 22 combinações únicas deste termo. Vinte e duas definições diferentes e outras ainda por vir.
Comentário do autor deste post: tenho um amigo que diz que se fosse presidente do meu país por um dia, se dedicaria a fazer leis para definir palavras, pois a maior parte dos problemas por resolver se deve ao fato que as pessoas usam as mesmas palavras para dizer coisas diferentes.
Vinte e duas definições para OPR… ao menos. Isso evidencia que o conceito de “abertura” é um “guarda-chuva”, que contém várias facetas: abertura dos autores, abertura dos pareceristas, a participação aberta do público para escrever comentários, abertura dos manuscritos em servidores de preprints etc.
Pois bem, o que opinam os autores, pareceristas, editores, e todos os interessados sobre o modelo OPR? A resposta a estas perguntas iria requerer avaliar adequadamente os pontos de vistas de todos os envolvidos nas publicações acadêmicas. Este foi o objetivo do estudo publicado recentemente em PLoS ONE e que é o motivo do presente post: Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers3 patrocinado por OpenAIRE2020, uma iniciativa da Comissão Europeia em prol de Open Science. As tabelas e dados a seguir foram extraídas do referido artigo.
O estudo, realizado em setembro/outubro de 2016 por meio de questionário online, recompilou 3.062 respostas de pesquisadores com experiência em Open Science de todas as disciplinas científicas, e procurou determinar: quais são os níveis atuais de conhecimento das diversas formas de OPR; o que é que realmente querem os editores, autores e pareceristas; que diferenças existem nas atitudes entre as diferentes disciplinas; quais são as barreiras que se interpõem no caminho da adoção de tais modelos; e quais são os níveis atuais de experiência entre as partes interessadas em relação à OPR. Até a presente data, nunca se tinha conduzido uma análise sistemática destas perguntas. Vejamos alguns resultados.
Segundo a revisão bibliográfica mencionada que recompila as diversas variantes do termo OPR, uma lista organizada de suas facetas poderia ser a seguinte:
|
Os autores e pareceristas são conscientes da identidade um do outro. |
|
Os informes de revisão são publicados juntamente com o artigo relevante. |
|
A comunidade em geral pode contribuir ao processo de revisão (qualificados ou não). |
|
É permitida e fomentada a discussão recíproca direta entre os autores e os pareceristas, e/ou entre os pareceristas. |
|
Os manuscritos estão disponíveis imediatamente (por exemplo, através de servidores de preprints como arXiv, bioRxiv etc.) antes de qualquer procedimento formal de revisão por pares. |
|
Revisar ou comentar sobre a versão final das publicações. |
|
A revisão está desvinculada da publicação porque é fornecida por uma entidade organizacional diferente da sede da publicação. |
Cada uma destas facetas é frequentemente complementar umas às outras, podendo ser combinadas de várias maneiras para produzir uma ampla continuação do significado de “abertura” em OPR. Cada uma destas características distintas é teorizada para abordar uma ou mais deficiências da avaliação por pares tradicional enumeradas anteriormente. Entretanto, não se pretende que nenhuma característica em particular resolva todas as deficiências e, às vezes, seus objetivos podem estar em conflito. Seguindo com a teoria por detrás da OPR, poderíamos resumir os benefícios e desvantagens na tabela seguinte, que tenta responder às críticas apresentadas na primeira tabela sobre a avaliação por pares tradicional.
| 1. Pouco fidedigno e inconsistente | As identidades abertas e os informes abertos, em teoria, gerariam melhores revisões. Alguma evidência sugere que a interação aberta entre os pareceristas e os autores poderia levar a uma melhora na precisão da revisão. |
| 2. É muito demorado e caro | Publicar os manuscritos abertos antes da revisão reduz o tempo em que a pesquisa chega a estar disponível em forma pública, uma vez que supera o problema da “cascata” (passar por múltiplos ciclos de revisão e reprovação em diferentes periódicos). Poderia reduzir a mediação editorial, porém não está demonstrado que produza redução de custos. As identidades abertas e os informes abertos, na realidade poderiam agravar os problemas de demoras e gastos, uma vez que tudo indica que os pareceristas convidados, na verdade, estão menos inclinados a fazer revisões sob tais circunstancias. Finalmente, a interação aberta (ao necessitar mais entrevistas entre os pareceristas e os autores, e uma maior mediação editorial) poderia levar a tempos de revisão maiores. |
| 3. Falta de responsabilidade e riscos de vieses sociais e de publicação | As identidades e informes abertos podem aumentar a responsabilidade através de uma maior transparência e fazer com que os conflitos de interesse sejam mais evidentes ou sejam evitados. A falta de anonimato dos pareceristas na revisão de identidades abertas poderia transformar o processo ao dissuadir os pareceristas em fazer fortes críticas, especialmente contra colegas de maior status. As identidades abertas eliminam as condições de anonimato aos pareceristas (simples cego) o aos autores e pareceristas (duplo cego) que tradicionalmente existem para se contrapor aos vieses sociais (mesmo que não haja provas contundentes de que isso seja assim). |
| 4. Sem incentivo aos pareceristas | Os informes abertos vinculados às identidades abertas permitem uma maior visibilidade das atividades de revisão por pares, o que permite que o trabalho de revisão se mencione em outras publicações e em atividades de desenvolvimento profissional relacionadas com a promoção e a efetividade nos cargos. A participação aberta poderia, em princípio, aumentar os incentivos para a revisão por pares ao permitir que os pareceristas selecionem eles mesmos as obras que consideram que estão qualificados para julgar; no entanto, a experiência até o momento sugere que os pareceristas têm menos probabilidades de revisar sob esta condição. |
| 5. Desperdício de esforços | Os informes abertos fazem com que a informação acadêmica atualmente invisível, porém potencialmente útil, esteja disponível para reutilização, além de proporcionar aos jovens pesquisadores um guia para ajuda-los a conduzir a avaliação por pares. |
Analisando os resultados do estudo, é possível afirmar que 88,2% dos entrevistados se manifesta a favor do Acesso Aberto e 80,3% a favor dos Dados Abertos, os quais são altos respaldos, sem dúvida. Entretanto, o apoio à OPR cai a 60,3% devido ao fato de que não há consenso geral sobre as diferentes facetas da iniciativa.
Isso não significa que estejam satisfeitos com o atual sistema de avaliação, ainda que varia muito nas diferentes disciplinas, o que é positivo para as perspectivas da OPR. Porém, é preciso ter cuidado em não impor uma “solução única” e sim que teria de ser adaptada para diferentes contextos e disciplinas.
Caso se considerem os resultados da pesquisa separadamente para cada uma das facetas das “22 definições de OPR”, se tende a pensar que a maioria de estes aspectos melhorariam, com a clara exceção das identidades abertas, onde 50,8% (a metade) daqueles que responderam à pesquisa acreditam que isso poderia piorar a revisão por pares. Em particular, poderia piorar a proteção contra a influência indevida, o que faz que seja mais difícil para os pesquisadores, em particular os mais jovens, dar uma resposta sincera por temer possíveis represálias dos autores ressentidos. A tabela seguinte mostra o grau de apoio que têm individualmente cada uma das facetas da OPR.
| Faceta | Apoio |
| Publicação de informes abertos | 58,8 |
| Comentários na versão final do registro | 55% |
| Interação entre autores e pareceristas resulta em melhores publicações | >75% |
| Participação da comunidade na revisão, independentemente das qualificações | 45% |
| Participação da comunidade na revisão (seletiva) | 51% |
| Permitir aos pareceristas escolher se desejam abrir ou não suas identidades | 73,4% |
| Em caso de identidade aberta obrigatória, acredita-se que os pareceristas sejam menos propensos a emitir fortes críticas | 62,5% |
A proposta de abrir os manuscritos ao público via servidores de preprint, antes do processo de revisão, teve respostas divididas a favor e contra, segundo as diversas disciplinas de pesquisa, como mostra a tabela a seguir.
| Campo de pesquisa | A favor | Contra |
| Ciências sociais | 54,5% | |
| Matemática e estatística | 62,1% | |
| Direito e ciências políticas | 60% | |
| Computação, TI | 60% | |
| Outras | 52% | |
| Agricultura e nutrição | 62,8% | |
| Ciências da saúde | 51,4% | |
| Química | 43,4% | |
| Total | 41% | 31% |
Minha opinião
Os resultados sugerem que as OPR estão se movendo em direção ao mainstream da publicação científica, onde os autores, pareceristas e editores têm atitudes positivas, e 60% daqueles que responderam à pesquisa acreditam que deveria ser uma prática acadêmica normal. Porém, o apoio para as diferentes características das OPR varia entre muito positivos a uma visão majoritariamente negativa em relação às identidades abertas, donde se acredita que esta prática poderia piorar a revisão por pares. Este último é especialmente surpreendente, uma vez que as identidades abertas são frequentemente a característica que distingue as OPR dentro das múltiplas definições existentes na literatura revisada. Também existe um elemento geracional, no qual os mais jovens manifestam um maior apoio às OPR.
Não devemos passar por alto, adicionalmente, um detalhe técnico importante e oneroso. Caso se implemente uma maior interatividade entre autores, pareceristas e comentários do público, resulta que as plataformas de gerenciamento de manuscritos não estão ainda preparadas para suportar esta funcionalidade. É possível, então, que os periódicos se mostrem reticentes a desenvolver novas plataformas tecnológicas, pois isso incrementaria os tempos e o overhead editorial requeridos para as OPR.
A originalidade da pesquisa é que nos mostra um snapshot das opiniões da comunidade científica sobre a Revisão por Pares Abertas capturado em outubro de 2016.
Não sabemos como se desenvolvem estes apoios em um ambiente tão dinâmico como é a comunicação científica a nível global, porém seguramente as soluções “one size fits all” não serão as mais apropriadas. A América Latina está bem posicionada com a liderança do SciELO no alinhamento dos periódicos com as boas práticas de comunicação da Open Science.
E são tantas as definições, visões e expectativas do conceito de OPR, que certamente tampouco poderá ser resolvido por meu amigo, mesmo que defina o termo com uma lei.
Notas
1. SPINAK, E. Como será a avaliação por pares em 2030? [online]. SciELO em Perspectiva, 2017 [viewed 16 February 2018]. Available from: https://blog.scielo.org/blog/2017/07/26/como-sera-a-avaliacao-por-pares-em-2030/
2. Ross-Hellauer, T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, 588, ISSN: 2046-1402. DOI: 10.12688/f1000research.11369.1. Available from: https://doi.org/10.12688%2Ff1000research.11369.1
3. Ross-Hellauer, T., Deppe, A. and Schmidt, B. Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE [online]. 2017, vol.12, no.12, e0189311, ISSN: 1932-6203. DOI: 10.1371/journal.pone.0189311. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311
Referencias
SPINAK, E. Como será a avaliação por pares em 2030? [online]. SciELO em Perspectiva, 2017 [viewed 16 February 2018]. Available from: https://blog.scielo.org/blog/2017/07/26/como-sera-a-avaliacao-por-pares-em-2030/
Ross-Hellauer, T. What is open peer review? A systematic review. F1000Research [online]. 2017, vol. 6, 588, ISSN: 2046-1402. DOI: 10.12688/f1000research.11369.1. Available from: https://doi.org/10.12688%2Ff1000research.11369.1
Ross-Hellauer, T., Deppe, A. and Schmidt, B. Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE [online]. 2017, vol.12, no.12, e0189311, ISSN: 1932-6203. DOI: 10.1371/journal.pone.0189311. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311
PACKER, A.L., et al. Os Critérios de indexação do SciELO alinham-se com a comunicação na ciência aberta [online]. SciELO en Perspectiva, 2018 [viewed 18 February 2018]. Available from: https://blog.scielo.org/blog/2018/01/10/os-criterios-de-indexacao-do-scielo-alinham-se-com-a-comunicacao-na-ciencia-aberta/
Links externos
OpenAire2020 <https://www.openaire.eu/>
Sobre Ernesto Spinak
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Pingback: Boletim de Notícias: Universidade Aberta do Brasil oferece 100 mil vagas | Direto da Ciência
Ainda tem autores adaptados ao sistema atual que não percebem a necessidade de mudança, talvez por não terem muitos problemas em publicar. Mas acredito que a maioria tem, e a garantia de autoria é o problema número 1: podem se passar anos a fio até ter a contribuição reconhecida, e, no meio do processo, perde-la para outro que publica primeiro, roubando ou não informação. A segunda é a falta de defesa contra erros e injustiças, falta de compreensão do trabalho, depreciação de quem não domina o inglês, e ignorância ou desinteresse puro e simples por parte dos árbitros. Quem se dá bem no atual sistema é contra a mudança e geralmente está no topo da linha de poder, acompanhado pelo poder das editoras, que ganham bem com isso. As sociedades profissionais incluídas.
Pingback: Open peer review perspectives: a thought-provoking question mark | SciELO in Perspective
Pingback: A avaliação por pares em discussão – Parte 2 | Linguística-UFRJ M.Carlota Rosa