Imagem: Nic McPhee.
Por Ernesto Spinak
Ao longo da história da comunicação científica, (pelo menos desde o século XVIII, quando a Royal Society nomeou um Committee of Papers), o processo de avaliação por pares foi fundamental na seleção de manuscritos para assegurar que reunissem um conjunto de critérios de qualidade. A pratica da avaliação por pares, em que pese as limitações e múltiplas críticas, se manteve estável por longo tempo, até a introdução da Internet.
As possibilidades de comunicação online, junto com o movimento de Acesso Aberto primeiro, e agora da Ciência Aberta, fez surgir inúmeras ideias sobre como desenhar procedimentos de avaliação por pares mais eficientes, rápidos, confiáveis, sem vieses, superando as limitações econômicas e de recursos humanos que são as críticas frequentes do sistema. Sobre este tema publicamos em meses recentes dois posts relacionados. Um que analisa ideias sobre como poderia ser a avaliação por pares dentro de 10 ou 15 anos1, e outro sobre as mais de vinte visões diferentes que têm os editores e pesquisadores sobre as avaliações abertas2.
Para efeito de ordenar a discussão do tema, é interessante analisar uma taxonomia das variantes da avaliação por pares tomada de um trabalho de Bo-Christer Björk3. Observe que nesta taxonomia não são considerados aspectos clássicos da avaliação como o simples-cego ou duplo-cego, porque nenhuma das novas propostas importantes parecem incorporá-los.
Considerando que nos posts já publicados e mencionados acima se analisaram muitas variantes de avaliação por pares, nesta nota veremos com mais detalhe uma proposta diferente da revisão de pares. O modelo que analisaremos, cujo exemplo são os “open access mega-journals” (OAMJs), realiza uma revisão mínima por parte do corpo editorial, e translada a etapa pós-publicação, o resto da avaliação, a cargo do público (também poderíamos considera-lo como revisão parcial). É o modelo usado por PLoS ONE, entre outros.
Nos periódicos convencionais o processo de avaliação ocorre antes da publicação e se baseia em um conjunto de critérios expressos de uma maneira ou outra nas “instruções aos pareceristas” disponíveis nos sites dos periódicos. No processo clássico de revisão por pares, estes critérios são constituídos por quatro elementos:
- Novidade e originalidade: o trabalho faz um avanço intelectual contribuindo de forma inovadora ao conhecimento, seja por novos métodos, novos resultados empíricos, ou novas interpretações teóricas.
- Significado e importância: o trabalho adiciona algo ao corpus do conhecimento, produzindo um impacto que melhora o entendimento ou a prática.
- Relevância: o tema está dentro do interesse dos leitores do periódico.
- Solidez e rigor (rigor técnico ou científico) que está relacionado com a precisão metodológica, coerência e integridade, qualidade da argumentação, lógica na interpretação dos dados.
As novas formas de publicação incorporam enfoques alternativos da avaliação e, como já mencionamos, uma destas formas são aquelas usadas pelos OAMJs, entre os que se destacam PLoS ONE (o primeiro em seu gênero) desde 2006, e Scientific Reports, lançado pela Nature em 2011. A estas duas iniciativas somam-se uma dezena de outras instituições, entre elas o American Institute of Physics (AIP Advances), BMJ Open, F1000 e PeerJ, cobrindo as ciências biológicas. Os dados que são aportados neste post foram retirados das referências 4 e 5, em particular “Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals (2018)”4, que é o estudo mais exaustivo até o momento sobre os mega-journals, no qual foram entrevistados 31 editores sêniores que representam 16 organizações editoriais que publicam OAMJs.
Os OAMJs têm cinco características principais: grandes volumes de publicação, amplo alcance temático, modelo de publicação em acesso aberto, financiamento mediante APC, e um enfoque inovador da avaliação por pares. O enfoque inovador requer que os editores e pareceristas somente avaliem a solidez e rigor técnico (a estrutura formal) e não levem em conta nem a originalidade nem a significância ou a relevância (ou seja, o conteúdo). Quer dizer, da tabela anterior, somente consideram o item 4, não levando em conta os primeiros três tópicos. A avaliação destes outros critérios traslada “corrente abaixo” para que sejam julgados pela comunidade acadêmica tão logo o artigo seja publicado. Os indicadores a nível de artigo (citações, downloads e altmetrias) serão as ferramentas usadas para a avaliação pós-publicação.
A separação dos três critérios de conteúdo da etapa de revisão tem sido altamente discutida na publicação científica com opiniões a favor e contra. Entre os argumentos a favor, está a ideia de que ao revisar somente a estrutura do artigo, estão alterando o papel tradicional de gatekeepers dos editores de periódicos. Os corpos editoriais e pareceristas já não são mais os únicos árbitros que decidem os limites dos paradigmas da disciplina. Além disso, este novo tipo de avaliação dá maior eficiência ao processo de publicação reduzindo o tempo da espiral de apresentação-rejeição que têm muitos artigos antes de conseguir ser publicados em algum periódico. Finalmente, também, poderia ser considerado uma “democratização” da ciência. Como disse Gary Ward, CEO da PLoS, “… se o artigo está bem escrito e as conclusões são coerentes, que seja a comunidade a decidir sobre o impacto”6.
Os resultados do estudo que citamos sugerem que os critérios baseados somente na solidez formal e rigor do documento podem influir nas decisões editoriais e, de fato, o fazem. Porém, os editores também consideram que as avaliações pós-publicação sobre novidade, significância e relevância, todavia, contêm aspectos de interpretação problemática. Embora as medidas altmétricas para a avaliação pós-publicação de um artigo sejam partes integrantes do modelo OAMJ, os editores não estão seguros do quão efetivas são na prática. Em particular, os editores tiveram opiniões mistas sobre quais altmetrias poderiam servir para medir a importância ou significância de um artigo.
Minha opinião
Há-se de reconhecer que, pesando as diferentes críticas às limitações do processo atual de revisão por pares, as atitudes e comportamentos sobre este tema estão profundamente enraizados no DNA da comunidade científica e são difíceis de mudar.
Não obstante, o slogan “que a comunidade decida” é fortemente atrativo (inclusive politicamente correto), e a intenção de implementar este paradigma, até o momento, tem sido altamente controversa e permanece problemática.
Notas
1. SPINAK, E. Como será a avaliação por pares em 2030? [online]. SciELO em Perspectiva, 2017 [viewed 30 May 2018]. Available from: https://blog.scielo.org/blog/2017/07/26/como-sera-a-avaliacao-por-pares-em-2030/
2. SPINAK, E. Sobre as vinte e duas definições de revisão por pares aberta… e mais [online]. SciELO em Perspectiva, 2018 [viewed 30 May 2018]. Available from: https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-e-mais/
3. BJÖRK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087/20150202. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1087/20150202
4. SPEZI, V., et al. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2017-0092. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2017-0092
5. SPEZI, V., et al. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2016-0082. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2016-0082
6. ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https://sparcopen.org/our-work/innovator/plos-one/
Referências
ADAMS, C. PLOS ONE [online]. SPARC. 2011 [viewed 30 May 2018]. Available from: https://sparcopen.org/our-work/innovator/plos-one/
BJÖRK, B.C. and HEDLUND, T. Emerging new methods of peer review in scholarly journals. Learned Publishing [online]. 2015, vol. 29, no. 2, pp. 85-91 [viewed 30 May 2018]. DOI: 10.1087/20150202. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1087/20150202
SPEZI, V., et al. Let the community decide? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation [online]. 2018, vol. 74, no. 1, pp.137-161 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2017-0092. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2017-0092
SPEZI, V., et al. Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation [online]. 2017, vol. 73, no. 2, pp.263-283 [viewed 30 May 2018]. DOI: 10.1108/JD-06-2016-0082. Available from: https://www.emeraldinsight.com/doi/full/10.1108/JD-06-2016-0082
SPINAK, E. Como será a avaliação por pares em 2030? [online]. SciELO em Perspectiva, 2017 [viewed 30 May 2018]. Available from: https://blog.scielo.org/blog/2017/07/26/como-sera-a-avaliacao-por-pares-em-2030/
SPINAK, E. Sobre as vinte e duas definições de revisão por pares aberta… e mais [online]. SciELO em Perspectiva, 2018 [viewed 30 May 2018]. Available from: https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-e-mais/
WAKELING, S., et al. Open-Access Mega-Journals: A Bibliometric Profile. PLoS ONE [online]. 2016, vol. 11, no. 11, e0165359 [viewed 30 May 2018]. DOI: 10.1371/journal.pone.0165359. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0165359
Sobre Ernesto Spinak
Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.
Traduzido do original em espanhol por Lilian Nassi-Calò.
Posts relacionados:
Como citar este post [ISO 690/2010]:
Pingback: Boletim de Notícias: Homem pode ter vindo à América antes do degelo de Bering | Direto da Ciência
Caro Spinak,
Considero a proposta de editores de OAMJ problemática e tendenciosa, por dois motivos. Em primeiro lugar, em se eliminando os tres primeiros ítens de sua lista está explícita a ideia de que a autoridade científica, ou expertise, não deve ser considerada, ou deve ser minimizada. Tal proposta é no mínimo questionável, levando-se em conta preceitos socráticos de conhecimento da matéria em análise. Afinal, para que consultar um médico bem qualificado? Deixe que a comunidade decida qual é o melhor médico. A história nos ilustra como falácias desta natureza podem levar a verdadeiras desgraças para a humanidade.
Em segundo lugar, uma questão de claro conflito de interesse, de natureza comercial, que dispensa maiores explicações.
Finalmente, um terceiro ponto: levando-se em conta que boa parte da pesquisa científica custa muito caro, e é paga pela sociedade, é imprescindível se levar em conta os três primeiros pontos de sua lista, de maneira a não se comprometer a qualidade da ciência em desenvolvimento.
Estimado Roberto
Los post publicados no reflejan las opiniones personales del autor (ni de SciELO) sino que informan el estado del arte y las discusiones teóricas y prácticas del mundo editorial. En el post publicado, se puede apreciar esto en los siguientes extractos:
—————————————-
Dado que en los posts ya publicados y mencionados arriba se analizaron muchas variantes de revisiones por pares, en esta nota veremos con más detalle una propuesta diferente de la revisión de pares. El modelo que analizaremos, cuyo ejemplo son las “open access mega-journals” (OAMJs), realiza un arbitraje mínimo por parte del cuerpo editorial, y traslada a la etapa post publicación, a cargo del público.
…
La separación de los tres criterios de contenido de la etapa de revisión ha sido altamente discutida en la publicación científica con opiniones a favor y en contra.
…
Pero los editores también consideran que las evaluaciones post publicación sobre la novedad, significación y relevancia todavía contienen aspectos de interpretación problemática.
…
Mi Opinión
No obstante la consigna “que la comunidad decida” es fuertemente atractiva (incluso políticamente correcta), el intento de implementar este paradigma, hasta la fecha ha sido altamente controversial y permanece problemático.
———————
De acuerdo a tus comentarios, se percibe que tú no estás de acuerdo con la propuesta de las OAMJ.
OK, puede ser que tengas razón.
Pero esta propuesta es una realidad que existe en el mundo editorial, y es parte de nuestra visión comentar sobre todas ellas.
—————————————————————-
Ernesto
Leia o comentário em espanhol, por Javier Santovenia Diaz:
https://blog.scielo.org/es/2018/05/30/revision-por-pares-sobre-las-estructuras-y-los-contenidos/#comment-41623
Leia o comentário em espanhol, por Claudio Amescua García:
https://blog.scielo.org/es/2018/05/30/revision-por-pares-sobre-las-estructuras-y-los-contenidos/#comment-41634