Abertura é a única qualidade de um artigo científico que pode ser objetivamente aferida

Por Jan Velterop

Foto: Brad Hagan.

Qualidade, muitas vezes, parece ser a primeira coisa na boca dos cientistas quando se fala de artigos de periódicos científicos. Eu já escrevi sobre isso antes neste blog¹. Em muitos casos – minha impressão é que na maioria deles – o título do periódico no qual o artigo é publicado serve como um proxy de qualidade. No entanto, uma definição clara do que constitui qualidade está sempre ausente. O fator de impacto do periódico (FI) é o indicador de qualidade mais utilizado dos artigos publicados no periódico em questão.

Isso é problemático. Tem sido problemático por um longo tempo, é claro. Contudo, a Declaração de São Francisco sobre Avaliação da Pesquisa (San Francisco Declaration on Research Assessment, DORA²), que recomenda “não utilizar métricas baseadas em citações, como o Fator de Impacto de periódicos, como uma medida em substituição à qualidade dos artigos de pesquisa individuais para avaliar as contribuições de um cientista individual em processos de contratação, promoção ou decisões de financiamento a pesquisa”, foi assinada por apenas 840 instituições (até abril/2017) de um total estimado de mais de 25.000 em todo o mundo. Periódicos com alto FI ainda são considerados de prestígio e, como regra geral, periódicos de prestígio estão muito interessados em publicar artigos com resultados espetaculares. E os resultados espetaculares não são sinônimo de artigos de qualidade, e ademais, podem também apresentar falhas. Curt Rice, acadêmico na Noruega, sumariza desta forma: “Os periódicos mais prestigiosos têm as maiores taxas de retratação, e fraudes e má conduta são as maiores causas de retração nestes periódicos do que naqueles menos prestigiados”³.

Um artigo publicado em um periódico de prestígio não é claramente o mesmo que este artigo ter alta qualidade. De fato, os resultados da pesquisa podem ser espetaculares precisamente porque são desvios estatísticos. É um fenômeno conhecido que, quando experimentos que relatam resultados espetaculares são posteriormente replicados, muitas vezes parecem menos espetaculares, mesmo se a evidência ainda for válida. Trata-se de um processo causado, muito provavelmente, por “regressão da média”. No entanto, é exatamente a natureza espetacular do desvio estatístico que é tão atraente para um periódico de grande prestígio. Citando Curt Rice novamente: “é até certo ponto lógico que você veja estas coisas, pois as coincidências estatísticas são muitas vezes muito agradáveis e muito incomuns. Isso aumenta a probabilidade de ser publicado em um desses grandes periódicos”.

Um exemplo particularmente desastroso de um artigo publicado em um periódico de prestígio, e depois retratado, foi o atualmente infame artigo de Andrew Wakefield⁴, no qual autismo e distúrbios do intestino em crianças estavam associados à vacinação. Infelizmente, ele foi publicado em um periódico usualmente considerado como de qualidade: The Lancet. Isso lhe deu credibilidade e falsa autoridade, como resultado do qual recebeu muita publicidade, também na imprensa leiga, e consequentemente há ainda um movimento anti-vacinação considerável, particularmente nos Estados Unidos (mas não apenas lá). De acordo com um relatório de 2015 do Pew Research Center⁵, a elevada taxa de cerca de um em cada dez americanos, considera que vacinas não são seguras. Outros cientistas não conseguiram replicar os resultados de Wakefield e seus coautores retiraram seu apoio ao estudo. Depois de realizar um inquérito oficial, um tribunal do Conselho Médico Geral britânico concluiu que Wakefield agiu de forma desonesta e irresponsável. A periódico The Lancet retratou o artigo e Wakefield foi retirado do Registro Médico do Reino Unido com uma declaração de que ele deliberadamente falsificou os resultados científicos, mas acabou sendo muito pouco, muito tarde. O relatório Pew menciona que “até então, no entanto, o dano já havia sido feito. Muitas pessoas nos EUA e na Europa ainda acreditam que as vacinas causam doenças, incluindo o autismo em crianças. Apesar do conselho médico oficial que diz que as vacinas são seguras e vitais, muitos pais ainda se preocupam com a inoculação de seus filhos”. Em grande medida, isso pode ser atribuído ao prestígio concedido ao artigo de Wakefield pelo The Lancet.

Se você procurar por retratações na Internet, vai encontrar alguns nomes familiares de periódicos. Eles são familiares porque são amplamente reconhecidos como prestigiados. O blog Retraction Watch monitora de perto as retrações em todo o domínio científico. Mas é improvável que o Retraction Watch capture todos os artigos fraudulentos, muito menos artigos com falhas profundas ‘meramente’ estatísticas, principalmente porque estes artigos não são todos retratados. Chris Hartgerink, um pesquisador que estuda casos de viés, erro e fraude em publicações científicas, conclui que “o sistema científico, como sabemos, está bastante deteriorado” (em uma entrevista com Stephen Buranyi⁶). No mesmo artigo⁷, Buranyi também aponta um estudo de 2009 do pesquisador de Stanford Daniele Fanelli, que concluiu que “é provável que, se em média 2% dos cientistas admitam ter falsificado resultados de pesquisa ao menos uma vez e até 34% admitem ter praticado atos questionáveis de pesquisa, na verdade, as frequências reais de má conduta podem, então, ser maiores [do que é frequentemente reportado]”.

Seria a qualidade uma ilusão?

Então, a qualidade é ilusória? Será que acreditar na qualidade das publicações científicas com base no seu prestígio é apenas uma necessidade burocrática no sistema de ‘ego’ científico? Afinal, a qualidade é muitas vezes associada a um alto Fator de Impacto, que é baseado em uma simples contagem do número médio de vezes que os artigos em um determinado periódico estão sendo citados e fatores de impacto são importantes aos pesquisadores para indicar a importância das publicações que eles incluem em seus currículos. Eles precisam fazer isso, é claro, pois o sistema baseado no ego está sendo reforçado pelo sistema generalizado – quase universal – de usar citações (geralmente o fator de impacto) para avaliar periódicos, artigos, pessoas, propostas de financiamento, grupos de pesquisa, instituições, e até mesmo países.

Einstein supostamente teria dito: “Nem tudo o que pode ser contado, conta e nem tudo o que conta, pode ser contado”. A Nature, um periódico que você conhece, parece concordar que a avaliação da pesquisa depende grandemente do inflacionado status do fator de impacto. Um de seus editoriais em 2005, de fato, era intitulado “A avaliação da pesquisa depende fortemente do status inflacionado do fator de impacto”⁸. A Nature não parece necessariamente estar sendo irônica ao anunciar seu muito proeminente fator de impacto, entretanto, ao seguir exibindo seu fator de impacto na capa.

Claramente, o fator de impacto ainda desempenha um papel muito importante. Mesmo um fator de impacto inferior a um é considerado algo digno de ser vangloriado por muitos pesquisadores. Aparentemente, existem até mesmo pseudo-fatores de impacto, que foram inventados por alguma organização que não pode contar com o Fator de Impacto-ISI da Thomson-Reuters.

A noção de impacto realmente é bastante incoerente. De acordo com Stefan Collini, professor de Cambridge, isso é porque “recompensa o sensacionalista e de segunda classe […] e arrisca transformar acadêmicos em vendedores porta-a-porta de versões vulgarizadas de seus produtos, cada vez mais orientados para o mercado”⁹.

As citações podem mesmo ser o tipo correto de medida para qualidade? Se esta é a grande questão, a resposta deve ser simplesmente “não”. Você não pode misturar impacto e influência com qualidade. Como diz Lea Velho, acadêmica do Brasil: “Combinar impacto/ influência com qualidade […] é assumir uma comunicação perfeita na comunidade científica internacional. […] padrões de citação são significativamente influenciados por fatores ‘externos’ ao campo científico e, portanto, não refletem simplesmente a qualidade, a influência, nem mesmo o impacto do trabalho de pesquisa referido”¹⁰. Em outras palavras, a qualidade não pode ser descrita pelo fator de impacto como o conhecemos.

Quão determinantes são as avaliações dos pareceristas?

Mas o fator de impacto ainda é amplamente visto como uma marca de qualidade, como muito importante, embora a qualidade de um artigo seja rotineiramente avaliada por apenas algumas pessoas: os pareceristas, no momento da publicação. Geralmente, há dois revisores, e há o editor. Os revisores, muitas vezes, são escolhidos aleatoriamente, provavelmente com mais frequência do que você gostaria de acreditar. A correlação entre a avaliação de um parecerista em particular com “qualidade”, medida posteriormente por citações ao manuscrito analisado, é baixa. Isso levanta dúvidas quanto à importância do julgamento dos pareceristas. Alguns sugerem que minimizar o impacto da avaliação por pares pode ter efeitos benéficos, se os pareceristas decidirem apenas se um documento atinge um nível mínimo de qualidade técnica. Osterloh e Frey¹¹ propõem que dentro do conjunto resultante, cada artigo deve, portanto, ter a mesma probabilidade de ser publicado. Este procedimento deverá tornar mais provável a publicação de artigos não convencionais e inovadores. Se você ajustar a probabilidade de ser publicado em 100% depois que um artigo atingir um nível mínimo de qualidade (técnica), você terá essencialmente o método usado pelos assim chamados mega-journals, como PLoS One.

Embora a abordagem do PLoS One esteja recebendo alguns seguidores, não é, de forma alguma, o método prevalente. É da natureza da ciência continuar contando e inferir a qualidade a partir da quantidade das citações? Ou seria realmente um caso de “gerencialismo” acadêmico, para manter a avaliação dos pesquisadores simples e direta (embora às custas de justiça e exatidão)? Nada mais é do que abordagem preguiçosa da avaliação da qualidade, na minha opinião, e só avalia pseudo-qualidade, de qualquer maneira.

Em direção a uma solução sócio-cultural?

O que estamos fazendo a respeito? Pode haver soluções técnicas para o problema da comunicação científica, que realmente não está fazendo o que supostamente deveria. O foco padrão sempre parece estar em soluções técnicas. No entanto, nós realmente precisamos de soluções socioculturais. Precisamos reconsiderar o que entendemos por qualidade e como avaliá-la.

Os rankings são vistos como importantes na ciência e como tal, alcançar altos rankings faz parte dos incentivos para os pesquisadores. Existem rankings em periódicos ou pesquisadores individuais, universidades, até países inteiros. Estará a ‘katataxiphilia’ (‘predileção por rankings’, do grego κατάταξη = classificação, ranking) impedindo o intercambio de conhecimento? E se ranqueamos – se realmente acreditamos que temos que ranquear – não deveríamos ranquear com base em coisas diferentes que não citações? Não deveríamos recompensar pessoas por colaborar e compartilhar dados e conhecimento que eles por primeiro reuniram?

Ainda precisamos dos periódicos?

O ponto central do conhecimento científico, da esfera do conhecimento ao redor do mundo, se você quiser, é disseminá-lo para que quem quer que o necessite possa tê-lo. Então, por que ainda estamos usando o modelo de ‘periódicos’ para nossa comunicação primária, mesmo embora nossa tecnologia moderna, a Internet, não os requeira mais? E mesmo que o processo de publicação possa introduzir um atraso significativo? Seria porque os periódicos nos fornecem os rankings de qualidade pelos quais os pesquisadores tanto anseiam?

Estou animado com o surgimento dos chamados servidores de preprint (como bioRxiv) em outras áreas além da física, onde preprints existem há muito tempo, mesmo em versão impressa, antes que o arXiv fosse estabelecido em 1991. Os servidores de preprint não declaram nada sobre o ‘significado’ dos artigos neles postados. Apenas permitem o compartilhamento aberto dos resultados de pesquisa. A importância, a significância e a qualidade de um artigo são muito difíceis – provavelmente impossíveis – de determinar no momento da publicação, e só emergirão ao longo do tempo. Depois de quaisquer experimentos terem sido replicados. Depois que a comunidade mais ampla da disciplina chegar a um consenso. Serviços de preprint só estão preocupados com as qualidades inerentes do que está sendo apresentado, como as qualidades técnicas mensuráveis de um artigo ​​que mencionei acima em relação ao PLoS One. E depois de postar artigos, eles permitem que a comunidade em geral que avalie e faça comentários sobre esses artigos, de forma aberta e transparente. A necessidade de ‘prêmios’ (citações de periódicos para fins de progressão na carreira), quando necessário, pode ser satisfeita em um procedimento separado e paralelo que envolva periódicos.

Notas

1. VELTEROP, J. Abertura e a qualidade do artigo publicado [online]. SciELO em Perspectiva, 2015 [viewed 11 April 2017]. Available from: https://blog.scielo.org/blog/2015/12/16/abertura-e-a-qualidade-do-artigo-publicado/

2. The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 11 April 2017]. Available from: http://www.ascb.org/dora/

3. RICE, C. Why you can’t trust research: 3 problems with the quality of science [online]. Curt Rice, 2013. [viewed 11 April 2017]. Available from: http://curt-rice.com/2013/02/06/why-you-cant-trust-research-3-problems-with-the-quality-of-science/

4. WAKEFIELD, A. J., et al. Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children – Retraction notice. Article originally published in The Lancet, Volume 375, Issue 9713, 6–12 February 2010, Page 445 [online]. Science Direct, 2017 [viewed 11 April 2017]. Available from: http://www.sciencedirect.com/science/article/pii/S0140673697110960

5. 83% Say Measles Vaccine Is Safe for Healthy Children [online]. Pew Research Center, 2015 [viewed 11 April 2017]. Available from: http://www.people-press.org/2015/02/09/83-percent-say-measles-vaccine-is-safe-for-healthy-children/

6. In an interview with Stephen Buranyi, The hi-tech war on science fraud [online]. The Guardian, 2017 [viewed 11 April 2017]. Available from: http://www.theguardian.com/science/2017/feb/01/high-tech-war-on-science

7. FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS One [online]. 2009, vol. 4, no. 5, e5738 [viewed 11 April 2017]. DOI: 10.1371/journal.pone.0005738. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

8. Not-so-deep impact – Research assessment rests too heavily on the inflated status of the impact factor. Nature [online]. 2005, vol. 435, pp 1003-1004 [viewed 11 April 2017]. DOI: 10.1038/4351003b. Available from: http://www.nature.com/nature/journal/v435/n7045/full/4351003b.html

9. REISZ, M. The core connection [online]. Times Higher Education, 2010 [viewed 11 April 2017]. Available from: https://www.timeshighereducation.com/features/the-core-connection/409838.article

10. VELHO, L. The ‘meaning’ of citation in the context of a scientifically peripheral country. Scientometrics. 1986, vol. 9, nos, 1-2, pp. 71-89. DOI: 10.1007/BF02016609

11. OSTERLOH, M. and FREY, B. S. Input Control and Random Choice Improving the Selection Process for Journal Articles. University of Zurich, Department of Economics, Working Paper No. 25. 2011. Available from: www.econ.uzh.ch/static/wp/econwp025.pdf

Referências

83% Say Measles Vaccine Is Safe for Healthy Children [online]. Pew Research Center, 2015 [viewed 11 April 2017]. Available from: http://www.people-press.org/2015/02/09/83-percent-say-measles-vaccine-is-safe-for-healthy-children/

Criteria for Publication [online]. PLOS One [viewed 11 April 2017]. Available from: http://journals.plos.org/plosone/s/journal-information

FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS One [online]. 2009, vol. 4, no. 5, e5738 [viewed 11 April 2017]. DOI: 10.1371/journal.pone.0005738. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

GORSKI, D. The General Medical Council to Andrew Wakefield: “The panel is satisfied that your conduct was irresponsible and dishonest” [online]. Science-Based Medicine, 2010 [viewed 11 April 2017]. Available from: https://www.sciencebasedmedicine.org/andrew-wakefield-the-panel-is-satisfied-that-your-conduct-was-irresponsible-and-dishonest/

In an interview with Stephen Buranyi, The hi-tech war on science fraud [online]. The Guardian, 2017 [viewed 11 April 2017]. Available from: http://www.theguardian.com/science/2017/feb/01/high-tech-war-on-science

JALALIAN, M. The story of fake impact factor companies and how we detected them. Electronic Physician [online]. 2015, vol. 7, no. 2, pp.1069-1072 [viewed 11 April 2017]. DOI: 10.14661/2015.1069-1072. PMID: 26120416. Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4477767/

LEHRER, J. The Truth Wears Off. The New Yorker [online]. 2010 [viewed 11 April 2017]. Available from: http://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off

Not-so-deep impact – Research assessment rests too heavily on the inflated status of the impact factor. Nature [online]. 2005, vol. 435, pp 1003-1004 [viewed 11 April 2017]. DOI: 10.1038/4351003b. Available from: http://www.nature.com/nature/journal/v435/n7045/full/4351003b.html

OSTERLOH, M. and FREY, B. S. Input Control and Random Choice Improving the Selection Process for Journal Articles. University of Zurich, Department of Economics, Working Paper No. 25. 2011. Available from: www.econ.uzh.ch/static/wp/econwp025.pdf

REISZ, M. The core connection [online]. Times Higher Education, 2010 [viewed 11 April 2017]. Available from: https://www.timeshighereducation.com/features/the-core-connection/409838.article

RICE, C. Why you can’t trust research: 3 problems with the quality of science [online]. Curt Rice, 2013. [viewed 11 April 2017]. Available from: http://curt-rice.com/2013/02/06/why-you-cant-trust-research-3-problems-with-the-quality-of-science/

Scimago Journal and Country Rank. Available from: http://www.scimagojr.com/countryrank.php?order=ci&ord=desc

STARBUCK, W. H. The production of knowledge. The challenge of social science research. Oxford University Press. 2006. pp. 83-84.

The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 11 April 2017]. Available from: http://www.ascb.org/dora/

VELHO, L. The ‘meaning’ of citation in the context of a scientifically peripheral country. Scientometrics. 1986, vol. 9, nos, 1-2, pp. 71-89. DOI: 10.1007/BF02016609

VELTEROP, J. Abertura e a qualidade do artigo publicado [online]. SciELO em Perspectiva, 2015 [viewed 11 April 2017]. Available from: https://blog.scielo.org/blog/2015/12/16/abertura-e-a-qualidade-do-artigo-publicado/

VELTEROP, J. O melhor de dois mundos [online]. SciELO em Perspectiva, 2016 [viewed 11 April 2017]. Available from: https://blog.scielo.org/blog/2016/06/13/o-melhor-de-dois-mundos/

WAKEFIELD, A. J., et al. Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children – Retraction notice. Article originally published in The Lancet, Volume 375, Issue 9713, 6–12 February 2010, Page 445 [online]. Science Direct, 2017 [viewed 11 April 2017]. Available from: http://www.sciencedirect.com/science/article/pii/S0140673697110960

Link externo

Retraction Watch – <http://retractionwatch.com/>

Sobre Jan Velterop

Jan Velterop (1949), geofísico marinho, tornou-se editor científico em meados dos anos 1970. Ele iniciou sua carreira como editor na Elsevier em Amsterdã. Em 1990 tornou-se diretor de um jornal holandês, mas retornou à publicação científica internacional em 1993 na Academic Press em Londres, onde desenvolveu o primeiro acordo nacional que permitiu acesso eletrônico a todos os periódicos AP por todas as instituições de ensino superior do Reino Unido (o que mais tarde foi denominado BigDeal). Ele foi Diretor na Nature, mas logo se dedicou para ajudar a fazer decolar o BioMed Central. Ele participou da Iniciativa de Budapeste para o Acesso Aberto. Em 2005 foi para a Springer, baseado no Reino Unido como Diretor de Acesso Aberto. Em 2008 ele deixa a Springer para apoiar o desenvolvimento de abordagens semânticas para acelerar descobertas científicas. Velterop é um ativo defensor do acesso aberto em conformidade com a Iniciativa de Acesso Aberto de Budapeste (BOAI) e do uso de microatribuições, a referência das denominadas “nanopublicações”. Ele publicou vários artigos sobre ambos os temas.

Traduzido do original em inglês por Lilian Nassi-Calò.