Quantidade importa na medida em que o impacto da citação aumenta com a produtividade [Publicado originalmente no blog LSE Impact of Social Sciences em Janeiro/2018]

Imagem: Ben Smith.

Por Peter van den Besselaar e Ulf Sandström

Parece óbvio que a ciência é principalmente qualidade, não quantidade. Como consequência, os processos de avaliação não levam em consideração a produtividade, com a atual tendência de limitar o número de publicações a ser considerado por pesquisador. Desta forma, um painel pode avaliar a qualidade sem ser confrontado com listas de publicações enormes que seriam impraticáveis de avaliar. Assim, os acadêmicos podem ser encorajados a se concentrar na qualidade, não na quantidade. De fato, desta perspectiva, a qualidade e a quantidade são características opostas da atividade de pesquisa, e focar a quantidade não é apenas um erro, mas também teria efeitos perversos, pois reduziria a qualidade do trabalho. No entanto, estas ideias podem ser equivocadas. Nosso entendimento, desenvolvido em um recente artigo em PLoS ONE, é que existe uma relação positiva e mais forte que linear entre produtividade e qualidade (em termos dos artigos mais citados).

A Figura 1 mostra as várias relações possíveis entre “qualidade” e “quantidade” que podem existir: (i) pode haver um “limite superior de impacto”, o que significa que após um certo número de artigos o número de artigos altamente citados se estabiliza; poderia haver (ii) diminuição; (iii) manutenção; ou mesmo (iv) aumento dos “retornos de impacto” da produtividade; e, finalmente, (v) “pouco pode ser desejável”, no sentido de que o número de artigos de alto impacto diminui quando os autores se tornam muito produtivos, substituindo quantidade por qualidade. O bom é que isso pode ser verificado empiricamente.

Figura 1: Possíveis cenários da relação entre quantidade e qualidade. Nota: eixo-x: número de artigos; eixo-y: impacto de citação

Mostramos nossas descobertas por disciplina, apresentadas da mesma forma que as possíveis relações acima. Utilizamos um conjunto de dados desambiguados de mais de 40.000 pesquisadores suecos (2008-2011). Para cada pesquisador, calculamos o número total de publicações (normalizado por disciplina e contados fracionadamente) e também o número destas publicações que figuram nos artigos mais altamente citados (2,5%). A Figura 2 mostra os resultados: nas ciências naturais e engenharia, nas ciências da vida e da medicina e na psicologia e educação, encontramos o padrão de “aumento de retorno”. Na agricultura, biologia, estudos ambientais e geografia, o padrão “constante” predomina. Nas ciências sociais, o padrão (ligeiramente) de “diminuição de retorno” parece dominar; enquanto que o padrão de “limite superior do impacto” foi encontrado para ciência da computação e matemática e para as humanidades.

Figura 2: Relação real entre quantidade e qualidade com base em dados suecos 2008-2011 por área de disciplina. Nota: eixo-x: número de artigos; eixo-y: impacto de citação (eixo esquerdo – ciências médicas e naturais; eixo direito – ciências humanas e sociais). Fonte: Web of Science Online.

Curiosamente, o padrão “pouco é desejável” não ocorre. A questão permanece quanto ao motivo pelo qual o padrão nas ciências da computação e nas ciências humanas é tão diferente daquele de outras disciplinas. Isso provavelmente está relacionado à natureza destas disciplinas, que, mais do que em outros lugares, tem várias audiências além dos pares científicos. Sugerimos que os autores prolíficos das ciências da computação e das humanidades se mobilizem para escrever mais para outras partes interessadas além dos pesquisadores, uma vez que sua produção acadêmica está acima de um patamar (razoavelmente alto). No entanto, para resolver isso, seria necessário pesquisar mais.

Como podemos explicar os padrões que encontramos? Em primeiro lugar, a pesquisa mostra que os acadêmicos são geralmente altamente motivados e comprometidos, portanto, não há boas razões para supor que eles tentariam maximizar a produção em detrimento da qualidade. Em segundo lugar, as teorias de criatividade científica sugerem o contrário: quanto mais criativa é a pessoa, quanto mais ideias novas alguém gera, mais potencial e (como nossos resultados sugerem) mais documentos produzidos pelo pesquisador. É claro que nem todas as ideias são boas ideias, mas quanto mais ideias se tem, maior a probabilidade de que algumas sejam boas. Trata-se de tentar, experimentar, aprender: quanto mais se faz, melhor se torna, na média.

Este efeito de tamanho também se mantém a nível organizacional, algo que não abordamos no artigo do PLoS ONE, mas testamos depois que um avaliador reivindicou o oposto: “o ranking CWTS Leiden, por exemplo, não mostra esta relação linear, como os autores afirmam, entre o número de trabalhos produzidos por uma universidade e a porcentagem de trabalhos altamente citados produzidos por esta universidade”. Nós testámos isso usando o Leiden Ranking 2014¹, que detalha o número de artigos e a quantidade de artigos pertencentes aos 10 artigos altamente citados para todas as universidades incluídas. Como mostra a Figura 3, a relação entre quantidade e qualidade/impacto também segue o padrão de “retornos positivos” ao nível das universidades e organizações públicas de pesquisa.

Figura 3: Relação entre o número de trabalhos por universidade e impacto em termos de artigos Top10%. Fonte: The Leiden ranking 2014.

Para concluir, o que vimos é que, em geral, há um retorno de qualidade positivo do aumento da produtividade. Um número maior de documentos resulta em números ainda maiores de artigos citados. Em outras palavras, estimular a produção de artigos importa e parece ser um incentivo positivo e não negativo aos pesquisadores. Sendo assim, os níveis de produção devem ser levados em consideração na avaliação de pesquisadores e organizações. Isso, é claro, não implica que a produção seja o único critério de avaliação relevante; mas que é relevante parece indiscutível.

Este post de blog é baseado no artigo dos autores, “Quantity and/or Quality? The Importance of Publishing Many Papers”², publicado no PLoS ONE (DOI: 10.1371/journal.pone.0166149).

Nota dos autores: Este artigo reflete as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja a nossa política de comentários³ se você tiver alguma dúvida ao postar um comentário.

Notas

1. CWTS Leiden Ranking 2014 [online]. CWTS Leiden Ranking. 2014 [viewed 23 January 2018]. Available from: http://www.leidenranking.com/ranking/2014

2. VAN DEN BESSELAAR,P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149

3. Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 23 January 2018]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/

Referências

Comments Policy [online]. LSE Impact of Social Sciences blog. [viewed 23 January 2018]. Available from: http://blogs.lse.ac.uk/impactofsocialsciences/comments-policy/

CWTS Leiden Ranking 2014 [online]. CWTS Leiden Ranking. 2014 [viewed 23 January 2018]. Available from: http://www.leidenranking.com/ranking/2014

SIMONTON, D.K. Creativity in Science: Chance, Logic, Genius, and Zeitgeist. Cambridge: Cambridge University Press, 2004

VAN DEN BESSELAAR, P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149

Artigo original em inglês

http://blogs.lse.ac.uk/impactofsocialsciences/2018/01/23/quantity-does-matter-as-citation-impact-increases-with-productivity/

Traduzido do original em inglês por Lilian Nassi-Calò.