Quantidade importa na medida em que o impacto da citação aumenta com a produtividade [Publicado originalmente no blog LSE Impact of Social Sciences em Janeiro/2018]
Parece óbvio que a ciência é principalmente qualidade, não quantidade. Como consequência, os processos de avaliação não levam em consideração a produtividade, com a atual tendência de limitar o número de publicações a ser considerado por pesquisador. Desta forma, um painel pode avaliar a qualidade sem ser confrontado com listas de publicações enormes que seriam impraticáveis de avaliar. Assim, os acadêmicos podem ser encorajados a se concentrar na qualidade, não na quantidade. De fato, desta perspectiva, a qualidade e a quantidade são características opostas da atividade de pesquisa, e focar a quantidade não é apenas um erro, mas também teria efeitos perversos, pois reduziria a qualidade do trabalho. No entanto, estas ideias podem ser equivocadas. Nosso entendimento, desenvolvido em um recente artigo em PLoS ONE, é que existe uma relação positiva e mais forte que linear entre produtividade e qualidade (em termos dos artigos mais citados).
A Figura 1 mostra as várias relações possíveis entre “qualidade” e “quantidade” que podem existir: (i) pode haver um “limite superior de impacto”, o que significa que após um certo número de artigos o número de artigos altamente citados se estabiliza; poderia haver (ii) diminuição; (iii) manutenção; ou mesmo (iv) aumento dos “retornos de impacto” da produtividade; e, finalmente, (v) “pouco pode ser desejável”, no sentido de que o número de artigos de alto impacto diminui quando os autores se tornam muito produtivos, substituindo quantidade por qualidade. O bom é que isso pode ser verificado empiricamente.
Figura 1: Possíveis cenários da relação entre quantidade e qualidade. Nota: eixo-x: número de artigos; eixo-y: impacto de citação
Mostramos nossas descobertas por disciplina, apresentadas da mesma forma que as possíveis relações acima. Utilizamos um conjunto de dados desambiguados de mais de 40.000 pesquisadores suecos (2008-2011). Para cada pesquisador, calculamos o número total de publicações (normalizado por disciplina e contados fracionadamente) e também o número destas publicações que figuram nos artigos mais altamente citados (2,5%). A Figura 2 mostra os resultados: nas ciências naturais e engenharia, nas ciências da vida e da medicina e na psicologia e educação, encontramos o padrão de “aumento de retorno”. Na agricultura, biologia, estudos ambientais e geografia, o padrão “constante” predomina. Nas ciências sociais, o padrão (ligeiramente) de “diminuição de retorno” parece dominar; enquanto que o padrão de “limite superior do impacto” foi encontrado para ciência da computação e matemática e para as humanidades.
Figura 2: Relação real entre quantidade e qualidade com base em dados suecos 2008-2011 por área de disciplina. Nota: eixo-x: número de artigos; eixo-y: impacto de citação (eixo esquerdo – ciências médicas e naturais; eixo direito – ciências humanas e sociais). Fonte: Web of Science Online.
Curiosamente, o padrão “pouco é desejável” não ocorre. A questão permanece quanto ao motivo pelo qual o padrão nas ciências da computação e nas ciências humanas é tão diferente daquele de outras disciplinas. Isso provavelmente está relacionado à natureza destas disciplinas, que, mais do que em outros lugares, tem várias audiências além dos pares científicos. Sugerimos que os autores prolíficos das ciências da computação e das humanidades se mobilizem para escrever mais para outras partes interessadas além dos pesquisadores, uma vez que sua produção acadêmica está acima de um patamar (razoavelmente alto). No entanto, para resolver isso, seria necessário pesquisar mais.
Como podemos explicar os padrões que encontramos? Em primeiro lugar, a pesquisa mostra que os acadêmicos são geralmente altamente motivados e comprometidos, portanto, não há boas razões para supor que eles tentariam maximizar a produção em detrimento da qualidade. Em segundo lugar, as teorias de criatividade científica sugerem o contrário: quanto mais criativa é a pessoa, quanto mais ideias novas alguém gera, mais potencial e (como nossos resultados sugerem) mais documentos produzidos pelo pesquisador. É claro que nem todas as ideias são boas ideias, mas quanto mais ideias se tem, maior a probabilidade de que algumas sejam boas. Trata-se de tentar, experimentar, aprender: quanto mais se faz, melhor se torna, na média.
Este efeito de tamanho também se mantém a nível organizacional, algo que não abordamos no artigo do PLoS ONE, mas testamos depois que um avaliador reivindicou o oposto: “o ranking CWTS Leiden, por exemplo, não mostra esta relação linear, como os autores afirmam, entre o número de trabalhos produzidos por uma universidade e a porcentagem de trabalhos altamente citados produzidos por esta universidade”. Nós testámos isso usando o Leiden Ranking 20141, que detalha o número de artigos e a quantidade de artigos pertencentes aos 10 artigos altamente citados para todas as universidades incluídas. Como mostra a Figura 3, a relação entre quantidade e qualidade/impacto também segue o padrão de “retornos positivos” ao nível das universidades e organizações públicas de pesquisa.
Figura 3: Relação entre o número de trabalhos por universidade e impacto em termos de artigos Top10%. Fonte: The Leiden ranking 2014.
Para concluir, o que vimos é que, em geral, há um retorno de qualidade positivo do aumento da produtividade. Um número maior de documentos resulta em números ainda maiores de artigos citados. Em outras palavras, estimular a produção de artigos importa e parece ser um incentivo positivo e não negativo aos pesquisadores. Sendo assim, os níveis de produção devem ser levados em consideração na avaliação de pesquisadores e organizações. Isso, é claro, não implica que a produção seja o único critério de avaliação relevante; mas que é relevante parece indiscutível.
Este post de blog é baseado no artigo dos autores, “Quantity and/or Quality? The Importance of Publishing Many Papers”2, publicado no PLoS ONE (DOI: 10.1371/journal.pone.0166149).
Nota dos autores: Este artigo reflete as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja a nossa política de comentários3 se você tiver alguma dúvida ao postar um comentário.
2. VAN DEN BESSELAAR,P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149
SIMONTON, D.K. Creativity in Science: Chance, Logic, Genius, and Zeitgeist. Cambridge: Cambridge University Press, 2004
VAN DEN BESSELAAR, P. and SANDSTRÖM, U. Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE [online]. 2016, vol. 11, no. 11, e0166149, ISSN: 1932-6203 [viewed 23 January 2018]. DOI: 10.1371/journal.pone.0166149. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149
VAN DEN BESSELAAR, P. and SANDSTRÖM, U. Quantidade importa na medida em que o impacto da citação aumenta com a produtividade [Publicado originalmente no blog LSE Impact of Social Sciences em Janeiro/2018] [online]. SciELO em Perspectiva, 2018 [viewed ]. Available from: https://blog.scielo.org/blog/2018/01/31/quantidade-importa-na-medida-em-que-o-impacto-da-citacao-aumenta-com-a-produtividade/
One Thought on “Quantidade importa na medida em que o impacto da citação aumenta com a produtividade [Publicado originalmente no blog LSE Impact of Social Sciences em Janeiro/2018]”
Figura 1: Possíveis cenários da relação entre quantidade e qualidade. Nota: eixo-x: número de artigos; eixo-y: impacto de citação
Figura 2: Relação real entre quantidade e qualidade com base em dados suecos 2008-2011 por área de disciplina. Nota: eixo-x: número de artigos; eixo-y: impacto de citação (eixo esquerdo – ciências médicas e naturais; eixo direito – ciências humanas e sociais). Fonte: Web of Science Online.
Figura 3: Relação entre o número de trabalhos por universidade e impacto em termos de artigos Top10%. Fonte: The Leiden ranking 2014.
Pingback: Boletim de Notícias: Justiça manda Embrapa reintegrar pesquisador demitido | Direto da Ciência