{"id":2223,"date":"2016-10-14T15:21:32","date_gmt":"2016-10-14T18:21:32","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=2223"},"modified":"2019-05-02T15:53:27","modified_gmt":"2019-05-02T18:53:27","slug":"es-posible-normalizar-las-metricas-de-citas","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2016\/10\/14\/es-posible-normalizar-las-metricas-de-citas\/","title":{"rendered":"\u00bfEs posible normalizar las m\u00e9tricas de citas?"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f2<\/strong><\/p>\n

\"Fotograf\u00eda:<\/a>

Fotograf\u00eda: antony_mayfield<\/a>.<\/p><\/div>\n

La evaluaci\u00f3n de la ciencia en general y del desempe\u00f1o de investigadores, revistas, instituciones y pa\u00edses, en particular, usa una variedad de indicadores bibliom\u00e9tricos. La mayor\u00eda de ellos est\u00e1 basada en citaciones, aunque recientemente, los indicadores que consideran la participaci\u00f3n en las redes sociales est\u00e1n ganando impulso y credibilidad por parte de la academia y la sociedad.<\/p>\n

La pr\u00e1ctica de citaci\u00f3n de art\u00edculos cient\u00edficos se ve influida por una serie de factores, y no se puede establecer una relaci\u00f3n directa e inequ\u00edvoca entre las citaciones y el m\u00e9rito cient\u00edfico, como ser\u00eda deseable. De hecho, los estudios indican que no siempre el art\u00edculo m\u00e1s citado de un autor representa su mejor trabajo, en su propia opini\u00f3n.<\/p>\n

Los indicadores bibliom\u00e9tricos representan, sin embargo, mucho m\u00e1s que una indicaci\u00f3n de la visibilidad, relevancia o impacto de art\u00edculos. Todo el perfil de la carrera de un investigador puede resumirse en uno o m\u00e1s indicadores num\u00e9ricos de productividad e impacto de la investigaci\u00f3n que produce. Promociones en la carrera, contratos, premios, obtenci\u00f3n de ayuda a la investigaci\u00f3n y reputaci\u00f3n pueden depender de indicadores como el \u00edndice h o del Factor de Impacto de las revistas donde public\u00f3, a pesar de que no se recomienda hacerlo, dadas las particularidades y las tendencias de estos indicadores, y seg\u00fan lo recomendado por varias declaraciones internacionales tales como el Manifiesto de Leiden1<\/sup> y la San Francisco Declaration on Research Assessment<\/em>2<\/sup>.<\/p>\n

Se sabe que las m\u00e9tricas de citaciones var\u00edan considerablemente con el \u00e1rea de conocimiento, la edad de la publicaci\u00f3n, el tipo de documento y la cobertura de la base de datos donde fueron registradas las citaciones. Un art\u00edculo de autor\u00eda de John Ioannidis, de la Universidad de Stanford, publicado en PloS Biology<\/em>3<\/sup> eval\u00faa los pros y contras de la normalizaci\u00f3n de m\u00e9tricas as\u00ed como los desaf\u00edos de este ejercicio de la bibliometr\u00eda, que debe llevarse a cabo no solo por expertos de esta ciencia, sino por todos los que participan en los procesos de evaluaci\u00f3n, y evidentemente los evaluados. En este post ser\u00e1n analizados los aspectos de la normalizaci\u00f3n de m\u00e9tricas que se plantean en el art\u00edculo referido.<\/p>\n

La influencia del \u00e1rea de conocimiento en el volumen de las citaciones parece intuitivo, pues no todas las disciplinas disponen de las mismas oportunidades de citaci\u00f3n. Se sabe que los art\u00edculos en ciencias sociales, ingenier\u00edas y humanidades atraen menos citaciones y estas tienen una vida media de citaci\u00f3n superior a las ciencias de la vida. Es por eso que consideran ventanas de 3 a 5 a\u00f1os para contar citaciones de art\u00edculos de estas \u00e1reas a diferencia de las ventanas de dos a\u00f1os m\u00e1s pertinentes para art\u00edculos de ciencias de la vida. Por otro lado, las revistas del \u00e1rea de la salud que cubren las ciencias m\u00e9dicas en general reciben m\u00e1s citaciones que las revistas dedicadas a especialidades. El mayor desaf\u00edo reside, sin embargo, en c\u00f3mo definir las disciplinas para la normalizaci\u00f3n, dado que ellas no son entidades aisladas, sino que se citan interdisciplinariamente. La definici\u00f3n de \u00e1reas de conocimiento puede ser hecha usando taxonom\u00edas de categor\u00edas de revistas o por an\u00e1lisis de citaciones. No existe un m\u00e9todo considerado ideal o preciso para la definici\u00f3n de disciplinas, ya que la selecci\u00f3n depender\u00e1 del intervalo de tiempo, de la base de datos usada para recopilar las citaciones y del tipo de art\u00edculo considerado, convirtiendo de esta forma, la normalizaci\u00f3n en una tarea bastante compleja.<\/p>\n

El a\u00f1o de publicaci\u00f3n \u2013 o la edad \u2013 del art\u00edculo, aparentemente, es un factor de f\u00e1cil estandarizaci\u00f3n. Los art\u00edculos publicados hace diez a\u00f1os tuvieron m\u00e1s tiempo para acumular citaciones que los art\u00edculos publicados hace apenas un a\u00f1o. Por lo tanto, ser\u00eda posible comparar solo art\u00edculos publicados en el mismo a\u00f1o, si no tomamos en cuenta la variaci\u00f3n del mes de publicaci\u00f3n. En este sentido, la publicaci\u00f3n continua de art\u00edculos, pr\u00e1ctica cada vez m\u00e1s adoptada por las revistas online, tiene a neutralizar este factor, pues permite exponer a los art\u00edculos a las citaciones en el momento de su aprobaci\u00f3n para publicaci\u00f3n.<\/p>\n

La normalizaci\u00f3n por tipo de documento trae muchos retos. Se sabe que los art\u00edculos de revisi\u00f3n atraen, en promedio, m\u00e1s citaciones que los art\u00edculos originales, y otros tipos como cartas al editor y editoriales no suelen atraer citaciones. Sin embargo, un editorial de inter\u00e9s puede generar un gran n\u00famero de citaciones, como ocurri\u00f3 con un editorial sobre la responsabilidad social corporativa en el mundo en desarrollo, publicada en la revista International Affairs<\/em>4<\/sup>. La publicaci\u00f3n de 2005 recibi\u00f3 667 citaciones seg\u00fan Google Scholar en 14 de octubre de 2016. Tambi\u00e9n hay que tener en cuenta que los art\u00edculos que traen ideas realmente innovadoras y tropiezan con evaluadores esc\u00e9pticos pueden ser mejor difundidos por medios de comunicaci\u00f3n no arbitrados, pasibles de citaci\u00f3n, o tambi\u00e9n en la forma de preprints<\/em>, sujetos a la evaluaci\u00f3n por pares post publicaci\u00f3n. La categorizaci\u00f3n de tipos de art\u00edculos, sin embargo puede no ser tan obvia como parece. Es prerrogativa de las revistas categorizar los art\u00edculos por tipo de publicaci\u00f3n y, en consecuencia, pueden ocurrir errores. El t\u00e9rmino \u201crevisi\u00f3n\u201d, incluye revisi\u00f3n no sistem\u00e1tica de especialistas, revisiones sistem\u00e1ticas, y meta an\u00e1lisis entre otros. Estos difieren ampliamente en cuanto a credibilidad, valor cient\u00edfico, contribuci\u00f3n al \u00e1rea y razones para ser citados. Muchos art\u00edculos de revisi\u00f3n merecen ser m\u00e1s citados pues tienen un considerable valor agregado. Penalizar estos art\u00edculos en una tentativa de normalizaci\u00f3n con los art\u00edculos originales parece injusto. Por otra parte, existen tambi\u00e9n revisiones de mala calidad, cuyas citaciones que reciben son apenas una medida de cu\u00e1nto perjudican a la ciencia.<\/p>\n

El an\u00e1lisis de citaciones depende fuertemente de la base bibliogr\u00e1fica usada para evaluarlas. Existen bases de datos especializadas en una determinada disciplina (PubMed, por ejemplo) y bases multidisciplinarias (Web of Science<\/em>, Scopus y Google Scholar, por ejemplo). Las dos primeras tiene controles que restringen lo que se indexa comparado con Google Scholar que es m\u00e1s exhaustivo, y tambi\u00e9n son m\u00e1s deficientes que el buscador acad\u00e9mico en la cobertura de las ciencias sociales y humanidades. As\u00ed, el \u00edndice h de un autor determinado, por ejemplo es generalmente m\u00e1s alto en Google Scholar que en las otras bases. En ese aspecto, una mayor cobertura de la base puede parecer deseable, sin embargo datos cient\u00edficamente irrelevantes pueden alterar los resultados y dificultar la normalizaci\u00f3n. Adem\u00e1s de la cobertura de datos, los reci\u00e9n creados repositorios de preprints<\/em> (bioRxiv<\/em>, PsyArXiv<\/em>, SocArXiv<\/em>, CheRxix<\/em>) inspirados en el repositorio pionero en f\u00edsica y matem\u00e1ticas \u2013 arXiv<\/em> \u2013 posiblemente competir\u00e1n en citaciones con las revistas, y ser\u00e1 necesario considerarlos en la normalizaci\u00f3n.<\/p>\n

Adem\u00e1s de los factores mencionados anteriormente, pueden considerarse otras variables en el proceso de normalizaci\u00f3n. Algunos \u00edndices de impacto \u2013 como el SCImago Journal Rank<\/em> (Scopus) y el Eigenfactor<\/em> (Web of Science<\/em>) ponderan las citaciones recibidas por el prestigio de la revista citante. \u00bfDeber\u00eda hacer lo mismo la normalizaci\u00f3n de citaciones? Otras cuestiones pertinentes se refieren a la frecuencia de la menci\u00f3n del trabajo por el art\u00edculo citante, y si se trata de una cr\u00edtica favorable o desfavorable. Aunque las citaciones negativas no son frecuentes, y dif\u00edciles de estimar \u2013 un art\u00edculo reciente5<\/sup> estima su frecuencia en cerca del 2% – en el \u00e1rea de ciencias sociales estas citaciones tienen cierta relevancia. Hay controversias tambi\u00e9n sobre c\u00f3mo tratar con las autocitas en las diferentes \u00e1reas.<\/p>\n

Dos iniciativas que tienen como objetivo la normalizaci\u00f3n de citaciones fueron comparadas por los autores del estudio en relaci\u00f3n de factores espec\u00edficos. Esto son el m\u00e9todo Relative Citation Ratio<\/em> (RCR)6<\/sup> y el sistema de producci\u00f3n cient\u00edfica utilizado en el ranking universitario desarrollado por la Universidad de Leiden, en Holanda. Ambos sistemas, en la evaluaci\u00f3n de Ioannidis y colaboradores, realizan correcciones en los siguientes dominios: definici\u00f3n y caracterizaci\u00f3n del \u00e1rea de conocimiento; edad de la publicaci\u00f3n y tipo de documento. Por otra parte, los sistemas no ajustan las citaciones por fuente de citaci\u00f3n; lugar de la citaci\u00f3n en la fuente citante; multiplicidad de referencias en la fuente citante y contexto de la citaci\u00f3n (citaci\u00f3n concordante o negativa). Los autores alertan, sin embargo, que esos ajustes o su ausencia no implican necesariamente una mayor validez de los resultados del an\u00e1lisis de citaciones, pero simplemente reflejan los criterios de los respectivos sistemas. Algunos aspectos controvertidos todav\u00eda merecen atenci\u00f3n, como la m\u00faltiple autor\u00eda de art\u00edculos y la dificultad en atribuir el debido cr\u00e9dito a cada autor. Algunos enfoques para este tipo de correcciones fueron citados en el art\u00edculo.<\/p>\n

En cuanto a los factores a considerar en la normalizaci\u00f3n de m\u00e9tricas de citaci\u00f3n tal vez surjan m\u00e1s dudas que certezas. Es importante recordar que es del inter\u00e9s de todos los involucrados en alguna forma con la evaluaci\u00f3n de la ciencia tratar de comprender su significado y la aplicabilidad en las diferentes situaciones.<\/p>\n

Notas<\/h3>\n

1. Can we implement the Leiden Manifesto principles in our daily work with research indicators?<\/em> Leiden Manifesto. Available from: http:\/\/www.leidenmanifesto.org\/blog<\/a><\/p>\n

2. Declaration on Research Assessment<\/em>. Available from: http:\/\/am.ascb.org\/dora\/<\/a><\/p>\n

3. IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol.<\/em> 2016, vol. 14, n\u00ba 9, e1002542. DOI: 10.1371\/journal.pbio.1002542<\/a><\/span>.<\/p>\n

4. BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff.<\/em> 2005, vol. 81, n\u00ba 3, pp. 499-513. DOI: 10.1111\/j.1468-2346.2005.00465.x<\/a><\/span><\/p>\n

5. BALL, P. Science papers rarely cited in negative ways. Nature<\/em>. 2015. DOI: 10.1038\/nature.2015.18643<\/a><\/span><\/p>\n

6. HUTCHINS, B.I., et al<\/em>. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol<\/em>. 2016, vol. 14, n\u00ba 9, e1002541. DOI: 10.1371\/journal.pbio.1002541<\/a><\/span><\/p>\n

Referencias<\/h3>\n

BALL, P. Science papers rarely cited in negative ways. Nature<\/em>. 2015. DOI: 10.1038\/nature.2015.18643<\/a><\/span><\/p>\n

BLOWFIELD, M. and FRYNAS, J.G. Setting new agendas: critical perspectives on Corporate Social Responsibility in the developing world. Int. Aff.<\/em> 2005, vol. 81, n\u00ba 3, pp. 499-513. DOI: 10.1111\/j.1468-2346.2005.00465.x<\/a><\/span><\/p>\n

Can we implement the Leiden Manifesto principles in our daily work with research indicators?<\/em> Leiden Manifesto. Available from: http:\/\/www.leidenmanifesto.org\/blog<\/a><\/p>\n

Declaration on Research Assessment<\/em>. Available from: http:\/\/am.ascb.org\/dora\/<\/a><\/p>\n

HUTCHINS, B.I., et al<\/em>. Relative citation ratio (RCR): a new metric that uses citation rates to measure influence at the article level. PLoS Biol<\/em>. 2016, vol. 14, n\u00ba 9, e1002541. DOI: 10.1371\/journal.pbio.1002541<\/a><\/span><\/p>\n

IOANNIDIS, J.P.A., BOYACK, K. and WOUTERS, P.F. Citation Metrics: A Primer on How (Not) to Normalize. PLoS Biol.<\/em> 2016, vol. 14, n\u00ba 9, e1002542. DOI: 10.1371\/journal.pbio.1002542<\/a><\/span>.<\/p>\n

IOANNIDIS, J.P.A., et al<\/em>. Bibliometrics: Is your most cited work your best? Nature<\/em>. 2014, vol. 514, n\u00ba 7524, pp. 561-562. DOI: 10.1038\/514561a<\/a><\/span>. Available from: http:\/\/www.nature.com\/news\/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess<\/a><\/p>\n

NASSI-CAL\u00d2, L. Art\u00edculo investiga: \u00bfsu trabajo m\u00e1s citado es su mejor trabajo?.<\/em> SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http:\/\/blog.scielo.org\/es\/2014\/11\/24\/articulo-investiga-su-trabajo-mas-citado-es-su-mejor-trabajo\/<\/a><\/p>\n

NASSI-CAL\u00d2, L. Estudio propone una taxonom\u00eda de razones para citar art\u00edculos en publicaciones cient\u00edficas<\/em>. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http:\/\/blog.scielo.org\/es\/2014\/11\/07\/estudio-propone-una-taxonomia-de-razones-para-citar-articulos-en-publicaciones-cientificas\/<\/a><\/p>\n

NASSI-CAL\u00d2, L. Declaraci\u00f3n recomienda eliminar el uso del Factor de Impacto en la evaluaci\u00f3n de la Investigaci\u00f3n<\/em>. SciELO en Perspectiva. [viewed\u00a025 September 2016]. Available from: http:\/\/blog.scielo.org\/es\/2013\/07\/16\/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion\/<\/a><\/p>\n

SPINAK, E. Qu\u00e9 nos pueden dar las \u201cm\u00e9tricas alternativas\u201d o altmetr\u00edas<\/em>. SciELO en Perspectiva. [viewed 25 September 2016]. Available from: http:\/\/blog.scielo.org\/es\/2014\/08\/07\/que-nos-pueden-dar-las-metricas-alternativas-o-altmetrias\/<\/a><\/p>\n

Enlace externo<\/h3>\n

Leiden Ranking – <http:\/\/www.leidenranking.com\/<\/a>><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

Los indicadores bibliom\u00e9tricos representan mucho m\u00e1s que una indicaci\u00f3n de la visibilidad, relevancia e impacto de un art\u00edculo. Todo el perfil de la carrera de un investigador puede ser resumido en uno o m\u00e1s indicadores num\u00e9ricos de productividad e impacto de la investigaci\u00f3n que produce. Sin embargo, las m\u00e9tricas de citas var\u00edan considerablemente con el \u00e1rea del conocimiento, la edad de la publicaci\u00f3n, el tipo de documento y la cobertura de la bases de datos donde fueron registradas las citaciones. \u00bfEs posible normalizarlas? Vea aqu\u00ed los desaf\u00edos de esta pr\u00e1ctica. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":2228,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[30,29,7,40],"class_list":["post-2223","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-altmetria","tag-bibliometria","tag-comunicacion-cientifica","tag-evaluacion-de-la-ciencia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2223","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/22"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=2223"}],"version-history":[{"count":4,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2223\/revisions"}],"predecessor-version":[{"id":3320,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2223\/revisions\/3320"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/2228"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=2223"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=2223"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=2223"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}