Artículo investiga: ¿su trabajo más citado es su mejor trabajo?

Por Lilian Nassi-Caló

Foto: marco.arnhold.

En un post publicado recientemente en este blog¹, se analizó un estudio que propone una división taxonómica de motivos para citar publicaciones en artículos científicos. Los autores sugieren que los motivos más variados que los autores tienen para citar esta o aquella publicación pueden, independientemente del área de conocimiento, ser agrupados en cuatro categorías principales y algunas subcategorías.

En los últimos años se viene observando innumerables críticas a la utilización de indicadores de impacto basados en citaciones para evaluar investigadores, proyectos de investigación, contratación y promoción en la carrera. Las limitaciones del Factor de Impacto son innumerables y hoy día existen métricas alternativas a nivel del artículo más completas y fiables que toman en cuenta las descargas, el compartir en las redes sociales y la cobertura en los medios impresos y online.

Sin embargo, hace cerca de medio siglo que la cienciometría viene usando en gran medida las métricas basadas en citaciones. Brasil, cuyas revistas indexadas en el JournalCitationReports representan el 1% del total de este índice, basa su sistema de evaluación de la producción científica de sus programas de posgrado principalmente en el Factor de Impacto medido en base al Web of Science (Thomson Reuters).

Dos artículos publicados en la edición de esta semana en la Nature abordan citaciones y el impacto científico. El primero de ellos, de autoría de Richard Van Noorden y colaboradores² analiza los 100 artículos más citados de todos los tiempos en la base ScienceCitationIndex (Web of Science, Thomson Reuters), en lo referente a su contribución a la ciencia. El número de citaciones de estos 100 artículos varía de 305 mil a 12 mil y su análisis revela que buena parte de estos artículos altamente citados se refieren a técnicas biológicas y bioquímicas, dos de las cuales resultaron en premios Nobel. También están presentes en la lista top-100 artículos de bioinformática, filogenética (estudio de las relaciones evolutivas entre las especies), estadísticas, teoría de la densidad funcional (el estudio mediante software del comportamiento de los electrones de un determinado material, que permite prever sus propiedades), y cristalografía. Es de destacar, sin embargo, que un artículo que relata una verdadera innovación del conocimiento, tal vez el mayor del siglo XX en el área de bioquímica, como es el caso del descubrimiento por Watson y Crick³ de la estructura de la doble hélice del ADN en 1953, que resultó en el premio Nobel, recibió relativamente pocas citas – cerca de 5 mil. Otro ejemplo es el artículo de Farman, Gardiner y Shalin⁴ que relata el descubrimiento del hueco en la capa de ozono de 1985, que recibió apenas 1.871 citas.

El segundo artículo, de la autoría de John Ioannides y colaboradores⁵ relata un estudio que consistió en entrevistar los autores más productivos en las ciencias biomédicas para relacionar sus diez artículos más citados en seis aspectos. Con eso, los autores se propusieron responder a preguntas como: ¿serán los artículos más citados los más importantes? ¿La ciencia progresa principalmente a través de la evolución o de la revolución?¿Serán estos procesos mutuamente excluyentes o complementarios y cual de esos se refleja más en el alto índice de citaciones? ¿Serán los resultados más sorprendentes los más difíciles de publicar? El estudio trae muchas conclusiones interesantes, sin embargo, en vez de responder las preguntas, trae todavía más cuestionamientos.

La metodología de investigación consistió en enviar a los 400 autores más citados en el área de cencías biomédicas en el período de 1996-2011 cuestionarios con preguntas sobre su punto de vista de sus 10 artículos publicados entre 2005-2008 más citados, y se les solicito a los investigadores que relacionaran estos artículos en seis dimensiones, atribuyendo puntajes entre 0 y 100, de acuerdo a su influencia e impacto. El período restringido de publicación previene el sesgo de que artículos muy citados y antiguos se convierten en estereotipos y, frecuentemente son tratados como canónicos, y que los trabajos más recientes no han tenido tiempo de acumular suficientes citaciones.

Cerca de un tercio de los investigadores – 123 de ellos – respondieron al cuestionario, relacionando 1.214 artículos en el total. El cuestionario solicitaba a los autores relacionar sus trabajos en seis categorías: Progreso Continuo, Interés General y Síntesis Relevante – fueron catalogadas como Medidas de Evolución; las categorías Innovación Turbulenta y Sorpresa – fueron catalogadas como Medidas de Revolución; Dificultad de Publicación no se clasificó en ninguna categoría, pero sobre todo mostró correlaciones con medidas de Revolución.

Los investigadores tendieron a clasificar sus artículos más influyentes en las tres primeras categorías, y a los artículos con menos citaciones en las tres últimas categorías. Para la mayoría de ellos, los artículos más influyentes fueron fácilmente publicados, salvo algunas excepciones. La media y mediana de las puntuaciones auto atribuidas por los autores se situó en alrededor de 50 para las tres primeras categorías, y de 20 a 40 para las tres últimas.

Apenas 20 investigadores (16%) indicaron que su publicación más relevante publicada en 2005-2008 estaba entre sus 10 artículos más citados. Estos 20 artículos, sin embargo, todavía se sitúan entre los artículoscitados en el período. Cincuenta y dos artículos fueron evaluados por al menos dos autores, indicando coautoría. Hubo concordancia entre la categoría en la que el artículo fue clasificado por dos coautores y el valor de puntuación anotado por ambos entre 74% a 86% en las seis dimensiones, sin embargo hay que considerar el tamaño limitado de la muestra.

Los autores del estudio esperaban que los artículos fueran autoevaluados como siendo de carácter evolutivo o revolucionario, pero no ambos. Eso no está totalmente de acuerdo con los resultados de la investigación, dado que hubo una fuerte correlación entre las puntuaciones de la categoría Interés General y Medidas de Revolución y Evolución.

El estudio presenta limitaciones, en la opinión de sus autores. En primer lugar, apenas 30% de los autores respondieron la investigación, y los demás podrían haber dado mayores puntajes para Medidas de Revolución o Evolución. En segundo lugar, el período limitado de la publicaciónescogido para dar uniformidad a los datos. En tercer lugar, el hecho de que los autores pueden evaluar su propio trabajo más positivamente que los otros. Un cuarto factor es que la muestra está compuesta por los investigadores cuyos trabajos ya fueron ampliamente aceptados (y citados). Otros investigadores con ideas innovadoras que no hubieran sido muy aceptadas no están incluidos en este grupo. Los autores creen que entre trabajos medianamente citados la marca de evolución sería más frecuente.

La investigación reportada por Ioannidis y colaboradores reafirma la riqueza de información que está contenida en el análisis de citasy cuánto queda por estudiar de la cienciometría. Los autores especulan: ¿cómo identificar precozmente un artículo innovador? ¿Este tipo de artículo tiene conexiones entre áreas del conocimiento que no son hechas normalmente, o son citados por trabajos de áreas menos afines? Estas y muchas otras preguntas emergen de este estudio. Según sus autores, una forma de responderlas sería analizar los trabajos que citan los artículos más citados o evaluar el perfil de los artículos medianamente citados. Sin embargo, los autores tienen razón en un hecho: es necesario recurrir a otros índices además de las métricas basadas en citaciones para complementar la evaluación de la ciencia.

Notas

¹Estudio propone una taxonomía de razones para citar artículos en publicaciones científicas. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2014/11/07/estudio-propone-una-taxonomia-de-razones-para-citar-articulos-en-publicaciones-cientificas/

² VAN NOORDEN, R., and MAHER, B.N.R. The top 100 papers. Nature. 2014, vol. 514, nº 7524, pp. 550-553. DOI: 10.1038/514550a. Available from: http://www.nature.com/news/the-top-100-papers-1.16224

³WATSON, J.D., and CRICK, F.H.C. Molecular Structure of Nucleic Acids: A Structure for Deoxyribose Nucleic Acid. Nature. 1953, vol. 171, nº 4356, pp. 737-738. DOI: 10.1038/171737a0. Available from: http://www.nature.com/nature/journal/v171/n4356/pdf/171737a0.pdf

⁴FARMAN, J.C., GARDINER, B.G., and SHANKLIN, J.D. Large losses of total ozone in Antarctica reveal seasonal ClOx/NOx interaction. Nature. 1985, vol. 315, pp. 207-10. DOI: 10.1038/315207a0. Available from: http://www.nature.com/nature/journal/v315/n6016/pdf/315207a0.pdf

⁵ IOANNIDIS, J.P.A., et al. Bibliometrics: Is your most cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561-562. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess

Referencias

¿Publicar o perecer? El aumento del autor fraccionario… – Publicado originalmente en la newsletter Elsevier “ResearchTrendsIssue 38″. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2014/10/02/publicar-o-perecer-el-aumento-del-autor-fraccionario-publicado-originalmente-en-la-newsletter-elsevier-research-trends-issue-38/

Altmetrics, Altmétricas, Altmetrías: nuevas perspectivas sobre la visibilidad y el impacto de la investigación científica. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2013/08/14/altmetrics-altmetricas-altmetrias-nuevas-perspectivas-sobre-la-visibilidad-y-el-impacto-de-la-investigacion-cientifica/

Declaración recomienda eliminar el uso del Factor de Impacto en la evaluación de la Investigación. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2013/07/16/declaracion-recomienda-eliminar-el-uso-del-factor-de-impacto-en-la-evaluacion-de-la-investigacion/

Descargas de artículos: un indicador alternativo del impacto de la investigación nacional y el intercambio intersectorial de conocimientos – Publicado originalmente en la newsletterElsevier “ResearchTrendsIssue 36″. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2014/03/24/descargas-de-articulos-un-indicador-alternativo-del-impacto-de-la-investigacion-nacional-y-el-intercambio-intersectorial-de-conocimientos-publicado-originalmente-en-la-newsletter-elsevier-reseatc/

El ascenso de los otros: el creciente impacto de las revistas non-elite – Publicado originalmente en el Blog Google Scholar el 08 de octubre 2014. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2014/10/13/el-ascenso-de-los-otros-el-creciente-impacto-de-las-revistas-non-elite-publicado-originalmente-en-el-blog-google-scholar-el-08-de-octubre-2014/

Entrevista con Vincent Larivière. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2013/08/16/entrevista-con-vincent-lariviere/

IOANNIDIS, J.P.A., et al. Supplementary information to: Is your most-cited work your best? Nature. 2014, vol. 514, nº 7524, pp. 561–562. DOI: 10.1038/514561a. Available from: http://www.nature.com/polopoly_fs/7.21252.1414578313!/suppinfoFile/514561a_s1.pdf

Qué nos pueden dar las “métricas alternativas” o altmetrías. SciELO en Perspectiva. [viewed 01 November 2014]. Available from: http://blog.scielo.org/es/2014/08/07/que-nos-pueden-dar-las-metricas-alternativas-o-altmetrias/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del orginal en portugués por Ernesto Spinak.