Impacto según Nature: comentarios al número especial 502 (7471) 17 oct. 2013

Foto: Pete Prodoehl

“Impacto: la búsqueda de la ciencia que realmente importa” es la idea fuerza de este número especial de Nature, donde se analiza en seis artículos escritos por periodistas e investigadores si los sistemas actuales de evaluación de la ciencia realmente seleccionan las investigaciones más influyentes y de mayor beneficio a la sociedad quien la financia con sus impuestos.

Se destacan en el análisis tres líneas principales de argumentos:

• El factor de impacto (FI) medido por citaciones funciona pero no es suficiente. En otras palabras, el FI de las revistas medido por citaciones sigue siendo un criterio relevante para  las agencias de evaluación de desempeño en investigación que usan en todos los países del mundo que se hacen evaluaciones, pero hay consenso en que existen muchas facetas que escapan a este paradigma “matemáticamente objetivo”;
• Las agencias que financian las investigaciones están comenzando a incorporar en los procedimientos de evaluación de instituciones y proyectos, otras dimensiones alternativas a la importancia de las revistas que publican los resultados. Sin desconocer estas medidas objetivas y la importancia que tienen en las carreras profesionales de los investigadores, comienzan a evaluar el “impacto social” de lo que estas agencias financian. Esta orientación está en línea con la “corrección política” que usan las empresas industriales y comerciales llamado “compromiso social”, que entienden que al estar inmersas en una sociedad y para ser aceptadas en la opinión pública, deben demostrar que lo que hacen realmente es necesario, útil y aplicable a las personas comunes y corrientes que pagan los impuestos.
• Si bien las publicaciones en Acceso Abierto (AA) están llegando al 50% de lo que se publica, el acceso a las bases de citaciones, y la información “cienciométrica” no está igualmente disponible en forma abierta, pues más del 95% de esta información está restringida por suscripciones a dos proveedores comerciales: Thomson Reuters y Elsevier. Se presentan proyectos en desarrollo para lograr el acceso abierto a las citaciones, lo que incluye una tarea pendiente: cómo citar trabajos que no son propiamente los clásicos papers, sino que son videos, slides de microscopía, series de datos meteorológicos, el genoma, etc.

El presente número que llamaremos “Impacto según Nature”, comienza con un editorial¹ donde se admite que los evaluadores están comenzando a comprender que la metodología convencional que usan: (1) métricas de citaciones; (2) FI de las revistas; y/o (3) opiniones de colegas; son elementos necesarios pero no suficientes, sino que deberían incorporarse otras facetas que incluyan, entre otras dimensiones, las que apunta la nueva “altmetría”. Esto significa que se debería medir la importancia más allá del ámbito académico, deben incluirse las consecuencias de la investigación en los tomadores de decisiones políticas, en salud, y los efectos en la industria, la economía y los actores sociales. Las métricas convencionales no deben seguirse usándose a ciegas y en forma inconsistente, pues terminarían poniendo en riesgo el prestigio mismo de los evaluadores

El desafío entonces es encontrar un equilibrio entre estas dimensiones de la evaluación. Si se enfatiza la publicación en revistas de alto FI, esto hará que los científicos se sientan excesivamente presionados para publicar de modo de avanzar en su carrera. En cambio si se enfatizan los impactos económicos y sociales entonces desviarán su tiempo de las actividades propiamente académicas e investigación hacia los laberintos burocráticos y legales de hacer patentes o generar empresas de producción derivadas de la investigación. Es importante entonces que los evaluadores tengan procedimientos claros, transparentes y métodos explícitos sobre la medición del impacto.

“El día del juicio²” (para las universidades) es el artículo que sigue al editorial. Informa que desde fines de los 80’s (primero en UK y en USA) los gobiernos iniciaron programas de evaluación sistemáticas de sus universidades, lo que luego fue seguido por Australia, Alemania, Italia, etc, con similares metodologías y experiencias. Si bien estas evaluaciones han ayudado a mejorar los sistemas nacionales de investigación, aumentando la participación de sus países en los índices de citaciones, los resultados de estos ejercicios de enormes esfuerzos de evaluación y los resultados en función de los costos-beneficios hacen surgir críticas a nivel de los investigadores, los administradores de universidades y líderes de educación.

La eventualidad de que algunos investigadores llegan a publicar en las revistas de mayor prestigio, que los incluye en una especie de “The Golden Club³”, si bien les abre puertas en sus carreras profesionales, es puesta en discusión. Una de las razones de esta crítica es que hay una producción creciente de trabajos a nivel mundial que no es publicada en las revistas “estrellas”, como Science, Cell y Nature. Si bien la cantidad de trabajos enviados a estas revistas ha crecido un poco más de 40% en los últimos 16 años (y aumentado la tasa de rechazo) a nivel mundial la presentación de trabajos ha crecido en un 86%. Esto sugiere que los investigadores se están dirigiendo a otra parte para publicar. Aunque estas revistas “top” publican cada año más trabajos altamente citados, este crecimiento no se mantiene al mismo paso del resto de la industria, pues el porcentaje del total de trabajos altamente citados en esas revistas viene declinando, a favor de otras revistas, muchas de las cuales son AA.

Las prácticas de investigación sufren debido a que los datos de citaciones no son de acceso abierto⁴, lo que nos lleva al cuarto artículo de Nature. En la era del acceso libre es paradójico que las citas de las revistas principales, que son el núcleo de las evaluaciones académicas, no estén disponibles en forma abierta. Incluso, las citaciones de las revistas de AA no están disponibles debido a que no hay instituciones que las recopilen y las organicen de una manera utilizable.

Los análisis de citaciones terminan siempre en los dos proveedores comerciales WoS y Scopus, y los términos de las licencias con las que se contratan los servicios establecen impedimentos para divulgar los datos de citaciones de sus investigaciones.

Existen varios recursos abiertos de citaciones. Los dos principales son CiteSeerX, primariamente en ciencias de la computación, CitEc en economía; (años atrás existió una base de citaciones llamada Citebase, pero lamentablemente quedó fuera de servicio). Por este motivo, el autor del artículo que comentamos, presenta Open Citations Corpus (OCC), un proyecto de recursos de citaciones en acceso abierto en fase piloto por los pasados dos años.

Si sumamos las referencias disponibles en esos servicios mencionados, y sumamos las referencias disponibles en PubMed y en OCC, en total cubren apenas un 4% de los 50 millones (estimados) de referencias bibliográficas existentes a artículos de revistas y libros. Existe por cierto mucha información a otro tipo de literatura de años recientes en Scholar Google y Microsoft Academic Search, pero sus resultados están sujetos a varias críticas entre las que se incluye la falta de consistencia de los resultados consultando en el mismo buscador en días diferentes.

OCC ha establecido convenios con varias de las editoriales de revistas más importantes del mundo (comerciales y de acceso abierto) para que en el futuro puedan recolectarse los datos de las referencias bibliográficas, que al igual que los resúmenes, estarán disponibles en acceso abierto. Las referencias serán recopiladas (harvested) en forma central desde CrossRef, por lo que los editores deberán publicar sus artículos con DOI como participantes en el servicio CitedBy Linking, con la única condición de que los editores darán su consentimiento incluyendo un nuevo metadato a tales efectos.

Una vez que las citaciones estén disponibles en forma abierta, podrán construirse servicios para generar las métricas deseadas, incluyendo un servicio que permita la corrección de referencias erróneas por parte de los interesados.

Las referencias bibliográficas no han muerto, todo lo contrario, están creciendo de tal manera que cubren todo el espectro de la investigación, desde las líneas de código de software hasta los fotogramas de video. Esto es el tema del siguiente artículo de Nature “Referencing: The reuse factor⁵”.

Estamos ingresando a la edad de la reutilización. Los investigadores y evaluadores se esfuerzan para encontrar maneras de manipular adecuadamente las citas de los resultados de investigaciones publicadas, porque es la manera en que formalmente se da crédito a la investigación, pero … existe una mayor cantidad de datos científicos publicados en otra forma, como las secuencias genéticas, data sets en economía, meteorología, ensayos clínicos sin resultados significativos, etc.

Esta información está siendo recopilada, por ejemplo, en Dryad Digital Repository y Gen Bank, o también Figshare. Nada de esta información surge del WoS o Scopus. En este escenario es que se presenta el proyecto Research Data Alliance (RDA) creada en agosto de 2012, por varias agencias de EUA, Europa y Australia. El objetivo de RDA es acelerar y facilitar el intercambio de datos entre diferentes disciplinas que disponen de resultados no convencionales y requieren ser citados por mandato de las agencias de financiación. Ejemplos de datos no convencionales a citarse, podrían ser filas de hojas de cálculo, secuencias de imágenes en un video, y estas referencias no deberían quedar perdidas dentro de las citas del artículo a publicar.

El surgimiento de un gran número de citaciones con crecimiento exponencial, dando crédito a una gran variedad de resultados en diferentes formas no será el fin de la citación bibliográfica convencional, por supuesto que no, pero será el declive de la medida clásica del impacto contabilizando solamente las citaciones de un trabajo escrito.

Por último, el artículo Impact: Pack a punch⁶, cierra la reflexión indicando que los revisores y evaluadores de fondos de investigación deberán enfocarse en forma creciente en el impacto social de las propuestas de proyectos de investigación científica.

Las entidades públicas y privadas alrededor del mundo deberán redefinir el concepto de impacto, y los tipos de impacto, porque los diferentes grupos de interés varían ampliamente a lo largo y ancho de la humanidad, sea en la salud, los laboratorios, la economía, la educación y cualquier otro grupo en la sociedad.

Enlaces externos

CiteSeerX – http://citeseerx.ist.psu.edu/index

CitEc – http://citec.repec.org/

Open Citations Corpus – http://opencitations.net/

PubMed – http://www.ncbi.nlm.nih.gov/pubmed

Google Scholar – http://scholar.google.com.br/

Microsoft Academic Search – http://academic.research.microsoft.com/

CrossRef – http://www.crossref.org/

CitedBy Linking – http://www.crossref.org/citedby/index.html

Dryad Digital Repository – http://datadryad.org/

Gen Bank – http://www.ncbi.nlm.nih.gov/genbank/

Figshare – http://figshare.com/

Research Data Alliance – https://rd-alliance.org/

Research evaluation: Impact – http://www.nature.com/news/research-evaluation-impact-1.13949

Notas

¹ The maze of impact metrics

² Research assessments: Judgement day

³ Science publishing: The golden club

⁴ Publishing: Open citations

⁵ Referencing: The reuse factor

⁶ Impact: Pack a punch

Referencia

Nature: Impact, 2013, vol. 502, nº 7471, pp. 271-402. Available from: <http://www.nature.com/nature/journal/v502/n7471/>.

Sobre Ernesto Spinak

Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconomía,  con  Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestría en “Sociedad de la Información” por la Universidad Oberta de Catalunya, Barcelona – España.  Actualmente tiene una empresa de consultoría que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de información.