Entrevista con Euan Adie, CEO de altmetric.com

Euan Adie

La aparición de un nuevo concepto suele generar muchas preguntas – y es el caso de la Altmetría.  ¿Qué significa el término Altmetría? ¿Estos nuevos indicadores tratan de suplantar o solo complementar los indicadores bibliométricos clásicos basados en las citas? ¿En qué cambia la forma de entender el impacto de la investigación en las universidades y en la sociedad? ¿Cuál es el uso de estos nuevos indicadores? ¿Cómo se expresa la preocupación o la necesidad de selectividad en la composición de estas medidas? ¿Qué controles o mecanismos correctivos adopta la altmetría para hacer frente a manipulaciones? ¿Cómo son percibidas por los sistemas de evaluación de investigación o por las agencias de financiación de la investigación?

En esta entrevista exclusiva, Euan Adie – CEO de la empresa altmetric.com, responde a éstas y otras preguntas en el blog público SciELO en Perspectiva, que mantiene su compromiso de llevar a sus lectores las discusiones que se libran en todo el mundo en relación con las nuevas posibilidades de evaluación de la investigación científica, abriendo nuevos horizontes para su impacto y alcance.

1. Para empezar, ¿podría contarnos acerca de la aparición del concepto de Altmetría, y por qué este nombre en particular?

¡Por supuesto! El ‘alt’ se refiere a la alternativa: una alternativa para el contar sólo las citas para uso como indicadores. Altmetría se refiere esencialmente a adoptar una visión más amplia de los resultados e impactos.

Parte de la producción científica se refiere a la obtención de crédito por cosas tales como hablar en una conferencia, o contribuir a una base de datos o producir uno software. La parte de impacto es acerca de reconocer que la investigación académica influye en diferentes grupos en toda clase de formas que no son capturadas solamente por citaciones.

Hay un montón de otras fuentes de datos potencialmente interesantes, como medios de comunicación o menciones en las redes sociales, blogs, gestores de referencias, documentos de políticas, y las cuentas de descargas: ¿por qué no estamos haciendo, como productores y consumidores de la investigación, un mejor uso de ellas?

Un tipo específico de altmetría es la métrica a nivel de artículo: estas son las métricas para un tipo de producción (artículos) y el tipo de datos que usted puede ver en los sitios de los editores.

2. ¿Pretenden los indicadores alternativos suplantar o simplemente complementar los indicadores bibliométricos clásicos basados ​​en citaciones?

Esta es una buena pregunta. Las citas siguen siendo una medida muy importante – y altmetría es más bien complementaria que un reemplazo de ellas – pero sólo miden una cosa, y es que otro académico encontró el artículo útil en su propio trabajo. Esto ignora otras formas de impacto, ya sea clínico, económico o de cualquier otro público.

Dicho esto, en la comunidad de altmetría hay un amplio apoyo que sugiere que altmetría podría ser una alternativa al uso del factor de impacto (FI) en las áreas en que el FI no es adecuado (y hay un montón de ellas).

Un punto clave a destacar es que la altmetría no mide la calidad, de la misma manera que las citas no miden la calidad. La gente puede citar su trabajo porque es terrible. Si lo que necesita saber es qué tan bueno es un trabajo, entonces debería leerlo! O conseguir expertos que lo lean para usted: bases de datos tales como F1000¹ o la colección de Biblioteca Cochrane² son interesantes en este sentido.

3. La siguiente declaración hecha por Ian Mulvany de el periódico científico eLife³ acerca del Explorador Altmetric desarrollado por su empresa aparece en el sitio Web altmetric.com:

“Explorador Altmetric tiene el potencial de cambiar la forma de entender el impacto que tiene la investigación en el mundo académico y lo más importante el impacto más amplio que tiene en la sociedad.”

¿Podría comentar sobre la forma en que va a cambiar nuestra comprensión del impacto que la investigación tiene en el mundo académico y en la sociedad?

Sí, esto es menos acerca de los números y más acerca de la aparición de la información a la que de otra manera los financiadores y los autores nunca estarían expuestos.

Digamos que yo escribo un artículo sobre las mejores maneras de cuidar a los niños autistas en una sala de hospitalización pediátrica. Esto podría tener un impacto en la manera en que los pediatras y enfermeras practiquen y mejoren la calidad de la atención a cientos de niños: pero nunca lo sabría sólo por la cuenta de citas. Yo podría investigar una enfermedad rara; mi grupo de pares es pequeño, pero tiene un impacto importante en las personas y familias que lidian con esta enfermedad. Yo podría haber escrito un documento que tenga mucho interés por parte de ciertas partes de la población – lo vemos mucho con, por ejemplo, el interés de Japón en la investigación sobre los efectos de la radiación ionizante en la salud (después de Fukushima …)

La altmetría no garantiza que usted va a ver la evidencia de cualquiera de los apartados anteriores. Sin embargo sí permite esa posibilidad, mientras que las citas no – sólo van a reflejar el impacto entre las personas que escriben artículos. Debemos estar abiertos a la evidencia de que un documento ha llegado a la audiencia correcta, venga de donde venga, ya sea un hilo de Reddit⁴ , el blog de una enfermera, o de un artículo de una revista.

Es un poco difícil juzgar qué es significativo e importante y qué no lo es.

4. Los servicios altmetric.com que operan a nivel de artículo pueden ser adquiridos por los individuos. ¿Qué usos están haciendo los investigadores de estos indicadores? ¿Cree usted que la altmetría encontrará su camino en los currículos de los investigadores?

¡Sí! Aunque creo que la evidencia por ahora es anecdótica y no como indicadores duros – es posible descubrir y señalar en su CV que sus trabajos han sido recogidos por x medios de comunicación incluyendo el New York Times, y blogs, incluyendo el más conocido en su campo, etc.

Vemos también gente tuiteando mucho sobre la puntuación relativa (en la parte superior x% de los artículos más relevantes ).

No tanto “me tuitearon veinte veces!” o “Tengo una puntuación altmétrica de catorce!” – Esto no significa tanto. Es importante que las personas tengan el contexto para todos los números.

La mayoría de los usos que vemos son de autores que buscan en sus documentos propios, en lugar de los lectores que utilizan la altmetría, digamos por el contexto o el descubrimiento.

5. ¿Puede la métrica a nivel de artículo extenderse para ser aplicada a nivel de revista? ¿Cuál es su experiencia? ¿Tiene conocimiento de algún estudio que examine la correlación entre la altmetría y el Factor de Impacto de las revistas? ¿Está pensando en trabajar con la altmetría a nivel de revista?

Nos han preguntado acerca de esto algunas veces, pero creo que es algo por lo que tendríamos que ver una mayor demanda por los usuarios finales. En un artículo es bastante fácil de profundizar en los datos y tener una idea de por qué ha estado recibiendo atención; es mucho más difícil hacer esto para una revista por lo que tendrían que tomarse los números en su valor nominal, lo que no es necesariamente una buena cosa.

No he visto ningún estudio formal correlacionando altmetrías y el FI, pero si nos fijamos en los datos a simple vista las principales revistas según la altmetría son similares a las principales revistas de FI: Nature, Science, The Lancet, y así sucesivamente. Esto es en parte debido a que estas revistas tienen un alcance mucho más amplio que otros títulos por lo que el trabajo se expone a más gente, por lo que es natural que se vaya a poner más atención.

Las diferencias son interesantes. Vemos un montón de atención en torno a PLoS One, y alrededor de preprints en algunas áreas (especialmente la física, donde hay un montón de murmullo en torno a artículos en arXiv).

6. En lo que se refiere a su empresa altmetric.com ¿la recolección de datos relacionados con el artículo dependen de tener el consentimiento de los editores para hacer esto? ¿Cómo se asegura altmetric.com que se han identificado todas las conversaciones relacionadas con un artículo en particular?

No, hacemos un seguimiento de tantos editores como sea posible. Creo que tienes que hacer esto para poder poner los números en el contexto apropiado. Volviendo al ejemplo “me tuitearon veinte veces!” lo que realmente importa es ser capaz de decir “me tuitearon veinte veces! – la mayoría de los trabajos en mi campo sólo son tuiteados dos veces.”

Sin duda nos perdemos cosas. Uno de los sesgos con los que actualmente estamos luchando es que tomamos un montón de información desde Europa, Norteamérica y Japón, pero no mucho de América del Sur o del resto de Asia. Tenemos un montón de comentarios de los autores que nos dicen que hemos perdido un post de blog o una página en particular, esto es muy útil, ya que mejora el servicio para todo el mundo.

7. Métricas basadas en citas bibliográficas se publican los índices multidisciplinarios internacionales como WoS, Scopus, Google Scholar y, regionalmente, por SciELO. Estos índices limitan la cobertura de las revistas debido a los criterios de selección que han establecido. En el caso de altmetric.com y la altmetría en general, ¿de qué manera hay una preocupación o necesidad de selectividad?

Nosotros registramos alegremente la mayoría de las cosas, pero la selectividad viene cuando estamos eligiendo lo que se debe usar para los cálculos en contexto o para mostrarle a los usuarios finales. Nuestra preocupación aquí tiene que ver con los editores pícaros que de pronto tratan de jugar con el sistema para que sus revistas se vean bien.

Ciertamente no se aplican algunos criterios como la antigüedad. Hacemos un seguimiento de revistas desde que se acaban de lanzar – no hay necesidad de esperar durante dieciocho meses para ver ingresando las primeras citas.

8. ¿Sabe usted si la altmetría se está utilizando en los sistemas de evaluación de la investigación por las instituciones o por los organismos que financian la investigación?

Claro, hemos hablado con muchos y tenemos dos como clientes. En cada caso estamos en los primeros días y no creo que en ninguna parte se esté mirando a un amplio espectro de altmetría sistemáticamente (aunque algunos pueden estar utilizando, por ejemplo, informes F1000).

El tipo de uso que oímos hablar se centra más en torno a los datos reales recogidos – los tuits, las noticias, etc – y no sólo los números. Por ejemplo, un donante puede mirar a los tuits de un departamento del gobierno o de las ONG como prueba de que un artículo que han financiado ha llegado a la audiencia correcta.

9. Algunos indicadores bibliométricos como el Factor de Impacto están sujetos a manipulaciones para aumentar su valor. Algunas de estas manipulaciones son bastante aceptables, mientras que otras van de dudosas hasta completamente inaceptables. ¿Qué control y/o mecanismos de corrección tiene la altmetría por ejemplo, para hacer frente a los robots sociales?

¡Nos hacen mucho esta pregunta! Y con razón. Vemos este tipo de manipulaciones todo el tiempo, pero, curiosamente, por lo general estos juegos no se hacen por sí, no se están haciendo para inflar las puntuaciones o la posición de nadie. En cambio esto es una consecuencia de cómo los spammers trabajan en la Web o en las redes sociales: para hacer que sus cuentos parezcan legítimos ellos replican el contenido de las cuentas al azar y, a veces, esas cuentas pertenecen a los científicos.

A veces escuchamos las críticas señalando que se puede pedir a diez amigos tuitear su artículo para obtener mejor altmetría – no estamos en absoluto preocupados con este tipo de cosas, en la medida que a mí respecta eso es atención legítima.

Más allá de esa escala nosotros (y el resto de la comunidad de altmetría ) tomamos las cosas más en serio. Utilizamos una combinación de métodos automatizados y manuales para marcar y luego hacer frente a la manipulación. Una de las cosas buenas de tener una gran base de datos y el espectro de las diferentes fuentes de datos, es que podemos construir una buena visión de los tipos de patrones de atención que se esperan y cuáles son inusuales en alguna manera.

10. Un artículo publicado en el número del 9 de agosto de la revista Science concluye que los sistemas de clasificación están influenciados socialmente en el sentido de que las nuevas calificaciones son influenciadas por las anteriores, por lo que las métricas relacionadas pueden estar sesgadas. ¿Cuál es su opinión sobre este informe?

Creo que es un gran estudio, y sospecho que el hallazgo es cierto en muchos otros ámbitos. Simplemente está buscando a Reddit (o algo muy parecido a Reddit), aunque es difícil generalizar.

La motivación para votar varía mucho de un sitio a otro, de hecho, incluso dentro del mismo sitio. A veces las votaciones son públicas, a veces privadas. A veces los usuarios se identifican fuertemente con otras personas o grupos en el sitio, a veces no lo hacen.

En Reddit quizá estoy votando para indicar que he encontrado un enlace interesante. En Twitter si retuiteo a alguien podría ser porque lo quiero compartir más ampliamente, o porque me hace ver bien de alguna manera (la gente tuitea cosas que no han leído, al igual que citan documentos que no han leído). Si destaco algo podría ser porque me gustó, pero también porque quiero guardarlo para leer más tarde, o para dar a quien lo escribió una palmada de aprobación virtual.

Esta es la fuerza y ​​la debilidad de la altmetría… por un lado, tienes un montón de diferentes medidas para elegir y es indicativo de una amplia gama de diferentes tipos de atención. La desventaja es que se necesita mucha información acerca de dónde vienen los datos y lo que significan. Esto es en parte por qué nos aferramos a medir la atención – que es bastante no controversial y fácil de entender – el opuesto de la calidad.

Notas:

1 Faculty of 1000 (F1000): publicación online lanzada en 2002 para evaluar a cualidad de los artículos científicos en la área Biomédica con base en la opinión de especialistas:  http://f1000.com/.

2 Biblioteca Cochrane: colección de revisiones sistemáticas de ensayos controlados aleatorios de intervenciones médicas, con el objetivo de divulgar sus resultados y conclusiones – http://cochrane.bireme.br/portal/php/index.php.

3 eLife: revista  científico revisada por pares, de acceso abierto, de las áreas de Ciencias Biomédicas y de la Vida – http://www.elifesciences.org/.

4 Reddit: Sitio de publicaciones sociales donde los usuarios pueden divulgar enlaces para contenidos en la Web – http://www.pt.reddit.com/.