Polémico artículo en Science expone debilidades en la revisión por pares en una serie de revistas de acceso abierto

Motivado por una experiencia personal del comportamiento poco ortodoxo de la editorial Scientific & Academic Publishing Co. (SAP) en 2012 respecto a la cobranza de la tasa de publicación de un artículo de una investigadora de Nigeria, el biólogo y periodista científico John Bohannon presentó 304 versiones diferentes entre sí de un artículo científico ficticio, firmado por un autor que no existe, de una institución también ficticia, a un conjunto seleccionado de revistas que publican en Acceso Abierto (AA) en la modalidad dorada, con cobranza de la tasa de publicación (article processing charge). En 157 de ellos, el trabajo, que contenía errores primarios, conceptuales y de interpretación, fue aceptado para su publicación, lo que revela el interés económico por encima de todo. Estas revistas tienen direcciones de las editoriales en varios países, pero las de India representan un tercio. En Brasil, Genetics and Molecular Research, publicada por la Fundación para la Investigación Científica de Ribeirão Preto, e indexada en la Web of Science, Scopus y JCR cayó en la trampa. Algunas de las principales editoriales comerciales, como las publicaciones de Elsevier también aceptaron el estudio ficticio. Noventa y ocho revistas, sin embargo, también rechazaron rápidamente el artículo.

El trabajo relata cómo surgió la idea, la forma de cómo crear diferentes versiones del artículo y la elección de las revistas a las que se presentaron los artículos, así como los resultados del “experimento” fue publicado en la prestigiosa revista Science¹ el 04 de octubre.

Bohannon se refiere a su trabajo en Science como un “aguijón” (sting) al AA. Sin embargo, al igual que su artículo de ficción, que contiene defectos metodológicos y condiciones desiguales en los experimentos con las sustancias ensayadas y los controles, así también lo es su trabajo. El autor no aplica la estrategia a un grupo de control, que en este caso, estaría formado por revistas no AA. Por lo tanto, la pregunta que permanece, sin embargo, sin respuesta es: ¿cómo se comportarían las revistas no AA frente un artículo ficticio de esta naturaleza? Otra cuestión es que Bohannon sólo seleccionó revistas que cobran por el acceso abierto y muchos de ellas han sido identificadas como “depredadores”. Sin embargo, el número de revistas en acceso abierto que no cobran es muy grande.

Michel Eisen, biólogo de la Universidad de California en Berkeley e investigador del Instituto Médico Howard Hughes, sin embargo, llama la atención en su blog a un trabajo escrito por Wolfe -Simon et al. publicado en Science en 2011, que describe la presencia de bacterias usando arsénico en lugar de fósforo en la composición de su ADN (uno de los cinco elementos que constituyen la macromolécula). El trabajo, que presenta los experimentos, al menos cuestionable, para proponer una teoría que afecta a ” la comprensión de la ciencia sobre el origen de la vida en la Tierra”, y temas relacionados con la evolución, fue aceptado para su publicación después de pasar el supuesto cuidadoso proceso de revisión por pares la revista. Así Eisen demuestra que la precariedad del modelo de revisión por pares no se limita al universo de revistas AA, sino que alcanza también a las revistas reconocidas de alto impacto. Su explicación para el hecho de que este artículo haya sido aceptado es el hecho de que propone un tema bastante innovador y atractivo.

Desde la fecha de publicación en Science, decenas de blogs científicos y legos, periódicos y revistas, y las redes sociales de todo el mundo informaron y/o comentaron sobre los resultados del estudio. Algunos estaban de acuerdo con la existencia de un claro vínculo entre el acceso abierto y la falta de revisión por pares, o la mala calidad de las publicaciones. Hay, sin embargo, hay varios aspectos que cuestionan la generalización de las conclusiones del autor, que se destacan en la mayoría de los comentarios que este artículo recibió – y ha recibido desde su publicación. En este post vamos a examinar algunos de ellos.

La idea

El autor relata cómo surgió la iniciativa de presentar un artículo ficticio con numerosos defectos evidentes a un gran número de revistas AA. Una investigadora de Nigeria trató de publicar un artículo sobre el vector de la fiebre del Nilo y otros patógenos en la revista AA Public Health Research pensando que era una publicación sin costo alguno para el autor, cuya página Web no mencionaba las tasas. Una vez aceptado el artículo, sin embargo, le cobraron una tasa de US$ 150, esto ya descontado el 50% debido tratarse de un autor basado en Nigeria. Evitando las dificultades inherentes a un país africano en efectuar las remesas en moneda extranjera, gracias a la intervención de un colega en los Estados Unidos, que hizo el pago (en esta fase, ya reducido a $ 90), se publicó su trabajo.

Este asunto llevó a Bohannon a investigar sobre SAP, editor de Public Health Research, donde descubrió una serie de irregularidades como el plagio, cuerpo editorial y dirección ficticias, y la decisión de enviar un artículo para una revista de SAP, y para trazar un panorama completo, “para replicar el experimento a través de todo el universo de acceso abierto.”

La metodología

La fuente de revistas AA utilizada por el autor fue el Directory of Open Access Journals (DOAJ), así como la lista de publishers² que adoptan prácticas poco éticas, llamadas “depredadoras”, según el científico de la información en la Universidad de Colorado, Jeffrey Beall, curador la lista. Cruzando ambas listas de revistas en las áreas de química, biología o medicina y la eliminación de aquellas publicadas en otros idiomas aparte del inglés, resultaron 304 revistas.

Para crear cientos de diferentes versiones de un mismo artículo, “científico”, el autor partió de la siguiente premisa: La molécula X del liquen de la especie Y inhibe el crecimiento de células de cáncer Z. Para crear los trabajos, se creó una base de datos de moléculas, líquenes y las líneas celulares y un programa informático que permitía generar cientos de trabajos “originales” a partir de la combinación entre las variables. Los nombres de los autores ficticios también se asociaron con instituciones ficticias en África, a través de un programa que permitía el intercambio de nombres y apellidos de las personas de este continente, o prefijos y sufijos para generar los nombres de las instituciones.

La sesión de la metodología de los artículos así generados contenía errores graves, así como el análisis de los resultados, a partir de los cuales sería imposible concluir que la molécula X de hecho inhibe el crecimiento de las células transformadas en cultivo. Más grave, sin embargo, es la conclusión final del artículo, de que “la molécula X es un nuevo fármaco prometedor contra el cáncer”, basado en pocos experimentos, no concluyentes, sin mencionar siquiera la necesidad de ensayos clínicos. El trazo final del fraude fue hacer el inglés nativo del autor más imperfecto, a través de la traducción y traducción inversa al francés por Google Translate.

Los resultados

Entre enero y agosto de 2013, el autor presentó una decena de trabajos por semana: un artículo para cada revista para cada editor. Inicialmente, el autor eligió revistas que cobraban solamente tasas para la publicación, en el caso que se acepta el artículo, y por último, revistas que aplicaban tasas por envío de artículos. Si el artículo era rechazado, se terminaba el proceso para esa revista. Si se enviaban comentarios de revisores y solicitase modificaciones, el autor enviaba algunas fotos de los líquenes, mayores detalles de la metodología, mejor formato, sin alterar ninguna de las deficiencias más graves del artículo. Si se aceptaba el artículo, la revista recibía un mensaje estándar en el que los autores informaban que habían, por desgracia, detectado una falla en los experimentos que invalidaban los resultados, y solicitaban retirar el trabajo presentado.

El autor llega a la conclusión de que existen muchas revistas sólo para recaudar dinero de los autores en forma de “tasa de publicación de acceso abierto” o para supuestamente financiar el trabajo de edición y revisión del artículo. Muchas revistas llamadas “American Journal X” en realidad tienen sus editoriales operando en China, India y Pakistán, y sus editores redactan mensajes a los autores en un inglés bastante precario.

El análisis

Hasta la fecha de publicación del artículo en Science, 157 revistas habían aceptado el trabajo y 98 lo habían rechazado. De los 49 restantes, 29 al parecer habían sido abandonados por sus editores, que no respondieron a los correos electrónicos o no tenían direcciones válidas en los lugares de operación que informaban. Otros 20 editores informaron a los autores ficticios que sus artículos todavía se encontraban en proceso de revisión, y también fueron retirados de este análisis. El plazo para la aceptación de los trabajos fue en promedio de 40 días, y para el rechazo, 24 días.

De los 255 trabajos (157 aceptados + 98 rechazados) que pasaron por todo el proceso editorial, aproximadamente el 60% parece no haber pasado por ninguna revisión por pares. Este número es positivo desde el punto de vista de los rechazos, pero desde el punto de vista de los trabajos aceptados significa que alguien los juzgó aptos para su publicación sin ni siquiera leerlos.

El tipo de revisión solicitado por las 106 revistas que lo hicieron está centrado, básicamente, en formato, diseño y redacción del idioma. De éstos, el 70% acabaron por aceptar los artículos. Sólo 36 de las 304 presentaciones generaron comentarios que llevaban cuenta de los graves defectos metodológicos de los artículos. Sin embargo así, 16 de estos artículos fueron aceptados a pesar de las revisiones superficiales realizadas por los autores, cuando fueron pedidas por los revisores.

La lista Beall fue bastante precisa para la detección de los editores de bajo control de calidad o “depredadores”. Entre las editoriales que completaron el proceso de revisión, el 82% aceptó los trabajos. El resultado sorprendente está en DOAJ: de los editores que completaron el proceso de revisión, el 45% aceptó el artículo ficticio.

Editores de renombre, como Elsevier, que publica la revista AA Drug Intervention Today, también cayeron en la trampa, porque aceptó el artículo de Bohannon. Su Vice-Presidente, sin embargo, dijo que la revista no pertenece a la editorial, que sólo publica, pero no actúa en el proceso editorial. Otras editoriales de renombre como Wolters Kluwer, que publica la revista Journal of Natural Pharmaceuticals, que aceptó el artículo ficticio, se retractó públicamente y cerró la publicación.

El autor, sin embargo, consultó con científicos de renombre que tienen aprecio por el AA. Están de acuerdo en que el modelo de publicación per se no debe hacerse responsable de la mala calidad del trabajo sugerido por Science. “Si el experimento se hubiera hecho con revistas de suscripción, probablemente el resultado sería el mismo”, dijo David Roos, de la Universidad de Pennsylvania. Todos son de la opinión, sin embargo, que es necesario asegurarse que las revistas científicas honren sus obligaciones de ejercer un control más estricto de lo que publican.

Comentarios sobre el artículo en los medios de comunicación científica y en general

Peter Suber’s Google Plus

https://plus.google.com/u/0/109377556796183035206/posts/CRHeCAtQqGq

Para Peter Suber, uno de los partidarios más comprometidos y respetados del libre acceso desde su creación en la década de 2000, Bohannon mostró defectos en algunas revistas AA, pero éstas no representan una muestra significativa de la categoría, ni que son mejores o peores que las revistas no AA. Tampoco que el problema de revistas científicas de baja calidad se limita a AA, o que sean más deshonestas.

En opinión de Suber, el artículo de Science es positivo por exponer las malas revistas AA y alertar a los autores a no enviar sus artículos a ellas. Por otro lado, tiene un efecto perjudicial sobre la percepción general de AA, llevando a muchos a creer que todas estas revistas son de mala calidad – o deshonestas. De hecho, el artículo sugiere que la mayoría de ellas cobra tasas de publicación, lo que no es correcto, porque la mayoría de ellas no cobran ninguna tasa, según el DOAJ. Bohannon dice Suber, no es responsable de la evaluación errónea de que las revistas AA son de mala calidad, pero la forma en que llega a conclusiones en su artículo corrobora esta apreciación falsa.

Open Access Scholarly Publishers Association (OASPA)

http://oaspa.org/response-to-the-recent-article-in-science/

OASPA publicó en su blog un comunicado en referencia al artículo publicado por Bohannon, que señala los defectos más graves de éste y enumera los hechos que buscan restaurar la credibilidad del AA, que fue rasguñada por la práctica antiética de algunos editores – pero no la mayoría.

Al igual que otros bloggers y periodistas, OASPA apunta a la mayor limitación del experimento que es la falta de un grupo control, y la selección no aleatoria de revistas a las que el artículo ficticio fue enviado. La Asociación reafirma su compromiso con la conducta ética de los editores afiliados e informa que el incumplimiento de los mismos puede ser motivo de desafiliación. Sin embargo, la Asociación mantiene claro el mensaje más importante del trabajo de Bohannon, que consiste en identificar, junto a la comunidad académica, formas nuevas y eficaces para identificar revistas y editores fiables, independientemente de su modelo de negocio.

Retraction Watch

http://retractionwatch.wordpress.com/2013/10/03/science-reporter-spoofs-hundreds-of-journals-with-a-fake-paper/

Los autores del blog (Adam Markus e Iván Oransky) critican el “experimento” de Bohannon por la falta de un grupo control, en el caso representados por revistas por suscripción, que tradicionalmente se conocen por el cuidadoso proceso que llevan de revisión por pares. A esta crítica Bohannon contrapone que en esas revistas puede tomar muchos meses o años en la revisión de un artículo y que sería difícil obtener una muestra significativa en el período de tiempo comparable de las revistas AA. Los autores también mencionan que una revista no-AA de Elsevier, Applied Mathematics Letters publicaron una serie de artículos que no tenían absoluto sentido matemáticamente. El e-mail del autor correspondiente era también una provocación (ohm@budweiser.com), pero pasó inadvertido.

Inside Higher Education

http://www.insidehighered.com/news/2013/10/04/open-access-journals-confuse-contributors-they-experiment-peer-review-models

Carl Straumsheim analiza el experimento publicado en Science con un ojo crítico y se posiciona desde el punto de vista del autor. Cita ejemplos de procesos de revisión por pares en estudio en el área de las humanidades y concluye que no hay solamente un modelo de evaluación. Muchas revistas en ciernes se encuentran presionadas entre llevar a cabo una evaluación exhaustiva y responder a los autores en tiempo oportuno. Los revisores que producen buenas evaluaciones son difíciles de contratar, teniendo en cuenta que su arduo trabajo consume tiempo, es gratuito y no recibe el reconocimiento proporcional. Los editores de la revista AA Journal of Digital Humanities defienden la propuesta de un proceso de revisión de pares abiertos, donde “la publicación, las críticas y los debates pueden ocurrir en el mismo espacio.” Sin embargo, los editores creen que se necesitan más experimentos para probar su validez. Después de todo, los editores de revistas AA están buscando un proceso de evaluación que garantice la diversidad y la calidad de los artículos.

Doubtful News

http://doubtfulnews.com/2013/10/the-slums-of-scientific-peer-review/

Sharon Hill insiste en el hecho de que muchas de las revistas AA están destinadas exclusivamente a cobrar tasas de publicación de autores que tienen aceptados sus trabajos. El estudio de Science también mostró que la revista AA más prestigiosa, PLoS ONE, pasó la prueba recusando el trabajo de Bohannon. PLoS ONE se puede considerar como la Science del acceso abierto por su prestigio y credibilidad.

Hill admite, sin embargo, que el proceso de revisión por pares del AA recibió un duro golpe y necesita restaurar su credibilidad, sin embargo, sin presentar opciones sobre la forma de hacerlo.

Science Blogs – Pharyngula

http://scienceblogs.com/pharyngula/2013/10/04/stones-glass-houses-etc/

P.Z.Meyers analiza el trabajo de Bohannon desde el punto de vista que muchas revistas que aceptaron los trabajos generados por el computador, son apenas un grupo de personas, un computador y un sitio en Internet con un titulo atractivo, decididos a cobrar tasas de publicación. Se trata de un fraude perfectamente legal y cuanto más artículos fuesen aceptados, mejor.

Es injusto, sin embargo, culpar al AA por el problema, ya que el 40% de las revistas rechazó el artículo, al igual que la revista PLoS ONE. Meyers también llama la atención sobre el hecho de que carecía de un grupo de control de la “experiencia” de Bohannon, que habría sido las revistas de suscripción. El autor del blog concuerda en que hay numerosos problemas en relación con la publicación científica, sin embargo, estos no se refieren al AA. En su opinión, “hay una excesiva proliferación de revistas científicas, falta de rigor en la evaluación de artículos científicos y de una comunidad que genera unidades mínimamente publicables de protocolos rutinarios en experimentos aburridos.”

The Guardian Higher Education Network

http://www.theguardian.com/higher-education-network/blog/2013/oct/04/science-hoax-peer-review-open-access

De acuerdo a Curt Rice, el artículo de Science “no apunta a la verdadera crisis de la publicación académica – el colapso de la revisión por pares”.

De manera general, la revisión por pares es un proceso tomado muy en serio por los investigadores. Sin embargo, debido a la presión que sufren por publicar, ya que depende de eso sus proyecciones en su carrera, trabajos de mala calidad escapan al control y son publicados.

Rice cita el caso del investigador D. Stapel de la Universidad de Tilburg, en Holanda, que publicó 55 artículos basados en datos fraguados en revistas renombradas, incluida Science.

De acuerdo a Rice, Bohannon apunta a la crisis en la ciencia, pero ésta no está restringida al universo de las revistas AA. Lo que está en crisis es el sistema de revisión por pares y – es necesario resaltar – son las revistas AA las que están liderando el desarrollo de nuevos abordajes en esta etapa del proceso editorial.

Rice destaca también que el 65% de las revistas listadas en DOAJ no cobran ninguna tasa de publicación, pues son mantenidas por universidades o sociedades científicas, aunque reconoce que el cobro de tasas puede fomentar la corrupción.

Al igual que otros autores, éste también defiende el proyecto de evaluación por pares abierto como alternativa, usando el potencial de Internet como plataforma de comunicación científica en la actualidad.

Scholarly Open Access

http://scholarlyoa.com/2013/10/03/science/#more-2386

El blog es de la autoría de Jeffrey Beall, el autor de la lista de publishers² que adoptan prácticas antiéticas usada por Bohannon en su artículo en Science.

Beall escribió el post en su blog el día antes de la fecha en que se publicó el artículo de Science, relatando los detalles del trabajo. Señala que a pesar de que Bohannon retiraba el trabajo cuando había sido aceptado por una revista alegando haber detectado errores en los experimentos, cuatro de ellas publicaron el artículo. Los editores de las cuatro revistas aparecen en la lista Beall, lo que da credibilidad a la misma. “Yo sabía hace mucho tiempo que los editores depredadores están corrompiendo el AA, aceptando trabajos indignos de ser etiquetados de científicos, alcanzando a investigadores, la ciencia y la comunicación científica. Me alegro de que la investigación publicada en Science ha confirmado eso “, dijo Beall.

Real Clear Science

http://www.realclearscience.com/blog/2013/10/spoof-paper-accepted-to-157-open-access-journals.html

“Acceso Abierto. ‘Publicación para todos! -Buena idea, ¿no? ¡Sí! Y no… ”

Ross Pomeroy señala al modelo de publicación de AA, en la que el autor paga para tener su artículo disponible a todos, como responsable de la baja selectividad de las revistas que adoptan esta modalidad.

Mientras que Nature rechaza el 90% de los artículos presentados, la editorial AA suiza Frontiers rechaza sólo el 20% de los artículos presentados. No hay ninguna razón para suponer que una revista publicada por Frontiers, considerada una de los mejores editoriales de AA haya caído en la trampa ideada por Bohannon. De hecho la revista Frontiers in Pharmacology of Anti-Cancer Drugs rechazó el artículo.

Pomeroy también pone de relieve el hecho de que PLoS ONE habría rechazado el artículo, reiterando su reputación de conducir un cuidadoso proceso de revisión por pares. Lo mismo ocurrió con el editor Hindawi con sede en Egipto, que publica Chemotherapy Research and Practice.

El autor del blog considera el AA una idea válida y legítima. Sin embargo, afirma Pomeroy, “los editores de publicaciones periódicas AA deben atenerse a las estrictas normas de la ciencia en lugar de caer en la tentación del dinero fácil.”

Language Log

http://languagelog.ldc.upenn.edu/nll/?p=7584

Mark Liberman, a través del análisis del artículo de Bohannon en Science y los comentarios de Curt Rice³ en The Guardian, recuerda que Science es la “definición” de la revista por suscripción, que al igual que otros en esta categoría ha sufrido asedio moral y político debido a los recientes mandatos de los Estados Unidos y varios países europeos que determinan que los resultados de investigaciones financiadas con recursos públicos estén disponibles en AA. También hay que considerar que el costo del proceso editorial de las revistas AA es distinto de cero, y una manera de cubrir estos costos es mediante el cobro de tasas de publicación a los autores. Este modelo, sí, es propicio para el fraude y la extorsión, que deben ser frenados, pero no invalidan per se, el modelo de publicación en AA.

Las revistas por suscripción y sus editores, hay que señalar, también están motivados por los altos beneficios, según lo evidenciado por Elsevier y otros editores que ganan enormes beneficios en el trabajo gratuito de los editores científicos, autores y revisores.

Lieberman está de acuerdo con Rice, que el problema radica en el anticuado sistema de revisión por pares en vigor y termina concluyendo que: (1) el actual sistema de revisión por pares no impide la publicación de trabajos de mala calidad, incluso en revistas de renombre, (2) su lento procesamiento frena la innovación y el desarrollo de la ciencia, (3) la propuesta de evaluación después de la publicación puede convertirse en el estándar para exponer públicamente los comentarios del árbitro en una plataforma basada en la Web, y (4) el modelo de evaluación abierta puede evitar rivalidades, represalias y los sesgos que se producen silenciados por el anonimato. Sin embargo, Liberman señala, los científicos son conservadores por naturaleza, y es posible que se necesite un largo tiempo antes de que se apliquen los cambios.

Enlaces externos

Blog Michel Eisen – http://www.michaeleisen.org/blog/

DOAJ – http://www.doaj.org/

Notas

¹ Science

² Lista de publishers

³ Curt Rice

Referências

BOHANNON, J. Who’s Afraid of Peer Review? Science, Vol. 342, nº 6154, pp. 60-65. Available from: doi: 10.1126/science.342.6154.60.

WOLFE-SIMON, F. et al. A Bacterium That Can Grow by Using Arsenic Instead of Phosphorus. Science. 2010, Vol. 332, pp. 1163–1166 Available from: <http://www.sciencemag.org/content/332/6034/1163>.

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.