La apertura es la única cualidad de un artículo académico que puede ser medido objetivamente

Por Jan Velterop

Fotografía: Brad Hagan.

La calidad a menudo parece ser la primera cosa en los labios de los científicos cuando se habla de los artículos en las revistas académicas. He escrito sobre esto antes en este blog¹. En muchos casos – mi impresión es la mayoría –, el título de la revista en que se publica el artículo sirve como proxy de la calidad. Sin embargo, siempre falta una clara definición de lo que constituye calidad. El factor de impacto de la revista (JIF) es el indicador más usado de la calidad de los artículos publicados en la revista en cuestión.

Esto es problemático. Ha sido problemático durante mucho tiempo, por supuesto. Sin embargo, la San Francisco Declaration on Research Assessment (DORA²), que recomienda “no usar indicadores basados en la revista, tales como el Factor de Impacto de la Revista, como una medida sustitutiva de la calidad de los artículos individuales de investigación, para evaluar las contribuciones de científicos individuales, o en la contratación, promoción, o decisiones de financiamiento”, ha sido firmado por solo 840 instituciones (abril de 2017) de un estimado de más de 25.000 en todo el mundo. Las revistas con un alto JIF todavía son consideradas revistas prestigiosas, y como regla general, las revistas prestigiosas están dispuestas a publicar artículos con resultados espectaculares. Y resultados espectaculares no se equiparan con la calidad ni como con ser defectuosos. Curt Rice, profesor en Noruega, lo expresa así: “Las revistas más prestigiosas tienen las tasas más altas de retractaciones, y el fraude y la mala conducta son mayores fuentes de retractación en estas revistas que en las menos prestigiosas”³.

Un artículo que está siendo publicado en una revista prestigiosa no es claramente lo mismo que tener alta calidad. De hecho, los resultados de una investigación pueden ser espectaculares precisamente porque son datos estadísticos atípicos. Es un fenómeno conocido que cuando los experimentos que reportan resultados espectaculares son posteriormente replicados, a menudo se ven menos espectaculares, incluso si la evidencia sigue siendo válida. Un proceso causado muy probablemente por la “regresión a la media”.

Sin embargo esto es exactamente la naturaleza espectacular de los valores atípicos estadísticos que son tan atractivos para una revista de alto prestigio. Volviendo a citar a Curt Rice: “es lógico en algún grado que usted vea estas cosas, porque los flujos estadísticos suelen ser muy agradables y muy inusuales. Esto incrementa las probabilidades de ser publicado en una de estas revistas importantes”.

Un ejemplo particularmente desastroso de un artículo publicado en una revista de prestigio y después retractado, fue el ahora infame artículo de Andrew Wakefiels⁴, en el que el autismo y los trastornos intestinales en los niños estaban asociados con la vacunación. Desafortunadamente, fue publicado en lo que generalmente se ve como una revista de calidad: The Lancet. Eso le otorgó credibilidad y una falsa autoridad como resultado de lo cual recibió mucha publicidad, también en la prensa no especializada, y en consecuencia todavía hay un movimiento considerable contra la vacunación, particularmente en los Estados Unidos (pero no solamente allí). De acuerdo a un informe de 2015 del Pew Research Center⁵, tanto como alrededor de uno cada diez estadounidenses piensa que las vacunas no son seguras. Otros científicos no pudieron replicar los resultados de Wakefield y sus coautores retiraron su apoyo al estudio. Después de conducir una investigación oficial, un tribunal del British Medical Council concluyó que Wakefield actuó de manera deshonesta e irresponsable. The Lancet retractó el artículo, y Wakefield fue sacado del registro médico del Reino Unido con una declaración de que había falsificado deliberadamente los resultados científicos, pero resultó ser demasiado poco y demasiado tarde. El informe Pew menciona que “para entonces, sin embargo, el daño ya había sido hecho. Muchas personas en Estados Unidos y Europa todavía creen que las vacunas causan enfermedades y condiciones que incluyen el autismo en niños. A pesar del asesoramiento médico oficial que dice que las vacunas son seguras y vitales, muchos padres todavía se preocupan por la inoculación de sus hijos”. En gran medida esto pude atribuirse al prestigio acordado al artículo de Wakefield en The Lancet.

Si está buscando retractaciones en Internet, encontrará bastantes nombres de revistas que son familiares. Son familiares porque son ampliamente conocidas como prestigiosas. Retraction Watch mantiene un ojo cercano sobre las retractaciones, supervisándolas a través del ámbito científico. Pero es improbable que Retraction Watch capture todos los artículos fraudulentos, y mucho menos artículos con “meramente” profundas fallas estadísticas, principalmente porque no están todos retractados. Chris Hartgerink, un investigador que estudia sesgos, errores y fraudes en publicaciones científicas, concluye que “el sistema científico como lo conocemos está bastante desordenado” (en una entrevista con Setephen Buranyi⁶). En el mismo artículo⁷, Buranyi también señala un estudio de 2009 por el investigador de Stanford Daniele Fanelli, que concluye “es probable que, en promedio 2% de los científicos admiten haber falsificado investigación al menos una vez y hasta 34% admiten otras prácticas de investigación cuestionables, las frecuencias de mala conducta podrían ser mayores [que las reportadas]”.

¿La calidad es ilusoria?

Entonces, ¿la calidad es ilusoria? ¿Acaso creer en la calidad de las publicaciones científicas sobre la base de su prestigio es una necesidad burocrática en el sistema del ‘ego’ científico? Después de todo, la calidad está a menudo asociada con un algún Factor de Impacto, que se basa en la simple cuenta del promedio del número de veces que son citados los artículos en una revista dada, y los factores de impacto son importantes para que los investigadores indiquen la importancia de las publicaciones que listan en sus CVs. Necesitan hacer esto, naturalmente, porque el sistema del ‘ego’ está siendo reforzado por el generalizado – casi universal – sistema del uso de citas (generalmente el factor de impacto) para evaluar revistas, artículos, personas, propuestas de financiación, grupos de investigación, institución e incluso países.

Se dice que Einstein dijo “No todo lo que se puede contar cuenta, no todo lo que cuenta puede ser contado”. Nature, una revista que usted conoce, parece concordar que la evaluación de la investigación depende demasiado sobre el inflado estatus del factor de impacto. Uno de sus editoriales en 2005 llevaba el título “La evaluación de la investigación depende demasiado sobre el inflado factor de impacto”⁸. Nature no necesariamente parecer estar ironizando cuando anuncia en forma muy prominente su factor de impacto, porque ellos siguen mostrando el Factor de Impacto en la portada.

Claramente, el factor de impacto todavía sigue desempeñando un papel muy importante. Incluso un factor de impacto menor a uno se considera digno de jactarse por más de un investigador. Aparentemente, hay incluso factores de pseudo impacto, que han sido inventados por cualquier organización que no pueda contar con el Journal Impact Factor del ISI por Thomson-Reuters.

La noción del impacto es realmente incoherente. De acuerdo a Stefan Collini, profesor en Cambridge, es porque “recompensa el sensacionalismo y de segunda categoría […] y se arriesga a convertir a los académicos en vendedores de puerta en puerta para versiones vulgarizadas de sus productos cada vez más orientados al mercado”⁹.

¿Podrían ser las citaciones el tipo adecuado de medida para la calidad? Si esta es la gran pregunta, la respuesta simplemente debería ser ‘no’. No se puede combinar el impacto y la influencia con la calidad. Como lo expresa Lea Velho, profesora en Brasil: “Combinar el impacto/influencia con la calidad […] es asumir una comunicación perfecta en la comunidad científica internacional […] los patrones de citación están significativamente influidos por factores ‘externos’ al ámbito científico y, por lo tanto, no reflejan ni la calidad, ni la influencia ni siquiera el impacto del trabajo de investigación al que se hace referencia”¹⁰. En otras palabras, la calidad no puede ser descrita con el factor de impacto que conocemos.

¿Qué tan determinantes son los juicios de los revisores?

Pero el factor de impacto sigue siendo ampliamente considerado como una marca de calidad, aunque la ‘calidad’ de un artículo es evaluada de forma rutinaria por solo unas pocas personas: los pares revisores, en el momento de la publicación. Generalmente hay dos revisores, y está el editor. Los revisores a veces son seleccionados al azar, posiblemente más a menudo de lo que a usted le gustaría creer. La correlación entre la evaluación de un revisor en particular con la ‘calidad’, como se mide por las posteriores citaciones del manuscrito revisado, es baja. Esto plantea las interrogantes respecto a la importancia del juicio de los revisores. Algunos sugieren que minimizar el impacto de los revisores podría tener efectos beneficiosos, los árbitros deberían decidir solamente si un artículo alcanza un mínimo de calidad técnica. Osterloh y Frey¹¹ proponen dentro del conjunto resultante, que cada artículo debería tener la misma probabilidad de ser publicado. Este procedimiento debería hacer más probable que los artículos no convencionales e innovadores pudieran ser publicados. Si usted pudiera hacer que la probabilidad de publicarlo fuera 100% una vez que el artículo ha llegado a un mínimo de calidad (técnica), usted tiene esencialmente el método usado por las llamadas ‘mega-revistas’ tales como PLOS One.

Aunque el enfoque de PLOS One está consiguiendo un poco de seguimiento, no es de ninguna manera el método predominante. ¿Está en la naturaleza de la ciencia simplemente seguir contando para inferir la calidad a partir de la cantidad de citaciones? ¿O es esto un caso de ‘gerencialismo’ académico, para mantener la evaluación de los investigadores en forma simple y directa (aunque a expensas de la imparcialidad)? Esto no es más que el enfoque perezoso de la evaluación de la calidad, en mi opinión, y solo evalúa la pseudo calidad de todos modos.

¿Hacia una solución sociocultural?

¿Qué estamos haciendo al respecto? Puede haber soluciones técnicas al problema de la comunicación científica, que realmente no está haciendo lo que se supone que debe hacer. El enfoque predeterminado parece estar en las soluciones técnicas. Sin embargo, necesitamos realmente soluciones socioculturales. Necesitamos reconsiderar lo que entendemos por calidad y cómo evaluarla.

Los rankings se consideran importantes en ciencia, y como tales, lograr altas clasificaciones forma parte de los incentivos para los investigadores. Hay clasificaciones de revistas o de investigadores individuales, universidades, incluso países enteros. ¿Está la ‘katataxiphilia’ (‘el amor al ranking’, del griego κατάταξη = clasificación, rango) impidiendo el intercambio de conocimiento? Y si clasificamos – si realmente creemos que necesitamos clasificar – ¿no deberíamos clasificar otras cosas diferentes a las citaciones? ¿No deberíamos recompensar a las personas por colaborar y compartir los datos y el conocimiento que han reunido en primer lugar?

¿Todavía necesitamos revistas?

El gran objetivo del conocimiento científico, el de la esfera del conocimiento sobre el mundo si usted lo desea, es difundirlo para que quien lo necesite pueda tomarlo. ¿Por qué entonces todavía estamos usando el modelo de ‘revistas’ para nuestra comunicación primaria, incluso cuando nuestra tecnología moderna, la Internet, no las requiere más? ¿E incluso cuando el proceso de publicación puede introducir un buen retraso? ¿Es porque las revistas nos dan los ranking de ‘calidad’ que tanto anhelan los investigadores?

Estoy emocionado por la aparición de los llamados servidores de preprints (como bioRχiv) en otras áreas además de la física, donde los preprints han existido por mucho tiempo, incluso en la impresión, antes que Arχiv se estableciera en 1991. Los servidores de preprints no se pronuncian nada sobre la ‘significatividad’ de los artículos publicados en ellos. Simplemente permiten el intercambio abierto de los resultados de la investigación. La importancia, significatividad y calidad de un artículo es muy difícil – probablemente imposible – de determinar en el momento de la publicación, y solo surgirán con el tiempo. Después que los experimentos hayan sido replicados. Después que la comunidad más amplia de la disciplina haya llegado a un consenso. Los servicios de preprints solo están preocupados por las cualidades inherentes de lo que se está presentando, como las cualidades técnicamente medibles del artículo que mencioné más arriba con respecto a PLOS One. Y después de publicar artículos, permiten a la comunidad más amplia revisar y comentar esos artículos, en forma abierta y transparente. La necesidad de “premios” (citas de revistas para el propósito del progreso de la carrera), cuando sea necesario, puede ser satisfecha en un procedimiento separado, paralelo, que involucre las revistas.

Notas

1. VELTEROP, J. Apertura y calidad de un artículo publicado [online]. SciELO en Perspectiva, 2015 [viewed 11 April 2017]. Available from: http://blog.scielo.org/es/2015/12/16/apertura-y-calidad-de-un-articulo-publicado/

2. The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 11 April 2017]. Available from: http://www.ascb.org/dora/

3. RICE, C. Why you can’t trust research: 3 problems with the quality of science [online]. Curt Rice, 2013. [viewed 11 April 2017]. Available from: http://curt-rice.com/2013/02/06/why-you-cant-trust-research-3-problems-with-the-quality-of-science/

4. WAKEFIELD, A. J., et al. Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children – Retraction notice. Article originally published in The Lancet, Volume 375, Issue 9713, 6–12 February 2010, Page 445 [online]. Science Direct, 2017 [viewed 11 April 2017]. Available from: http://www.sciencedirect.com/science/article/pii/S0140673697110960

5. 83% Say Measles Vaccine Is Safe for Healthy Children [online]. Pew Research Center, 2015 [viewed 11 April 2017]. Available from: http://www.people-press.org/2015/02/09/83-percent-say-measles-vaccine-is-safe-for-healthy-children/

6. In an interview with Stephen Buranyi, The hi-tech war on science fraud [online]. The Guardian, 2017 [viewed 11 April 2017]. Available from: http://www.theguardian.com/science/2017/feb/01/high-tech-war-on-science

7. FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS One [online]. 2009, vol. 4, no. 5, e5738 [viewed 11 April 2017]. DOI: 10.1371/journal.pone.0005738. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

8. Not-so-deep impact – Research assessment rests too heavily on the inflated status of the impact factor. Nature [online]. 2005, vol. 435, pp 1003-1004 [viewed 11 April 2017]. DOI: 10.1038/4351003b. Available from: http://www.nature.com/nature/journal/v435/n7045/full/4351003b.html

9. REISZ, M. The core connection [online]. Times Higher Education, 2010 [viewed 11 April 2017]. Available from: https://www.timeshighereducation.com/features/the-core-connection/409838.article

10. VELHO, L. The ‘meaning’ of citation in the context of a scientifically peripheral country. Scientometrics. 1986, vol. 9, nos, 1-2, pp. 71-89. DOI: 10.1007/BF02016609

11. OSTERLOH, M. and FREY, B. S. Input Control and Random Choice Improving the Selection Process for Journal Articles. University of Zurich, Department of Economics, Working Paper No. 25. 2011. Available from: www.econ.uzh.ch/static/wp/econwp025.pdf

Referencias

83% Say Measles Vaccine Is Safe for Healthy Children [online]. Pew Research Center, 2015 [viewed 11 April 2017]. Available from: http://www.people-press.org/2015/02/09/83-percent-say-measles-vaccine-is-safe-for-healthy-children/

Criteria for Publication [online]. PLOS One [viewed 11 April 2017]. Available from: http://journals.plos.org/plosone/s/journal-information

FANELLI, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS One [online]. 2009, vol. 4, no. 5, e5738 [viewed 11 April 2017]. DOI: 10.1371/journal.pone.0005738. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738

GORSKI, D. The General Medical Council to Andrew Wakefield: “The panel is satisfied that your conduct was irresponsible and dishonest” [online]. Science-Based Medicine, 2010 [viewed 11 April 2017]. Available from: https://www.sciencebasedmedicine.org/andrew-wakefield-the-panel-is-satisfied-that-your-conduct-was-irresponsible-and-dishonest/

In an interview with Stephen Buranyi, The hi-tech war on science fraud [online]. The Guardian, 2017 [viewed 11 April 2017]. Available from: http://www.theguardian.com/science/2017/feb/01/high-tech-war-on-science

JALALIAN, M. The story of fake impact factor companies and how we detected them. Electronic Physician [online]. 2015, vol. 7, no. 2, pp.1069-1072 [viewed 11 April 2017]. DOI: 10.14661/2015.1069-1072. PMID: 26120416. Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4477767/

LEHRER, J. The Truth Wears Off. The New Yorker [online]. 2010 [viewed 11 April 2017]. Available from: http://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off

Not-so-deep impact – Research assessment rests too heavily on the inflated status of the impact factor. Nature [online]. 2005, vol. 435, pp 1003-1004 [viewed 11 April 2017]. DOI: 10.1038/4351003b. Available from: http://www.nature.com/nature/journal/v435/n7045/full/4351003b.html

OSTERLOH, M. and FREY, B. S. Input Control and Random Choice Improving the Selection Process for Journal Articles. University of Zurich, Department of Economics, Working Paper No. 25. 2011. Available from: www.econ.uzh.ch/static/wp/econwp025.pdf

REISZ, M. The core connection [online]. Times Higher Education, 2010 [viewed 11 April 2017]. Available from: https://www.timeshighereducation.com/features/the-core-connection/409838.article

RICE, C. Why you can’t trust research: 3 problems with the quality of science [online]. Curt Rice, 2013. [viewed 11 April 2017]. Available from: http://curt-rice.com/2013/02/06/why-you-cant-trust-research-3-problems-with-the-quality-of-science/

Scimago Journal and Country Rank. Available from: http://www.scimagojr.com/countryrank.php?order=ci&ord=desc

STARBUCK, W. H. The production of knowledge. The challenge of social science research. Oxford University Press. 2006. pp. 83-84.

The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 11 April 2017]. Available from: http://www.ascb.org/dora/

VELHO, L. The ‘meaning’ of citation in the context of a scientifically peripheral country. Scientometrics. 1986, vol. 9, nos, 1-2, pp. 71-89. DOI: 10.1007/BF02016609

VELTEROP, J. Apertura y calidad de un artículo publicado [online]. SciELO en Perspectiva, 2015 [viewed 11 April 2017]. Available from: http://blog.scielo.org/es/2015/12/16/apertura-y-calidad-de-un-articulo-publicado/

VELTEROP, J. Lo mejor de ambos mundos [online]. SciELO en Perspectiva, 2016 [viewed 11 April 2017]. Available from: http://blog.scielo.org/es/2016/06/13/lo-mejor-de-ambos-mundos/

WAKEFIELD, A. J., et al. Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children – Retraction notice. Article originally published in The Lancet, Volume 375, Issue 9713, 6–12 February 2010, Page 445 [online]. Science Direct, 2017 [viewed 11 April 2017]. Available from: http://www.sciencedirect.com/science/article/pii/S0140673697110960

Enlace externo

Retraction Watch – <http://retractionwatch.com/>

Sobre Jan Velterop

Jan Velterop (1949), geofísico marino llegó a ser editor científico a mediados de 1970. Comenzó su carrera de editor en Elsevier en Ámsterdam. En 1990 se convirtió en director de un diario holandés, pero retornó a la publicación internacional de ciencia en 1993 en Academic Press en Londres, donde desarrolló el primer acuerdo nacional que le dio acceso electrónico a todas las revistas AP a todos las instituciones de educación superior en el Reino Unido (más adelante conocido como el BigDeal). A continuación se unió a Nature como director pero rápidamente se cambió para ayudar a levantar a BioMed Central. Participó en la Budapest Open Access Iniative (BOAI). En 2005 se unió a Springer, con sede en el Reino Unido como Director de Acceso Abierto. En 2008 lo dejó para ir a ayudar en el desarrollo de enfoques semánticos para acelerar el descubrimiento científico. Es un defensor activo del Acceso Abierto conforme al BOAI, en el uso de la microatribución, el sello distintivo de la llamada “nanopublicación”. Publicó varios artículos en ambos temas.

Traducido del original en inglés por Ernesto Spinak.