{"id":2402,"date":"2017-06-29T09:49:24","date_gmt":"2017-06-29T12:49:24","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=2402"},"modified":"2017-06-29T09:50:39","modified_gmt":"2017-06-29T12:50:39","slug":"el-papel-de-los-editores-en-la-evaluacion-por-pares-como-identificar-a-los-malos-revisores","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2017\/06\/29\/el-papel-de-los-editores-en-la-evaluacion-por-pares-como-identificar-a-los-malos-revisores\/","title":{"rendered":"El papel de los editores en la evaluaci\u00f3n por pares: c\u00f3mo identificar a los malos revisores"},"content":{"rendered":"

Por Lilian N. Cal\u00f2<\/strong><\/p>\n

\"Fotograf\u00eda<\/a>

Fotograf\u00eda adaptada de la original: Pasquale Paolo Cardo<\/a>.<\/p><\/div>\n

La evaluaci\u00f3n por pares es una de las etapas cr\u00edticas de la edici\u00f3n cient\u00edfica, que tiene por objetivo asegurar la confiabilidad y calidad de las publicaciones. Ha sido objeto de frecuentes discusiones en este blog1-3<\/sup> la saturaci\u00f3n actual del proceso de evaluaci\u00f3n por pares pre publicaci\u00f3n as\u00ed como los modelos alternativos que se presentan para intentar evitar que el problema se agrave todav\u00eda m\u00e1s. El un hecho conocido en la comunidad cient\u00edfica que el modelo actual de evaluaci\u00f3n por pares atrasa demasiado la publicaci\u00f3n de resultados de investigaci\u00f3n, pero no siempre confiere calidad a las publicaciones.<\/p>\n

Muchos editores estar\u00e1n de acuerdo con el hecho de que es cada vez m\u00e1s dif\u00edcil obtener revisiones de calidad en el tiempo previsto por el proceso editorial de las revistas. Las causas probables de este comportamiento son varias, desde el n\u00famero cada vez mayor de art\u00edculos para evaluar, en franca disociaci\u00f3n con la cantidad de investigadores disponibles para hacer frente a la demanda; la falta de mecanismos de recompensa de esta actividad en el medio acad\u00e9mico, el bajo n\u00famero de especialistas en determinados nichos de la ciencia, o simplemente la falta de disposici\u00f3n para emprender una tarea altamente especializada que demanda tiempo y esfuerzos que, sin embargo, trae poca o ninguna recompensa la mayor parte de las veces y es simplemente descartado despu\u00e9s de la aprobaci\u00f3n del manuscrito.<\/p>\n

Adem\u00e1s de los desaf\u00edos impuestos al proceso de evaluaci\u00f3n por pares, tambi\u00e9n la confiabilidad y la transparencia no siempre est\u00e1n aseguradas. La mayor parte de las veces, protegidos por el anonimato, los evaluadores pueden actuar de forma anti\u00e9tica comprometiendo el proceso que deber\u00eda, en primer lugar, evaluar los art\u00edculos por su m\u00e9rito cient\u00edfico. Los evaluadores adem\u00e1s, son ellos mismos investigadores que se dedican a estudios en la misma \u00e1rea que los trabajos que eval\u00faan. Es comprensible que surjan conflictos de inter\u00e9s que, en rigor, deber\u00edan ser declarados por los evaluadores al mismo tiempo en que declinan realizar una determinada evaluaci\u00f3n. Sin embargo, muchas veces, no es lo que sucede.<\/p>\n

Estudios recientes usando modelos te\u00f3ricos de evaluaci\u00f3n por pares mostraron que los resultados son sensibles al comportamiento anti\u00e9tico de los evaluadores. De acuerdo con el modelo propuesto por Therner y Hanel4<\/sup> los evaluadores que optan por actuar en beneficio propio en vez de en favor de la ciencia, tienden a rechazar manuscritos que juzgan de calidad superior en relaci\u00f3n a su propio trabajo \u2013 y se les denomina evaluadores ego\u00edstas. En el otro extremo del modelo, estos autores proponen la existencia \u2013 te\u00f3rica \u2013 de evaluadores que se dicen imparciales, que est\u00e1n aumentando constantemente el patr\u00f3n de calidad de los manuscritos que aceptan para publicaci\u00f3n, mientras que los evaluadores ego\u00edstas aceptan mayoritariamente manuscritos de calidad por debajo del promedio. Por lo tanto, te\u00f3ricamente, un escenario en que hubieran solo evaluadores imparciales resultar\u00eda en que ning\u00fan art\u00edculo ser\u00eda publicado, pues los patrones de publicaci\u00f3n ser\u00edan demasiado elevados, mientras que un escenario con solamente evaluadores ego\u00edstas resultar\u00eda en la publicaci\u00f3n de art\u00edculos de calidad por debajo del promedio de los art\u00edculos enviados. Evidentemente la situaci\u00f3n real se encuentra entre estos dos extremos.<\/p>\n

Un art\u00edculo reci\u00e9n publicado en PeerJ Preprints<\/em>, de autor\u00eda de Rafael D\u2019Andrea y James O\u2019Dwyer, de la Universidad de Illinois, EUA retoma el modelo de Thurner y Hanel y lo ampl\u00eda, probando c\u00f3mo los resultados se alteran cuando los evaluadores adoptan comportamientos menos extremos, as\u00ed como el papel de los editores de revistas en mitigar los impactos negativos de la conducta anti\u00e9tica de ciertos evaluadores.<\/p>\n

D\u2019Andrea y Dwyer extendieron el modelo de Therner y Hanel introduciendo dos categor\u00edas de revisores a los ya existentes imparciales (con patrones fijos) y ego\u00edstas (indiferentes). Se trata de los evaluadores imparciales con patrones variables y los evaluadores ego\u00edstas concienzudos. Los evaluadores imparciales con patrones fijos aceptan para publicaci\u00f3n manuscritos con patrones m\u00ednimos de calidad y rechazan los dem\u00e1s. Los imparciales con patrones variables tienen un comportamiento similar, solo que su patr\u00f3n de calidad se basa en la media de calidad de los trabajos aceptados para publicaci\u00f3n en el ciclo anterior de revisi\u00f3n, y este patr\u00f3n, por lo tanto, se actualiza constantemente, lo que justifica su denominaci\u00f3n. Los evaluadores anti\u00e9ticos ego\u00edstas indiferentes aceptan art\u00edculos cuya calidad es menor que la media de los art\u00edculos enviados, mientras que los ego\u00edstas concienzudos siguen esta regla, sin embargo tambi\u00e9n obedecen los est\u00e1ndares m\u00ednimos de calidad.<\/p>\n

Los resultados llevaron a concluir que los evaluadores ego\u00edstas, tanto indiferentes como concienzudos, tienen un pronunciado efecto en reducir la calidad de la literatura publicada. La causa principal de este impacto es su complacencia en aceptar art\u00edculos de baja calidad, y no por su tendencia en rechazar art\u00edculos de calidad que ellos puedan percibir como una amenaza o competencia a su propia producci\u00f3n cient\u00edfica. La \u00fanica manera de asegurar el mantenimiento de la calidad de las publicaciones es si los evaluadores se comprometieran a rechazar art\u00edculos que no cumplan con los criterios m\u00ednimos de calidad preconizados por las revistas, independientemente de la inclinaci\u00f3n que tengan en sabotear trabajos de mejor calidad que los suyos propios. Adem\u00e1s, la actuaci\u00f3n de los revisores ego\u00edstas tienen un fuerte impacto en las tasas de rechazo en general y en particular de manuscritos por encima de la calidad media.<\/p>\n

\u00bfQu\u00e9 pueden hacer los editores de revistas para mitigar, ya que no es posible neutralizar el impacto de la acci\u00f3n de revisores anti\u00e9ticos? D\u2019Andrea y Dwyer llegaron a la conclusi\u00f3n de que en la eventualidad de que uno de los evaluadores recomendara la publicaci\u00f3n del manuscrito, y el otro su rechazo, consultar a otros revisores para desempatar la decisi\u00f3n ayuda a preservar la calidad del proceso de evaluaci\u00f3n. Por otro lado, los autores observaron que esta estrategia tiende a aumentar la proporci\u00f3n de manuscritos rechazado con calidad por encima del promedio, lo que no es positivo para la ciencia.<\/p>\n

La pr\u00e1ctica de elaborar listas de evaluadores ego\u00edstas (blacklisting<\/em>) consiste en mantener registros de aquellos evaluadores que tienen \u00edndices elevados de desacuerdo entre evaluadores. Este razonamiento se basa en el hecho de que dos evaluadores imparciales nunca est\u00e1n en desacuerdo entre s\u00ed, pero un imparcial y un ego\u00edsta pueden discrepar. As\u00ed, un alto nivel de discrepancia puede indicar un evaluador ego\u00edsta. En el modelo te\u00f3rico reportado en el art\u00edculo, el blacklisting<\/em> tiene su efecto sobrestimado, pues en la realidad, cada revista puede mantener su propia lista de evaluadores anti\u00e9ticos, pero no es probable que las compartan. A pesar de eso, remover evaluadores de comportamiento sospechoso de la muestra, aumenta la calidad de los art\u00edculos publicados y reduce la tasa de rechazo de los buenos art\u00edculos.<\/p>\n

Cabe resaltar que los autores enfatizan que esta estrategia editorial termina teniendo un efecto indeseable, ya que sobrecarga a los buenos evaluadores con m\u00e1s art\u00edculos para revisar y libera de la tarea a aquellos de comportamiento anti\u00e9tico, d\u00e1ndoles m\u00e1s tiempo para su propia investigaci\u00f3n.<\/p>\n

Una observaci\u00f3n interesante en el modelo de evaluaci\u00f3n estudiado, que parece contraintuitivo con lo que se observa en la realidad, es que enviar art\u00edculos rechazados de vuelta a los autores para revisi\u00f3n no tuvo ning\u00fan efecto en mejorar la calidad de los mismos, a pesar de la estrategia de disminuir la proporci\u00f3n de manuscritos rechazados de calidad por encima del promedio. Por otro lado, la aprobaci\u00f3n o rechazo inmediato, sin evaluaci\u00f3n por pares, de manuscritos excepcionalmente buenos o excepcionalmente malos no tiene casi impacto en la calidad de lo que se publica o en la tasa de rechazo, excepto, como era esperado, el de garantizar que los grandes art\u00edculos ser\u00e1n publicados y los que son muy malos no lo ser\u00e1n.<\/p>\n

Este estudio adopt\u00f3 algunas aproximaciones extremas, como considerar que el \u00fanico sesgo de los evaluadores fuera el inter\u00e9s ego\u00edsta de sabotear art\u00edculos de calidad superior a su propia producci\u00f3n cient\u00edfica; asumir que los editores no tienen ning\u00fan sesgo; considerar que los patrones de calidad de las revistas son uniformes, y por \u00faltimo, juzgar que los manuscritos son evaluados solamente sobre la base de su m\u00e9rito cient\u00edfico y valor intr\u00ednseco para publicaci\u00f3n. Sin embargo, los autores creen que modelos m\u00e1s sofisticados que tengan en cuenta estas omisiones deber\u00edan llegar a las mismas conclusiones cualitativas en cuanto al impacto de la indiferencia de los evaluadores y la capacidad potencial de los editores en mitigarlas.<\/p>\n

Los autores concluyeron que el formato actual de evaluaci\u00f3n por pares pre-publicaci\u00f3n ofrece poco o ning\u00fan incentivo para el comportamiento altruista de los evaluadores y proporciona pocas garant\u00edas de eficiencia y transparencia en el proceso. Esta observaci\u00f3n se encuentra con muchos otros estudios que comparten la noci\u00f3n de que se hace necesario una profunda revisi\u00f3n del formato actual de la evaluaci\u00f3n por pares, para restituirle la credibilidad, eficiencia, y transparencia, y al mismo tiempo proveer a la comunicaci\u00f3n cient\u00edfica la celeridad deseada.<\/p>\n

Notas<\/h3>\n

1. VELTEROP, J. \u00bfLa crisis de reproducibilidad se ve agravada por la revisi\u00f3n por pares pre publicaci\u00f3n? [online]. SciELO en Perspectiva<\/em>, 2016 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2016\/10\/20\/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion\/<\/a><\/p>\n

2. NASSI-CAL\u00d2, L. Aumenta la adopci\u00f3n de evaluaci\u00f3n por pares abierta [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2017\/01\/10\/aumenta-la-adopcion-de-evaluacion-por-pares-abierta\/<\/a><\/p>\n

3. PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints en camino [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2017\/02\/22\/scielo-preprints-en-camino\/<\/a><\/p>\n

4. THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B.<\/em> [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140\/epjb\/e2011-20545-7. Available from: http:\/\/epjb.epj.org\/articles\/epjb\/abs\/2011\/23\/b110545\/b110545.html<\/a><\/p>\n

5. D’ANDREA\u200b, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints.<\/em> 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287\/peerj.preprints.3005v3. Available from: http:\/\/peerj.com\/preprints\/3005v3\/<\/a><\/p>\n

Referencias<\/h3>\n

D’ANDREA\u200b, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints.<\/em> 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287\/peerj.preprints.3005v3. Available from: http:\/\/peerj.com\/preprints\/3005v3\/<\/a><\/p>\n

NASSI-CAL\u00d2, L. Aumenta la adopci\u00f3n de evaluaci\u00f3n por pares abierta [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2017\/01\/10\/aumenta-la-adopcion-de-evaluacion-por-pares-abierta\/<\/a><\/p>\n

NASSI-CAL\u00d2, L. Revisi\u00f3n por pares: mala con ella, peor sin ella [online]. SciELO en Perspectiva<\/em>, 2015 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2015\/04\/17\/revision-por-pares-mala-con-ella-peor-sin-ella\/<\/a><\/p>\n

NASSI-CAL\u00d2, L. Revisi\u00f3n por pares: modalidades, pros y contras [online]. SciELO en Perspectiva<\/em>, 2015 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2015\/03\/27\/revision-por-pares-modalidades-pros-y-contras\/<\/a><\/p>\n

PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints en camino [online]. SciELO en Perspectiva<\/em>, 2017 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2017\/02\/22\/scielo-preprints-en-camino\/<\/a><\/p>\n

THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B.<\/em> [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140\/epjb\/e2011-20545-7. Available from: http:\/\/epjb.epj.org\/articles\/epjb\/abs\/2011\/23\/b110545\/b110545.html<\/a><\/p>\n

VELTEROP, J. \u00bfLa crisis de reproducibilidad se ve agravada por la revisi\u00f3n por pares pre publicaci\u00f3n? [online]. SciELO en Perspectiva<\/em>, 2016 [viewed 19 June 2017]. Available from: http:\/\/blog.scielo.org\/es\/2016\/10\/20\/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion\/<\/a><\/p>\n

 <\/p>\n

\"lilian\"<\/a>Sobre\u00a0Lilian Nassi-Cal\u00f2<\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak.<\/p>\n","protected":false},"excerpt":{"rendered":"

Un modelo te\u00f3rico de evaluaci\u00f3n por pares eval\u00faa los efectos que tienen los revisores de conducta anti\u00e9tica en la aprobaci\u00f3n o rechazo de art\u00edculos y c\u00f3mo los editores de revistas pueden mitigar este comportamiento. Lo que est\u00e1 en juego es la confiabilidad, transparencia y eficiencia de la evaluaci\u00f3n por pares antes de la publicaci\u00f3n. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":2403,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[7,55,37,40,50],"class_list":["post-2402","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-comunicacion-cientifica","tag-el-futuro-de-la-evaluacion-por-pares","tag-etica-en-la-comunicacion-cientifica","tag-evaluacion-de-la-ciencia","tag-revision-por-pares"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2402","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/22"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=2402"}],"version-history":[{"count":2,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2402\/revisions"}],"predecessor-version":[{"id":2405,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/2402\/revisions\/2405"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/2403"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=2402"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=2402"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=2402"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}