{"id":3613,"date":"2020-01-15T14:30:16","date_gmt":"2020-01-15T16:30:16","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=3613"},"modified":"2020-01-23T10:54:06","modified_gmt":"2020-01-23T12:54:06","slug":"la-revision-por-pares-no-es-solo-control-de-calidad","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2020\/01\/15\/la-revision-por-pares-no-es-solo-control-de-calidad\/","title":{"rendered":"La revisi\u00f3n por pares no es solo control de calidad, es parte de la infraestructura social de investigaci\u00f3n [Publicado originalmente en el LSE Impact Blog en junio\/2019]"},"content":{"rendered":"\n

Por Flaminio Squazzoni<\/strong><\/p>\n\n\n\n

\"\"<\/a><\/figure><\/div>\n\n\n\n

La revisi\u00f3n por pares tiene mala fama en las redes sociales y en la prensa. Escriba “la revisi\u00f3n por pares es…” en la b\u00fasqueda de Google <\/em>y entre las primeras entradas que encontrar\u00e1 est\u00e1 “la revisi\u00f3n por pares est\u00e1 rota”. Parece que la revisi\u00f3n por pares es ahora uno de los medios m\u00e1s populares a trav\u00e9s del cual la frustraci\u00f3n acad\u00e9mica encuentra una manera de expresarse. La hipercompetencia y la cultura dominante de “publicar o perecer” (publish or perish<\/em>) en la academia no ayudan.<\/p>\n\n\n\n

Creo que esto tambi\u00e9n revela un profundo malentendido de lo que\nrealmente es esta instituci\u00f3n. Por ejemplo, la opini\u00f3n general es que la\nrevisi\u00f3n por pares es un mecanismo de selecci\u00f3n de calidad para revistas\nacad\u00e9micas y a menudo se estudia como tal. En resumen, si los manuscritos\ntuvieran una calidad objetiva intr\u00ednseca, los \u00e1rbitros y editores solo tendr\u00edan\nque ser lo suficientemente inteligentes, desinteresados e imparciales para\nreconocerlo. Los manuscritos de alta calidad aparecer\u00edan en revistas\nprestigiosas, los manuscritos de calidad media encontrar\u00edan su camino a los\nmenos prestigiosos, mientras que la ciencia espeluznante simplemente no pasar\u00eda\nel filtro o alimentar\u00eda algunas revistas depredadoras en l\u00ednea. Mucha\ninvestigaci\u00f3n mide la calidad del proceso en t\u00e9rminos de desacuerdo con el\n\u00e1rbitro: cuanto mayor es el desacuerdo, m\u00e1s fuerte es la evidencia del sesgo\nsubjetivo de los revisores. Tres expertos no pueden tener opiniones diferentes\nsobre un manuscrito, porque la calidad es una propiedad intr\u00ednseca del manuscrito,\nhabla por s\u00ed misma. El juicio experto debe ser consistente. Esto es lo que\ntodos esperan de una revisi\u00f3n por pares robusta y s\u00f3lida. Hay algo de verdad en\neste punto de vista, al menos es coherente con la naturaleza organizativa\nestratificada y jer\u00e1rquica del prestigio y el valor acad\u00e9mico.<\/p>\n\n\n\n

Sin embargo, la revisi\u00f3n por pares tambi\u00e9n es algo m\u00e1s, si no algo\nincluso completamente diferente en primera instancia. Adem\u00e1s de ser un\ndispositivo de control de calidad, la revisi\u00f3n por pares es un esfuerzo\ndistribuido para reconocer y aumentar el valor de los manuscritos y, por lo\ntanto, es inherentemente “constructivo”. Es al mismo tiempo un\ncontexto en el que los expertos desarrollan, adaptan y hacen cumplir est\u00e1ndares\nde juicio, una forma de conexi\u00f3n y cooperaci\u00f3n (directa e indirecta), un\ndiscurso disciplinado y mediado entre expertos (a menudo no relacionados) en un\nambiente “seguro” (aunque a menudo desorganizado y ambiguo). Y, por\nlo tanto, tambi\u00e9n es inherentemente “social”. Si esto es cierto, la\nrevisi\u00f3n por pares no puede verse como un “juego de predicci\u00f3n” sobre\nla calidad objetiva de los manuscritos. A diferencia de una actividad, en que\nlas personas adivinaban el peso de un buey, que fascin\u00f3 tanto al cient\u00edfico\nbrit\u00e1nico Francis Galton a principios de 1900, no hay un peso o valor\npreestablecido y sin ambig\u00fcedades que pueda atribuirse a un trabajo de\ninvestigaci\u00f3n.<\/p>\n\n\n\n

En un reciente proyecto de colaboraci\u00f3n a gran escala “PEERE”, hemos tratado de explorar estos puntos de vista\nalternativos sobre la revisi\u00f3n por pares y estimular un debate sobre las\nm\u00faltiples funciones y componentes de la revisi\u00f3n por pares como una instituci\u00f3n\nsocial compleja.<\/p>\n\n\n\n

Por ejemplo, en un art\u00edculo publicado en Scientometrics<\/em>1<\/sup>, rastreamos todos los manuscritos rechazados por una revista y\nrastreamos su publicaci\u00f3n posterior en otros medios. Descubrimos que los\nmanuscritos rechazados que se publicaron m\u00e1s tarde en otras revistas se\nbeneficiaron en t\u00e9rminos de citas posteriores al estar expuestos a m\u00e1s de una\nronda de revisiones antes del rechazo. Despu\u00e9s de haber recibido un informe de\nrevisi\u00f3n m\u00e1s detallado y, lo que es m\u00e1s importante, de estar sometido a un\nmayor desacuerdo por parte de la revista de rechazo. Algunos de ellos fueron\npublicados en revistas que ten\u00edan un factor de impacto m\u00e1s alto que la revista\nde rechazo. Esto sugerir\u00eda que la revisi\u00f3n por pares puede considerarse un\n“multiplicador de valor” y que el desacuerdo del revisor y m\u00e1s rondas\nde revisiones no son s\u00edntomas de un juicio inconsistente del revisor, pero\npodr\u00edan ayudar a los autores a mejorar sus manuscritos.<\/p>\n\n\n\n

En un art\u00edculo m\u00e1s reciente publicado en el Journal of <\/em>Informetrics2<\/sup><\/em>, utilizamos el t\u00e9rmino “mano invisible” de la revisi\u00f3n\npor pares para describir c\u00f3mo el proceso es una conexi\u00f3n entre acad\u00e9micos\nexpertos en primer lugar. Mapeamos las conexiones entre todos los acad\u00e9micos\nque presentaron y\/o revisaron manuscritos para una revista multidisciplinaria\nsiguiendo estrictamente una revisi\u00f3n por pares doble ciego. La idea era medir\nlas posiciones respectivas en la estructura de red de la comunidad antes y\ndespu\u00e9s de que fueran igualadas por una revisi\u00f3n por pares doble ciego.\nDescubrimos que los \u00e1rbitros tend\u00edan a recomendar presentaciones m\u00e1s positivas\nde los autores que se encontraban dentro de los tres pasos en su red de\ncolaboraci\u00f3n antes de ser emparejados por el editor de la revista. Descubrimos\nque cuando estos \u00e1rbitros m\u00e1s cercanos eran exigentes, es decir, solicitaban\nrevisiones importantes, los manuscritos se citaban m\u00e1s cuando finalmente se\npublicaban. M\u00e1s interesante a\u00fan, descubrimos que las posiciones de la red de\ncoautor\u00eda cambiaron despu\u00e9s de la revisi\u00f3n por pares, y las distancias de\ncolaboraci\u00f3n entre los cient\u00edficos disminuyeron m\u00e1s r\u00e1pidamente de lo que\ncabr\u00eda esperar si los cambios hubieran sido aleatorios. Encontramos casos de\n\u00e1rbitros que colaboran directamente con autores que revisaron previamente, con\nquienes no estaban relacionados anteriormente. Tambi\u00e9n encontramos casos en los\nque estos patrones de colaboraci\u00f3n ex post no fueron determinados por la\npublicaci\u00f3n del manuscrito. La futura colaboraci\u00f3n fue m\u00e1s probable incluso\ncuando los manuscritos fueron finalmente rechazados y los \u00e1rbitros no sab\u00edan\nlos nombres de los autores del manuscrito. Esto sugerir\u00eda que la revisi\u00f3n por\npares no solo refleja, sino que tambi\u00e9n crea y acelera la colaboraci\u00f3n\ncient\u00edfica. Si esto es cierto, el verdadero “sesgo” no es la\nsubjetividad del juicio experto sino la falta de diversidad y representatividad\nen la selecci\u00f3n del \u00e1rbitro.<\/p>\n\n\n\n

En resumen, estos son solo ejemplos de un intento de analizar la\nrevisi\u00f3n por pares de una manera m\u00e1s coherente con la dimensi\u00f3n hist\u00f3rica,\nsocial y pol\u00edtica de esta instituci\u00f3n. Como nos recuerdan historiadores como Alex\nCzizar, la revisi\u00f3n por pares refleja el estado\np\u00fablico de la ciencia y siempre ha tenido m\u00faltiples funciones y dimensiones.\nEstudiarlo solo como un contexto de evaluaci\u00f3n de calidad no le hace justicia a\nla complejidad de esta instituci\u00f3n clave en torno a la cual se construye la\nautonom\u00eda, la legitimidad y la credibilidad de la ciencia.<\/p>\n\n\n\n

Notas<\/h3>\n\n\n\n

1. CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics<\/em> [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007\/s11192-017-2241-1<\/a>. Available from: https:\/\/link<\/a>.<\/a>springer.com\/article\/10.1007\/s11192-017-2241-1<\/a> <\/p>\n\n\n\n

2. DONDIO, P. The \u201cinvisible hand\u201d of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics<\/em> [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016\/j.joi.2019.03.018<\/a>. Available from: https:\/\/www.sciencedirect.com\/science\/article\/pii\/S1751157718304206<\/a><\/p>\n\n\n\n

Refer\u00eancias<\/h3>\n\n\n\n

CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics<\/em> [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007\/s11192-017-2241-1<\/a>. Available from: https:\/\/link.springer.com\/article\/10.1007\/s11192-017-2241-1<\/a> s<\/em> <\/p>\n\n\n\n

CSISZAR, A. Peer review: Troubled from the start [online]. Nature. 2016 [viewed 15 January 2020]. Available from: https:\/\/www.nature.com\/news\/peer-review-troubled-from-the-start-1.19763<\/a><\/p>\n\n\n\n

DONDIO, P. The \u201cinvisible hand\u201d of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics<\/em> [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016\/j.joi.2019.03.018<\/a>. Available from: https:\/\/www.sciencedirect.com\/science\/article\/pii\/S1751157718304206<\/a><\/p>\n\n\n\n

Links externos<\/h3>\n\n\n\n

Behave Lab <http:\/\/www.<\/a>b<\/a>ehavelab.org\/<\/a>><\/p>\n\n\n\n

Flaminio Squazzoni \u2013 Twitter <https:\/\/twitter.com\/squazzoni<\/a>><\/p>\n\n\n\n

PEERE <https:\/\/www.peere.org\/<\/a>><\/p>\n\n\n\n

The Journal of Artificial Societies and Social Simulation <http:\/\/jasss.soc.surrey.ac.uk\/JASSS.html<\/a>><\/p>\n\n\n\n

<\/div>\n\n\n\n

Sobre Flaminio Squazzoni<\/h3>\n\n\n\n

Flaminio Squazzoni es profesor de sociolog\u00eda en la Universidad de Mil\u00e1n, Italia, donde dirige Behave<\/em>, un nuevo centro de investigaci\u00f3n y capacitaci\u00f3n en sociolog\u00eda del comportamiento. Es editor de JASSS <\/em>y trabaja en la revisi\u00f3n por pares, las normas sociales y la investigaci\u00f3n del comportamiento. Los lectores interesados pueden contactarlo a trav\u00e9s de su correo electr\u00f3nico: <flaminio.squazzoni@unimi.it<\/a>> y\/o dialogar con \u00e9l en @squazzoni<\/em>. <\/p>\n\n\n\n

Articulo original em ingl\u00e9s<\/h3>\n\n\n\n

https:\/\/blogs.lse.ac.uk\/impactofsocialsciences\/2019\/06\/12\/peer-review-is-not-just-quality-control-it-is-part-of-the-social-infrastructure-of-research\/<\/a><\/p>\n\n\n\n

<\/div>\n\n\n\n

Traducido del original en ingl\u00e9s<\/a> por Ernesto Spinak <\/p>\n","protected":false},"excerpt":{"rendered":"

El prop\u00f3sito de la revisi\u00f3n por pares a menudo se describe como una simple prueba “objetiva” de la solidez o calidad de un trabajo de investigaci\u00f3n. Sin embargo, tambi\u00e9n realiza otras funciones principalmente mediante la vinculaci\u00f3n y el desarrollo de relaciones entre redes de investigadores. En esta nota, Flaminio Squazzoni explora estas interconexiones y argumenta que entender la revisi\u00f3n por pares simplemente como un ejercicio de control de calidad es estar ciego a las dimensiones hist\u00f3ricas, pol\u00edticas y sociales de la revisi\u00f3n por pares. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":5,"featured_media":3615,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[7,37,40,50],"class_list":["post-3613","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-comunicacion-cientifica","tag-etica-en-la-comunicacion-cientifica","tag-evaluacion-de-la-ciencia","tag-revision-por-pares"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t