La revisión por pares no es solo control de calidad, es parte de la infraestructura social de investigación [Publicado originalmente en el LSE Impact Blog en junio/2019]

Por Flaminio Squazzoni

La revisión por pares tiene mala fama en las redes sociales y en la prensa. Escriba “la revisión por pares es…” en la búsqueda de Google y entre las primeras entradas que encontrará está “la revisión por pares está rota”. Parece que la revisión por pares es ahora uno de los medios más populares a través del cual la frustración académica encuentra una manera de expresarse. La hipercompetencia y la cultura dominante de “publicar o perecer” (publish or perish) en la academia no ayudan.

Creo que esto también revela un profundo malentendido de lo que realmente es esta institución. Por ejemplo, la opinión general es que la revisión por pares es un mecanismo de selección de calidad para revistas académicas y a menudo se estudia como tal. En resumen, si los manuscritos tuvieran una calidad objetiva intrínseca, los árbitros y editores solo tendrían que ser lo suficientemente inteligentes, desinteresados e imparciales para reconocerlo. Los manuscritos de alta calidad aparecerían en revistas prestigiosas, los manuscritos de calidad media encontrarían su camino a los menos prestigiosos, mientras que la ciencia espeluznante simplemente no pasaría el filtro o alimentaría algunas revistas depredadoras en línea. Mucha investigación mide la calidad del proceso en términos de desacuerdo con el árbitro: cuanto mayor es el desacuerdo, más fuerte es la evidencia del sesgo subjetivo de los revisores. Tres expertos no pueden tener opiniones diferentes sobre un manuscrito, porque la calidad es una propiedad intrínseca del manuscrito, habla por sí misma. El juicio experto debe ser consistente. Esto es lo que todos esperan de una revisión por pares robusta y sólida. Hay algo de verdad en este punto de vista, al menos es coherente con la naturaleza organizativa estratificada y jerárquica del prestigio y el valor académico.

Sin embargo, la revisión por pares también es algo más, si no algo incluso completamente diferente en primera instancia. Además de ser un dispositivo de control de calidad, la revisión por pares es un esfuerzo distribuido para reconocer y aumentar el valor de los manuscritos y, por lo tanto, es inherentemente “constructivo”. Es al mismo tiempo un contexto en el que los expertos desarrollan, adaptan y hacen cumplir estándares de juicio, una forma de conexión y cooperación (directa e indirecta), un discurso disciplinado y mediado entre expertos (a menudo no relacionados) en un ambiente “seguro” (aunque a menudo desorganizado y ambiguo). Y, por lo tanto, también es inherentemente “social”. Si esto es cierto, la revisión por pares no puede verse como un “juego de predicción” sobre la calidad objetiva de los manuscritos. A diferencia de una actividad, en que las personas adivinaban el peso de un buey, que fascinó tanto al científico británico Francis Galton a principios de 1900, no hay un peso o valor preestablecido y sin ambigüedades que pueda atribuirse a un trabajo de investigación.

En un reciente proyecto de colaboración a gran escala “PEERE”, hemos tratado de explorar estos puntos de vista alternativos sobre la revisión por pares y estimular un debate sobre las múltiples funciones y componentes de la revisión por pares como una institución social compleja.

Por ejemplo, en un artículo publicado en Scientometrics¹, rastreamos todos los manuscritos rechazados por una revista y rastreamos su publicación posterior en otros medios. Descubrimos que los manuscritos rechazados que se publicaron más tarde en otras revistas se beneficiaron en términos de citas posteriores al estar expuestos a más de una ronda de revisiones antes del rechazo. Después de haber recibido un informe de revisión más detallado y, lo que es más importante, de estar sometido a un mayor desacuerdo por parte de la revista de rechazo. Algunos de ellos fueron publicados en revistas que tenían un factor de impacto más alto que la revista de rechazo. Esto sugeriría que la revisión por pares puede considerarse un “multiplicador de valor” y que el desacuerdo del revisor y más rondas de revisiones no son síntomas de un juicio inconsistente del revisor, pero podrían ayudar a los autores a mejorar sus manuscritos.

En un artículo más reciente publicado en el Journal of Informetrics², utilizamos el término “mano invisible” de la revisión por pares para describir cómo el proceso es una conexión entre académicos expertos en primer lugar. Mapeamos las conexiones entre todos los académicos que presentaron y/o revisaron manuscritos para una revista multidisciplinaria siguiendo estrictamente una revisión por pares doble ciego. La idea era medir las posiciones respectivas en la estructura de red de la comunidad antes y después de que fueran igualadas por una revisión por pares doble ciego. Descubrimos que los árbitros tendían a recomendar presentaciones más positivas de los autores que se encontraban dentro de los tres pasos en su red de colaboración antes de ser emparejados por el editor de la revista. Descubrimos que cuando estos árbitros más cercanos eran exigentes, es decir, solicitaban revisiones importantes, los manuscritos se citaban más cuando finalmente se publicaban. Más interesante aún, descubrimos que las posiciones de la red de coautoría cambiaron después de la revisión por pares, y las distancias de colaboración entre los científicos disminuyeron más rápidamente de lo que cabría esperar si los cambios hubieran sido aleatorios. Encontramos casos de árbitros que colaboran directamente con autores que revisaron previamente, con quienes no estaban relacionados anteriormente. También encontramos casos en los que estos patrones de colaboración ex post no fueron determinados por la publicación del manuscrito. La futura colaboración fue más probable incluso cuando los manuscritos fueron finalmente rechazados y los árbitros no sabían los nombres de los autores del manuscrito. Esto sugeriría que la revisión por pares no solo refleja, sino que también crea y acelera la colaboración científica. Si esto es cierto, el verdadero “sesgo” no es la subjetividad del juicio experto sino la falta de diversidad y representatividad en la selección del árbitro.

En resumen, estos son solo ejemplos de un intento de analizar la revisión por pares de una manera más coherente con la dimensión histórica, social y política de esta institución. Como nos recuerdan historiadores como Alex Czizar, la revisión por pares refleja el estado público de la ciencia y siempre ha tenido múltiples funciones y dimensiones. Estudiarlo solo como un contexto de evaluación de calidad no le hace justicia a la complejidad de esta institución clave en torno a la cual se construye la autonomía, la legitimidad y la credibilidad de la ciencia.

Notas

1. CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1

2. DONDIO, P. The “invisible hand” of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016/j.joi.2019.03.018. Available from: https://www.sciencedirect.com/science/article/pii/S1751157718304206

Referências

CASNICI, N. Assessing peer review by gauging the fate of rejected manuscripts: the case of the Journal of Artificial Societies and Social Simulation. Scientometrics [online]. 2017, vol. 113, no. 1, pp. 533-546 [viewed 15 January 2020]. DOI: 10.1007/s11192-017-2241-1. Available from: https://link.springer.com/article/10.1007/s11192-017-2241-1 s

CSISZAR, A. Peer review: Troubled from the start [online]. Nature. 2016 [viewed 15 January 2020]. Available from: https://www.nature.com/news/peer-review-troubled-from-the-start-1.19763

DONDIO, P. The “invisible hand” of peer review: The implications of author-referee networks on peer review in a scholarly jornal. Journal of Informetrics [online]. 2019, vol. 13, no. 2, pp. 708-716 [viewed 15 January 2020]. DOI: 10.1016/j.joi.2019.03.018. Available from: https://www.sciencedirect.com/science/article/pii/S1751157718304206

Links externos

Behave Lab <http://www.behavelab.org/>

Flaminio Squazzoni – Twitter <https://twitter.com/squazzoni>

PEERE <https://www.peere.org/>

The Journal of Artificial Societies and Social Simulation <http://jasss.soc.surrey.ac.uk/JASSS.html>

Sobre Flaminio Squazzoni

Flaminio Squazzoni es profesor de sociología en la Universidad de Milán, Italia, donde dirige Behave, un nuevo centro de investigación y capacitación en sociología del comportamiento. Es editor de JASSS y trabaja en la revisión por pares, las normas sociales y la investigación del comportamiento. Los lectores interesados pueden contactarlo a través de su correo electrónico: <flaminio.squazzoni@unimi.it> y/o dialogar con él en @squazzoni.

Articulo original em inglés

https://blogs.lse.ac.uk/impactofsocialsciences/2019/06/12/peer-review-is-not-just-quality-control-it-is-part-of-the-social-infrastructure-of-research/

Traducido del original en inglés por Ernesto Spinak