Revisión por pares: modalidades, pros y contras

Por Lilian Nassi-Caló

A partir de marzo de 2015, la revista Nature pondrá a disposición de los autores la opción de mantener su nombre y afiliación confidenciales durante el proceso de revisión de los artículos enviados. Esta modalidad conocida como revisión por pares doble ciego, difiere del proceso simple ciego, en el que solo se mantienen en secreto la identidad de los revisores, inclusive después de la publicación del artículo.

La revisión por pares se considera por la gran mayoría de los investigadores como el mecanismo más efectivo y eficaz para garantizar la calidad, confiabilidad, integridad y consistencia de la literatura académica. Las limitaciones y fallas del proceso, principalmente en relación al fraude y plagio, sin embargo reconocidas, no disminuyen su largo empleo, incluso porque no se conoce otro método más eficiente.

El continuo aumento del número de revistas y artículos en todo el mundo, impulsado principalmente por la publicación online, no está acompañado en la misma proporción por el número de investigadores, lo que ha ocasionado la saturación del minucioso trabajo de revisión por pares. De este modo, es cada vez más difícil obtener buenas revisiones dentro de los plazos prescritos por las revistas – y deseados por los autores.

Realmente, están siendo consideradas nuevas formas de revisión por pares, como alternativas a los métodos de simple y doble ciego. Revisiones totalmente abiertas, en que la identidad de autores y revisores es conocida por ambos; revisiones abiertas publicadas al final del artículo, abriendo espacio para discusiones posteriores a la publicación; y la sustitución de la revisión por pares por la revisión posterior a la publicación están entre las alternativas que se destacan como formas de evolución del proceso original de peer review.

Un estudio detallado conducido por Mulligan et al. en 2009¹, con 4.037 investigadores en todo el mundo con actividad reconocida como revisores, mostró que la gran mayoría considera la revisión por pares esencial a la comunicación científica, y nueve de cada diez afirmaron que el proceso agrega calidad a sus propios manuscritos, siendo el doble ciego el sistema considerado más efectivo por el 76% de los encuestados. El sistema de simple ciego también fue considerado efectivo por 45% de los entrevistados, y 47% apoyan a la revisión posterior a la publicación como forma complementaria del proceso. Apenas 15%, sin embargo, creen que la revisión por pares puede ser sustituida por estadísticas de uso, y un número todavía pequeño, sin embargo creciente, cree en la revisión abierta (20%) y en la revisión abierta publicada en secuencia al artículo (25%).

Los argumentos principales en favor de la revisión en la modalidad doble ciego son la eliminación del juicio subjetivo y prejuicios de autoría y afiliación, impidiendo que instituciones menos reconocidas y autores de países cuyo idioma nativo no es el inglés tengan las mismas oportunidades de publicar sus artículos. Además de eso, fomenta opiniones sinceras y permite al revisor concentrarse en la calidad del manuscrito. A la inversa también es cierto, o sea, en el proceso doble ciego un investigador prominente o perteneciente a una institución de renombre no obtiene la aprobación de sus artículos en función de ese hecho. Por otra parte, los investigadores creen que no es posible mantener el anonimato siempre, pues el tema, las autocitas, o el estilo, terminan dando fuertes indicios de la autoría. Otros sostienen que conocer al autor es importante para entender mejor el contenido del artículo y ayuda a detectar el plagio.

Los investigadores señalan la revisión simple ciego como la más efectiva (45% de los investigadores entrevistados en el estudio de Mulligan, et al.) indican los mismos factores para defender su uso: eliminar los sesgos, animar las opiniones honestas y enfocar en la calidad del manuscrito. Posiblemente se refieren a estas ventajas en relación a la revisión abierta o la revisión abierta publicada al final del articulo. Las razones señaladas para considerar la revisión simple ciego como no efectiva son que las instituciones menos prestigiosas y autores de países en desarrollo son perjudicados en esta modalidad, además de permitir a los competidores atrasar la publicación a propósito.

La revisión abierta es considerada efectiva por el 20% de los investigadores, principalmente porque asegura comentarios honestos y menos corrosivos que en la revisión simple o doble ciego, involucrando al revisor y al autor en un debate científico y fructífero. Los que se oponen creen que se anima a los revisores a ser poco críticos, puede excluir a los revisores jóvenes, da la oportunidad al autor para influir al revisor, además de fomentar la disputa entre ambos.

La revisión abierta publicada a continuación del articulo (indicada como efectiva por el 25% de los investigadores) tiene como ventajas asegurar que los revisores sean honestos y serviciales al escribir sus comentarios, además de hacer que aumente la calidad de las revisiones, y animar al debate entre el autor y el revisor, involucrando también a otros investigadores, en caso de que se admitan comentarios de terceros. Otra ventaja es reconocer públicamente lo importante que es el trabajo de los revisores. Como desventaja fueron indicadas que algunas culturas pueden considerar que la publicación de las revisiones podrían herir las relaciones jerárquicas o que los informes no sean críticos como debieran serlo.

Otro tipo combina la revisión por pares simple o doble ciego con la revisión posterior a la publicación, y cuenta con 47% de los encuestados que la consideran efectiva, principalmente por considerar que esta modalidad incentiva el diálogo, amplía el alcance de los comentarios además de uno o dos revisores, y permite que las inconsistencias en el artículo sean señaladas tan pronto como se encuentran, y publicadas a continuación del artículo. Los que consideran que no es efectiva, argumentan que sin el control adecuado editorial la discusión puede prolongarse indefinidamente, mientras que otros defienden que los debates de esta naturaleza ocurren preferentemente en las conferencias.

Finalmente, la sustitución de la revisión por pares por estadísticas de uso, considerada efectiva por solamente 15% de los investigadores entrevistados, tiene como principal razón el hecho de ser más rápida, objetiva y no impedir que los resultados negativos, igualmente sean publicados. Por otra parte, los investigadores que discrepan con esta metodología están principalmente preocupados con el atraso en generar estadísticas significativas y que los artículos no serán mejorados, transformando la ciencia en un concurso de popularidad. Además de esto, no hay indicios de que las diferencias subjetivas en los hábitos de descarga se consideren en este análisis. En última instancia, un artículo popular no es necesariamente un buen artículo.

En general, 91% de los 4.037 investigadores que participaron en la investigación de Mulligan, et al. Consideraron que el proceso de revisión por pares mejoró la calidad de su último artículo publicado. El mismo porcentaje, de 91%, afirmó que la sección que más se beneficia de la revisión es la discusión, mientras que 85% de los autores de países/regiones cuyo idioma nativo no es el inglés, como Asia y América Latina, afirman que la revisión mejoró mucho la redacción y la legibilidad de los trabajos. Este índice, sin embargo, incluso para la América del Norte, Oceanía y Europa, se sitúa entre 60% y 70%, mostrando que la revisión consigue mejorar la redacción de autores cuyo idioma nativo – o segunda lengua es el inglés.

El Programa SciELO, en su continuo esfuerzo por mejorar la calidad, credibilidad, visibilidad, uso e impacto de las revistas que publica, recomienda a los editores que la evaluación de los manuscritos se lleve a cabo de manera eficiente y transparente con el apoyo de sistemas online. Estos sistemas, además de organizar las funciones de todos los actores involucrados en el proceso (autores, editor en jefe, editores asociados, revisores, administradores, etc.) permiten a los editores y al Comité Consultivo SciELO acompañar los flujos de trabajo y mejorar la eficiencia del proceso, además de generar estadísticas e indicadores.

Según datos extraídos del sistema ScholarOne de gestión de manuscritos el 27 de febrero, fue posible obtener la distribución de las modalidades de revisión por pares adoptadas por las revistas de la colección SciELO Brasil. Del total de 79 revistas registradas en el sistema, 23 adoptan la revisión simple ciego (29%); 53 la revisión doble ciego (67%); y tres revistas adoptan la revisión triple ciego, en la que solo el editor jefe conoce la identidad y afiliación de los autores y revisores, pero no los editores asociados.

De acuerdo con el área de concentración, la metodología simple ciego es la preferida por las áreas de Ciencias Biológicas, Ingeniería y Ciencias Exactas y de la Tierra; el doble ciego es adoptado preferentemente por las revistas de las Ciencias Agrarias, Ciencias Sociales Aplicadas, Ciencias de la Salud, Ciencias Sociales y Lingüística, Literatura y Artes. La revisión triple ciego, todavía incipiente en las revistas brasileñas y también en otros países, es adoptada por dos revistas de Ciencias Sociales Aplicadas y una de Ciencias de la Salud.

Las preferencias identificadas en las revistas de la colección SciELO Brasil coinciden en gran medida con las del estudio de Mulligan, et al., en el cual la revisión doble ciego es indicada por 76% de los entrevistados como eficaz y la revisión simple ciego, por 45%. En cuanto a las áreas de concentración, los autores también identificaron que las áreas de Artes y Humanidades, Ciencias Sociales y Ciencias de la Salud, tienden a preferir el método doble ciego, mientras que las Ciencias Exactas y de la Tierra, Ciencias Agrícolas e Ingeniería usan con preferencia revisiones simple ciego.

Nature, en su anuncio sobre la opción por la revisión doble ciego², informa que los resultados de la investigación por los editores de su propio grupo de revistas con investigadores jóvenes en todo el mundo confirman la tendencia a favor de este tipo de revisión, revelando la percepción de que los prejuicios de autoría afectan la revisión simple ciego. Este prejuicio se refleja también en menor número de citaciones que los autores de países en desarrollo reciben en revistas de prestigio.

Como se ha informado en este blog, el sistema de evaluación por pares de encuentra saturado por el aumento del número de publicaciones online y desproporcionado con el número de investigadores para revisarlo. Paradójicamente a lo que presentamos en este post, los dos modelos propuestos para atender la demanda involucran las revisiones abiertas. Uno de ellos propone un modelo híbrido que implica la revisión posterior a la publicación y el segundo informa de un servicio online para el registro y publicación de revisiones con la finalidad de dar crédito y reconocimiento a los revisores.

La cuestión de cuál es el sistema más adecuado de revisión por pares no tiene una única respuesta. Cada revista debe esforzarse por atender de la mejor forma posible a su comunidad de autores, editores y lectores y evaluar los pros y contras de cada modalidad. Sin embargo, hay consenso de que las medidas simples como entrenar a las nuevas generaciones es imperioso para la sustentabilidad del sistema de revisión por pares.

Notas

¹ MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: 10.1002/asi.22798

² Nature journal offers double-blind review. Nature. 2015, vol. 518, nº 7539. DOI: 10.1038/518274b.

Referencias

Artículo analiza la saturación de los revisores por pares. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2015/01/22/articulo-analiza-la-saturacion-de-los-revisores-por-pares/

Artículo propone cuatro pilares para la comunicación científica para promover la velocidad y la calidad de la ciencia. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2013/07/31/articulo-propone-cuatro-pilares-para-la-comunicacion-cientifica-para-promover-la-velocidad-y-la-calidad-de-la-ciencia/

Cienciometría de evaluadores – ¿serán finalmente reconocidos?. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2014/05/14/cienciometria-de-evaluadores-seran-finalmente-reconocidos/

Ética editorial: los arbitrajes fraudulentos. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2015/02/20/etica-editorial-los-arbitrajes-fraudulentos/

La reproducibilidad en los resultados de investigación: la punta del iceberg. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2014/02/27/la-reproducibilidad-en-los-resultados-de-investigacion-la-punta-del-iceberg/

Las revistas SciELO se perfeccionan con la adopción de flujos clásicos de gestión online de manuscritos. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2014/07/30/las-revistas-scielo-se-perfeccionan-con-la-adopcion-de-flujos-clasicos-de-gestion-online-de-manuscritos/

MENEGHINI, R. and PACKER, A. L. Is there science beyond English? EMBO reports. 2007, vol. 8, nº 2, pp. 112-116. DOI: 10.1038/sj.embor.7400906.

MENEGHINI, R., PACKER, A. L., NASSI-CALO, L. Articles by Latin American authors in prestigious journals have fewer citations. PLoS One. 2008, vol. 3, nº 11. DOI: 10.1371/journal.pone.0003804

MULLIGAN, A., HALL, L. and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: 10.1002/asi.22798

Nature journal offers double-blind review. Nature. 2015, vol. 518, nº 7539. DOI: 10.1038/518274b.

Polémico artículo en Science expone debilidades en la revisión por pares en una serie de revistas de acceso abierto. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2013/11/05/polemico-articulo-en-science-expone-debilidades-en-la-revision-por-pares-en-una-serie-de-revistas-de-acceso-abierto/

PubMed Commons: NLM lanza versión piloto que permite comentarios abiertos sobre artículos. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2013/12/20/pubmed-commons-nlm-lanza-version-piloto-que-permite-comentarios-abiertos-sobre-articulos/

SciELO Brasil revisa los criterios de indexación. SciELO en Perspectiva. [viewed 01 March 2015]. Available from: http://blog.scielo.org/es/2014/05/09/scielo-brasil-revisa-los-criterios-de-indexacion/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.