La revisión por pares como objeto de estudio

Por Lilian Nassi-Caló

En la última década, más y más investigadores de todas las áreas del conocimiento se han dedicado al tema de la comunicación científica como objeto de estudio. El número de artículos y trabajos de revisión enfocando los diversos aspectos de la publicación científica, así como los desafíos impuestos por la era digital es significativo y merece reflexión. Uno de los temas más estudiados es la evaluación de la revisión por pares, incluyendo sus aspectos cualitativos y cuantitativos, su capacidad de detectar e impedir prácticas contrarias a la ética, la evaluación de los métodos de evaluación y cómo la tecnología puede facilitar y mejorar el proceso.

Posts recientes en este blog discuten los pros y contras de las varias modalidades de evaluación por pares y los principales desafíos que se interponen al proceso recientemente. A pesar de los desafíos como la saturación de los revisores, evaluaciones fraudulentas o de mala calidad, la evaluación por pares está firmemente consolidada como la etapa más importante del proceso de publicación de resultados de investigación en la opinión de todos los actores de la cadena editorial, como que proporciona calidad, confiabilidad y originalidad al artículo.

Más de una decena de artículos informan de investigaciones realizadas con autores, editores y evaluadores sobre los varios aspectos de la evaluación por pares. Entre los más recientes trabajos publicados, dos se destacan por el elevado número de la muestra – ambos se refieren a investigaciones con más de 3.500 encuestados – y uno de ellos por cubrir otros temas de la comunicación científica, además de la revisión por pares.

El primero de estos artículos, escritos por Mulligan, Hall y Raphael¹ se refiere a una investigación realizada en 2009 por la agencia Sense about Science para la Fundación Alfred P. Sloan. Esta consistió en enviar cuestionarios online a 40 mil investigadores en todo el mundo, seleccionados aleatoriamente en la base Web of Science, Thomson Reuters. Cerca del 10 por ciento, 4.037 autores, respondieron al cuestionario sobre los diversos aspectos de la revisión por pares, como el índice general de satisfacción. Modalidades (ciegos y otras formas de revisión), velocidad del proceso, evaluación subjetiva sobre las resultados de la evaluación en sus propios artículos, sugerencias para mejoras y otros aspectos.

El artículo firmado por Nicholas, et al.², es una investigación sobre la confiabilidad en la comunicación científica en la era digital realizada en 2013, por el Center for Information and Communication Studies de la Universidad de Tennessee, EUA y CIBER Research Ltd., en el Reino Unido, también para la Fundación Sloan. Los cuestionarios online fueron enviados a los autores a través de seis publishers principales de revistas en que publican y actúan como revisores. Respondieron la consulta 3.650 participantes respecto a cuestiones como establecer parámetros de confiabilidad de la literatura científica, hábitos de lectura y citación, uso de los medios sociales y la opinión de los índices alternativos de impacto científico, entre otros temas. La evaluación por pares es transversal e influye en todos estos temas y los resultados de este estudio son consistentes con los de la investigación de 2009 ya mencionada y también de otros autores en cuanto al papel preponderante como gatekeeper de la comunicación científica, a pesar de haber cierto desacuerdo en cuanto a las formas de mejorar el proceso.

La investigación de 2009 enfoca con más detalle las opiniones de la comunidad científica sobre la evaluación por pares desde las perspectivas del investigador, del autor y del evaluador y busca responder el grado de satisfacción de los entrevistados con el estado actual de la revisión por pares, sus ansiedades, preocupaciones y sugerencias de mejoras. El trabajo de 2013, sin embargo, es menos minucioso y más completo, pues tenía como objetivo evaluar sí y cómo la publicación digital modificó conceptos fuertemente establecidos como la autoridad y confiabilidad de los canales que la literatura científica usa, cita y dónde publican. Es para analizar las preferencias y hábitos de los investigadores tanto productores como consumidores de la información científica, especialmente en relación a su comportamiento en el ambiente digital, uso de los medios sociales y la publicación en acceso abierto.

Revisión por pares, pros y contras

Ambos estudios, y muchos otros, revelan que la evaluación por pares permanece como el pilar central que guía la fiabilidad de la investigación científica. Esta es una práctica familiar, confiable y tradicional que tiene poca variabilidad en todas las disciplinas, en la edad y antigüedad de los investigadores y de la región geográfica. Además, el 91% de los entrevistados en el artículo de Mulligan y colaboradores afirmó que el proceso llevó a la mejora significativa de sus propios artículos, especialmente la discusión. Es interesante notar que las sugerencias de los árbitros son tan valiosas en la opinión de los autores, que afirman que vale la pena enviar sus artículos a revistas de renombre, incluso que no sean aceptados, sólo para beneficiarse de las opiniones de calidad.

Las principales críticas se refieren a los siguientes aspectos: lentitud en la evaluación por parte de los árbitros, motivo principal por el cual los investigadores consideran el proceso poco sustentable; calidad de las opiniones, lo que lleva a que artículos de mala calidad o casos de plagio puedan pasar la evaluación; opiniones sesgadas o con prejuicios: y falta de transparencia en el proceso.

En cuando a la modalidad de la revisión por pares, la preferencia de los autores recae principalmente en el doble ciego (76%), seguido del simple ciego (45%). Ver post publicado anteriormente en este blog que analiza este tema detalladamente³.

Impacto de la evaluación por pares en las actividades académicas

La evaluación por pares influye las principales actividades académicas – uso/lectura, citación y publicación/diseminación, principalmente las dos últimas. Como fuente preferida de literatura usada por los investigadores están las revistas arbitradas. El Factor de Impacto de estas revistas, además, fue considerado importante por la mayoría como calificador de la información. Además de los índices medibles, los investigadores también acceden a sus fuentes preferidas en Internet o revistas no arbitradas para buscar ideas y temas innovadores.

Muchos autores, erróneamente, asocian las revistas de acceso abierto con baja calidad o ausencia de evaluación por pares. Los investigadores desconocen el hecho de que los publishers renombrados también publican revistas de acceso abierto de calidad y, con excepción de las revistas publicadas por los publishers depredadores, no hay motivo para confiar menos en la información publicada en acceso abierto. De hecho, los autores indicaron que incluyen citas de fuentes en acceso abierto, desde que sean arbitradas.

Siguiendo la tendencia de los hábitos de uso de la literatura, los investigadores son aún más conservadores cuando hacen citas. Las principales razones para elegir/confiar en una cita incluye: el autor o su institución es conocida por el investigador; la revista o fuente es conocida; y, el artículo citado es una referencia en el área o aprueba la metodología usada por el autor. Además, los autores prefieren citar artículos de revistas arbitradas, considerados como fuentes confiables y de calidad. Los medios sociales se consideran generalmente comunicación informal y no son citados preferentemente. Corroborando este punto de vista sobre los medios sociales, solo un 15% de los investigadores entrevistados en el estudio de Mulligan, Hall y Raphael consideran que las estadísticas de uso, download y compartir en los medios sociales podrían, en principio, ser usadas como alternativa a la evaluación por pares.

Al elegir una revista para publicar o difundir resultados los autores buscan principalmente la relevancia en su área de actuación. Le sigue en criterio de importancia, la evaluación por pares, y en tercer y cuarto lugar están la publicación por un publisher de renombre y el nivel de citación o Factor de Impacto de la revista, respectivamente. Sin embargo, 75% de los investigadores se sienten seguros en citar artículos de revistas arbitradas, pues creen que ellos contienen información calificada. Publicaciones en revistas que envían a evaluación por pares también son fundamentales para consolidar una carrera académica y obtener financiamiento para la investigación. Esta es una consideración unánime, independiente del área de investigación, incluso en las ciencias sociales en que los libros, monografías y trabajos presentados a congresos constituyen una parte significativa de la producción académica.

Sugerencias para mejorar

Para mantener la sustentabilidad de la evaluación por pares es importante considerar el factor de motivación de los árbitros. Es importante notar que 86% de los 3.597 entrevistados por Mulligan, Hall y Raphael que actúan como árbitros, declararon que aprecian actuar como revisores y pretenden seguir con esa atribución, a pesar de no recibir ninguna forma de recompensa inmediata por su trabajo. Este resultado puede parecer contradictorio con la crisis de evaluación por pares informada recientemente. Los entrevistados de los dos mayores estudios recientes sobre evaluación por pares, sin embargo, son mayoría en afirmar que no consideran la evaluación por pares poco sustentable por la falta de árbitros disponibles. Ellos consideran esta actividad fundamental en el ejercicio de su profesión. Muchos, sin embargo, creen que la formación de investigadores y motivarlos es imperativo para la continuidad del proceso.

La mayoría de los entrevistados declinó al menos una evaluación en los últimos doce meses, siendo el promedio de 2,2 denegaciones por año. Entre las razones más citadas para una denegación están: el artículo está fuera del área de experiencia del investigador; el investigador se encuentra ocupado con temas de su propia investigación; y, finalmente, por estar ocupado con evaluaciones recibidas con anterioridad. Casi la mitad respondió que considera promisoria la complementación de la evaluación por pares con alguna forma de comentario posterior a la publicación. Otros mencionan la publicación previa en repositorios antes de la revisión por pares, para acelerar la difusión de los resultados. Estos artículos son evaluados de cierta forma, a pesar de no pasar formalmente por la revisión por pares, al recibir comentarios y ser aprobados por los moderadores. El repositorio de artículos arXiv de la Universidad de Cornell en el área de física y matemáticas y la revista de literatura médica en acceso abierto PeerJ son buenos ejemplos de esa modalidad.

Los medios sociales, principalmente administradores de referencias como Mendeley y métricas alternativas a nivel de artículo como Altmetrics pueden ser usadas como forma de evaluar la calidad de la investigación publicada, sin embargo, en la opinión del 85% de los entrevistados, no sustituyen la evaluación formal y 47% creen que la complementa. Nicholas, et al., informa que los investigadores trazan una línea bien definida entre los métodos formales de comunicación (revistas arbitradas) y los métodos informales (medios sociales). Para la mayoría de los entrevistados en la investigación, con excepción de unos pocos jóvenes en el inicio de la carrera, la única forma de confiar en material difundido mediante los medios sociales es cuando está ligada a alguna fuente formal, como tweets, páginas de Facebook o blogs de revistas sometidas a la evaluación por pares.

Aún no está claro, sin embargo, entre los investigadores, cuál debe ser el control ejercido sobre los datos de investigación que no está disponibles en forma publica. ¿Sería factible, o incluso recomendable que fuesen evaluados previamente? Considerando que el tema de los datos abiertos es reciente, parece prematuro haberse formado opinión al respecto.

Siguiendo con propuestas innovadoras, es necesario mencionar iniciativas como PaperCritic, cuyo objetivo es proporcionar a los autores feedback sobre su trabajo mediante comentarios publicados en su Sitio Web de la misma forma que ofrece a los investigadores la oportunidad de comentar sobre artículos de otros. Con una propuesta similar, Peerevaluation pretende complementar las métricas cuantitativas existentes con una serie de indicadores de calidad innovadores en la forma de revisiones abiertas, con sugerencias para la mejora de los artículos.

Por último, la mayor parte de los encuestados en la investigación de Nicholas, et al., considera que el Factor de Impacto (FI) guarda una íntima correlación con la evaluación por pares, ambos como indicadores de confiabilidad y calidad. Muchos autores son de la opinión que el cambio de paradigma en dirección a la métrica basada en el artículo y no en la revista llevaría al debilitamiento del FI y de su estrecha relación con la calidad de la investigación. Sin embargo, no es lo que se observa entre los investigadores. El FI, de hecho, está fortalecido y tiene un papel importante para determinar dónde publicar y qué citar, principalmente en países en desarrollo y economías emergentes.

Al parecer, la opinión de la comunidad científica sobre cómo distinguir información y literatura de calidad pasa obligatoriamente por revistas sometidas a la evaluación por pares, en todas las áreas del conocimiento. La transformación de la comunicación científica, muy discutida en algunos medios es un tema futuro para discusión. La insatisfacción que puede haber con la evaluación por pares es la razón para mejorar el sistema y fortalecerlo aún más, en la dirección contraria a la supuesta crisis de saturación del proceso.

Notas

¹ MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: http://dx.doi.org/10.1002/asi.22798

² NICHOLAS, D., and et al. Peer review: still king in the digital age. Learned Publishing. 2015, vol. 28, nº1, pp. 15-21. DOI: http://dx.doi.org/10.1087/20150104

³ Revisión por pares: modalidades, pros y contras. SciELO en Perspectiva. [viewed 29 March 2015]. Available from: http://blog.scielo.org/es/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

Referencias

¿Podrían ser abiertas las evaluaciones de propuestas de financiamiento para la investigación?. SciELO en Perspectiva. [viewed 29 March 2015]. Available from: http://blog.scielo.org/es/2015/03/20/podrian-ser-abiertas-las-evaluaciones-de-propuestas-de-financiamiento-para-la-investigacion/

ARNS, M. Open access is tiring out peer reviewers. Nature. 2014, vol. 515, nº 467, pp. 467. DOI: http://dx.doi.org/10.1038/515467a

Artículo analiza la saturación de los revisores por pares. SciELO en Perspectiva. [viewed 29 March 2015]. Available from: http://blog.scielo.org/es/2015/01/22/articulo-analiza-la-saturacion-de-los-revisores-por-pares/

Datos Abiertos: información líquida, democracia, innovación… los tiempos se están cambiando. SciELO en Perspectiva. [viewed 05 April 2015]. Available from: http://blog.scielo.org/es/2013/11/18/datos-abiertos-informacion-liquida-democracia-innovacion-los-tiempos-se-estan-cambiando/

MULLIGAN, A., HALL, L., and RAPHAEL, E. Peer Review in a changing world: an international study measuring the attitudes of researchers. J. Am. Soc. Inf. Sci. Technol. 2013, vol. 64, nº 1, pp. 132-161. DOI: http://dx.doi.org/10.1002/asi.22798

NICHOLAS, D., and et al. Peer review: still king in the digital age. Learned Publishing. 2015, vol. 28, nº1, pp. 15-21. DOI: http://dx.doi.org/10.1087/20150104

NICHOLAS, D., and et al. Trust and Authority in Scholarly Communications in the Light of the Digital Transition: setting the scene for a major study. Learned Publishing. 2014, vol. 27, nº 2, pp. 121–134. DOI: http://dx.doi.org/10.1087/20140206

ONITILO, A. A., and et al. A core-item reviewer evaluation (CoRE) system for manuscript peer review. Accountability in Research. 2014, vol. 21, nº 2, pp. 109–21. DOI: http://dx.doi.org/10.1080/08989621.2014.847664

PARK, I.-U., PEACEY, M. W., and MUNAFÒ, M. R. Modelling the effects of subjective and objective decision making in scientific peer review. Nature. 2014. vol. 506, nº 7486, pp. 93–6. DOI: http://dx.doi.org/10.1038/nature12786

Revisión por pares: mala con ella, peor sin ella. SciELO en Perspectiva. [viewed 29 March 2015]. Available from: http://blog.scielo.org/es/2015/04/17/revision-por-pares-mala-con-ella-peor-sin-ella/

Revisión por pares: modalidades, pros y contras. SciELO en Perspectiva. [viewed 29 March 2015]. Available from: http://blog.scielo.org/es/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

Trust and Authority in Scholarly Communications in the Light of the Digital Transition. CICS/CIBER. 2013. Available from: http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf

VESNIC-ALUJEVIC, L. Peer review and scientific publishing in times of web 2.0. Publishing Research Quarterly. 2014, vol. 30, nº 1, pp 39-49. DOI: http://dx.doi.org/10.1007/s12109-014-9345-8

Enlaces externos

Altmetrics – <http://altmetrics.org/>

ArXiv – <http://arxiv.org/>

Mendeley – <http://mendeley.com>

PaperCritic – <http://www.papercritic.com/>

Peer J – <https://peerj.com/>

PeerEvaluation – <http://www.peerevaluation.org/>

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.