Evaluación por pares: recomendación de las revistas a los evaluadores

Por Lilián Nassi-Calò

Fotografía adaptada de la original: frankieleon.

Considerada uno de los pilares de la comunicación científica, la evaluación por pares está pasando por un profundo análisis y escrutinio detallado de su metodología. El modelo actual que presupone que toda la producción científica pase obligatoriamente por revisión por pares antes de la publicación está siendo revisado y está previsto el surgimiento muy pronto de modelos alternativos de evaluación más sustentables, rápidos y eficientes^1-3.

De hecho, ya estamos siendo testigos de esta transición. Las revistas ya ofrecen a los autores la opción de evaluación abierta, con la posibilidad de publicar el historial de la revisión inmediatamente a continuación del artículo, y otros dejan abierta a la comunidad científica la evaluación de relevancia e impacto, juzgando previamente sólo la consistencia metodológica y cierto grado de innovación. Los repositorios de preprints abren innumerables perspectivas para la comunicación científica, en escenarios donde los investigadores, las agencias de fomento, los profesionales y la sociedad se benefician de la disponibilidad inmediata y abierta de los resultados de investigación.

En este escenario, es cada vez más importante para los editores de revistas orientar a los revisores sobre lo que se espera de su trabajo. Las instrucciones claras y precisas sobre cómo conducir la evaluación por pares permiten realizar esta etapa importante de la publicación de los resultados de investigación de forma adecuada a la política editorial de las revistas, su alcance y público objetivo, y promover uniformidad en el procedimiento.

Las recomendaciones destinadas a los revisores sobre las particularidades del proceso de evaluación por pares conducidos por el editor o la revista, sin embargo, son poco practicadas. El análisis de las instrucciones a los autores de revistas en ciencias de la salud de la colección SciELO Brasil, realizado a mediados de 2016, y publicado en este blog⁴, mostró que ninguna de estas revistas incluye recomendaciones a los revisores sobre cómo llevar a cabo esta etapa importante de la publicación científica. La literatura confirma esta deficiencia en directrices, como muestra el estudio de Hirst y Altman⁵ sobre una amplia búsqueda realizada en 2010 y 2011 en las bases de datos del área de la salud por literatura que informara sobre instrucciones de las revistas a evaluadores referente a la evaluación por pares, la política editorial, y a temas relacionados a las normas de publicación, búsqueda que resultó nula. Estos autores llevaron a cabo, también, una investigación en los sitios de las 116 revistas de la McMaster list, revisada por el American College of Physicians⁶ en busca de recomendaciones a los evaluadores y de éstas solo 41 revistas (35%) ofrecían estas directrices en las instrucciones a los autores.

Con el fin de investigar la presencia de tales recomendaciones y su contenido en revistas de renombre, realizamos una búsqueda en los portales de las revistas de los principales editores de revistas referente a las instrucciones destinadas a los revisores sobre la forma de llevar a cabo la evaluación por pares de acuerdo con la política editorial de las revistas editadas. Seleccionamos las siguientes revistas: PLoS ONE, Molecular Biology of the Cell (abreviado como Mol Biol Cell), Proceedings of the National Academy of Sciences of the USA (PNAS), F1000Research (F1000), PeerJ, Europhysics Letters y Cell. El portal de la Royal Society of Chemistry fue incluído por agregar 44 revistas de química, biología, bioquímica y biomedicina, toxicología, fotoquímica, ciencias de los alimentos, ciencia de los materiales y medio ambiente, entre otras. Además de éstas, investigamos las recomendaciones de los siguientes editores: Nature Publishing Group, BMJ Publishing Group, Elsevier, Taylor & Francis y Willey Blackwell.

Las instrucciones a los revisores fueron evaluadas usando 20 criterios: la revisión preliminar por el editor jefe o el comité editorial; informar sobre aceptar/declinar una evaluación; el intervalo de tiempo aceptable para realizar una evaluación; conflicto de intereses; la confidencialidad; el reconocimiento tanto de los aspectos positivos como también las fallas del artículo; la cautela al sugerir trabajo adicional; los cinco criterios necesarios para publicación; la posibilidad de hacer comentarios confidenciales al editor: la modalidad de evaluación; el proceso de evaluación ciega; la existencia de un formulario padrón; la concordancia con la política de datos abiertos; la edición de los comentarios de los evaluadores por el editor jefe; y la transferencia de evaluaciones y de los manuscritos para otras revistas.

En cuanto al primer criterio, la revisión de los artículos enviados por parte del editor jefe o el comité editorial antes de enviarlo a los revisores, todas las revistas y editores investigados adoptan ese procedimiento. La Royal Society of Chemistry, sin embargo, no informa explícitamente sobre esta etapa en la página dedicada a los revisores, pero esto no significa que no lo adopte.

La totalidad de las revistas y editores consultados contienen instrucciones explícitas sobre cómo los evaluadores deben informar cuanto antes si aceptan o declinan de hacer una determinada evaluación en el tiempo estipulado por la revista/editor. Todas, con excepción de Europhysics Letters, solicitan a los revisores que declaren cualquier conflicto de intereses identificado al recibir un manuscrito para evaluar. En cuanto a la confidencialidad, todas las revistas y editores, con excepción de F1000, que adopta la revisión por pares abierta posterior a la publicación, solicitan a los evaluadores mantener confidenciales las informaciones sobre el manuscrito y sus autores durante todo el proceso de evaluación, al menos hasta la publicación del artículo.

En la tentativa de conducir la evaluación por pares de forma constructiva, la mayor parte de las revistas y editores orienta a sus evaluadores a reconocer los aspectos positivos y las fortalezas del manuscrito, al mismo tiempo que apunta a las fallas a ser corregidas. De nuestra selección, solo PLoS ONE, o F1000 y las revistas de la Royal Society of Chemistry no sugieren específicamente esta actitud. De la misma manera, la solicitud de nuevos experimentos y/o análisis, según los editores experimentados debe ser hecha con parsimonia, cuando sea realmente necesario. Esta orientación, sin embargo, sólo se hace por el Nature Publishing Group, o PeerJ, o PNAS, y Mol Biol Cell.

Las revistas y editores consultados son unánimes al estipular como criterios mínimos para la publicación de manuscritos: la originalidad de la contribución y la concordancia con el alcance de la revista; la metodología adecuada y válida; el análisis riguroso de los resultados y conclusiones apoyadas por los datos presentados; el uso correcto de la lengua inglesa; el cumplimiento con los criterios éticos de experimentación y la integridad en la investigación.

Durante el proceso de evaluación, es posible que surja la necesidad del evaluador de hacer comentarios al editor, que no son llevados a conocimiento de los autores. Las publicaciones consultadas varían considerablemente de posición en cuanto a este tema. PLoS ONE, específicamente, no acepta estos comentarios, mientras que Cell, el Nature Publishing Group y Willey Blackwell lo aceptan. Las demás no mencionan si aceptan o no estos comentarios y, presumiblemente, juzgan caso a caso.

En cuanto a la modalidad de evaluación por pares, todas las revistas y los editores consultados llevan a cabo la evaluación pre-publicación, excepto F1000, que realiza la evaluación pos-publicación. El proceso más común es el simple ciego, o sea, los evaluadores conocen la identidad de los autores, pero no lo contrario, que sí ocurre con PLoS ONE, PNAS, PeerJ, Cell, la Royal Society of Chemistry, Elsevier, y Taylor and Francis. Solamente Willey Blackwell adopta el doble ciego, o sea, los evaluadores y los autores desconocen la identidad del otro, y la revista Mol Biol Cell no especifica el proceso de evaluación ciega adoptado. F1000 y el grupo BJM conducen evaluación abierta, o sea, los evaluadores firman las evaluaciones al enviarlas a los autores. Sin embargo, los evaluadores del Nature Publishing Group y de las revistas de la Royal Society of Chemistry son alentados, pero no obligados, a informar sus nombres a los autores, en una tentativa de hacer el proceso de revisión por pares más transparente y responsable.

De las revistas consultadas, PLoS ONE, Cell, Europhysics Letters, y los editores de Royal Society of Chemistry, Elsevier, Taylor and Francis (solo en parte) y Willey Blackwell usan un formulario padrón para la evaluación por pares. PNAS, F1000, PeerJ, y el BMJ Publishing Group no lo adoptan; el resto no especifica.

En cuanto a la adopción de la política de datos abiertos, sólo PLoS ONE, F1000, Cell, Elsevier y Willey Blackwell requieren que los autores estén de acuerdo con la disponibilidad de los datos de investigación en repositorios de acceso abierto. Los demás no mencionan ninguna recomendación a este respecto.

Se sabe que, a pesar de la evaluación de los revisores, corresponde al editor jefe la decisión final sobre la aceptación o rechazo del manuscrito para publicación. Sin embargo, muchas revistas adoptan la política de no intervenir en el contenido de las opiniones enviadas a los autores. En nuestra selección, PLoS ONE, F1000, PeerJ, el BMJ Publishing Group, y el Nature Publishing Group declaran que no editan, como norma, los comentarios de los evaluadores, y las demás revistas/editores no informan su política en este sentido.

El trabajo de revisión por pares es extremadamente minucioso y demanda tiempo y esfuerzo de los investigadores. Con el fin de no desperdiciar este valioso trabajo en los casos en que el manuscrito no es aprobado para publicación en una determinada revista, es una práctica no rara dentro de un mismo grupo editorial, con la anuencia de los autores, transferir el manuscrito y las revisiones a otra revista. PLoS ONE, Mol Biol Cell, Cell, Europhysics Letters, la Royal Society of Chemistry, el BMJ Publishing Group, y el Nature Publishing Group adoptan esa práctica, mientras que las demás revistas no informan sobre esta posibilidad en las recomendaciones a los evaluadores. En el caso de F1000 esto no se aplica, ya que la revista lleva a cabo una evaluación posterior a la publicación.

El conjunto de recomendaciones destinadas a los evaluadores ofrecidas por las revistas y editores relacionados en este post es extremadamente útil y permite que la evaluación sea llevada a cabo de forma homogénea, equilibrada y justa, yendo al encuentro de los objetivos y política editorial de la publicación. Un editorial publicado en Mol Biol Cell en 2011, de autoría de David G. Drubin, al presentar las recomendaciones a los evaluadores de la revista, se titula “Cualquiera puede derribar un granero, pero es necesario un buen carpintero para construir uno”. El autor explica el título: “los autores usan su corazón, alma y energía creativa para realizar experimentos y relatar los resultados en manuscritos, pero los evaluadores muchas veces, parece que están más interesados en derrumbar el granero que en ayudar al carpintero con el proyecto de construcción, o solicitan una estructura totalmente nueva”⁷.

Drubin afirma que las publicaciones representan los resultados de toda la carrera de un investigador, y les asegura el reconocimiento y la obtención de financiamiento, por lo que, para el legado científico de un investigador, la evaluación por pares es de suma importancia.

La diseminación de buenas prácticas en la evaluación por pares beneficia a toda la comunidad científica, por lo que poner a disposición las políticas y procedimientos, normas y reglas claras sobre cómo conducirla deben ser alentadas, como viene haciendo el Programa SciELO, que tiene entre sus prioridades el aumento de la eficiencia, transparencia y calidad de los procesos de evaluación de manuscritos.

Notas

1. SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030

2. NASSI-CALÒ, L. Aumenta la adopción de evaluación por pares abierta [online]. SciELO en Perspectiva, 2017 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta

3. VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion

4. NASSI-CALÒ, L. Instrucciones a los autores de revistas en salud: ¿qué es lo que comunican? [online]. SciELO en Perspectiva, 2016 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2016/08/03/instrucciones-a-los-autores-de-revistas-en-salud-que-es-lo-que-comunican

5. HIRST, A. and ALTMAN, D.G. Are Peer Reviewers Encouraged to Use Reporting Guidelines? A Survey of 116 Health Research Journals. PLoS one [online]. 2012, vol. 7, no. 4, e35621, ISSN: 1932-6203 [viewed 16 August 2017]. DOI: 10.1371/journal.pone.0035621. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0035621

6. Journals Reviewed List [online]. McMaster University [viewed 16 August 2017]. Available from: https://hiru.mcmaster.ca/hiru/journalslist.asp

7. DRUBIN, D. G. Any jackass can trash a manuscript, but it takes good scholarship to create one (how MBoC promotes civil and constructive peer review). Molecular Biology of the Cell [online]. 2011, vol. 22, no. 5, pp. 525-527, ISSN: 1939-4586 [viewed 16 August 2017]. DOI: 10.1091/mbc.E11-01-0002. Available from: http://www.molbiolcell.org/content/22/5/525

Referencias

DRUBIN, D. G. Any jackass can trash a manuscript, but it takes good scholarship to create one (how MBoC promotes civil and constructive peer review). Molecular Biology of the Cell [online]. 2011, vol. 22, no. 5, pp. 525-527, ISSN: 1939-4586 [viewed 16 August 2017]. DOI: 10.1091/mbc.E11-01-0002. Available from: http://www.molbiolcell.org/content/22/5/525

HIRST, A. and ALTMAN, D.G. Are Peer Reviewers Encouraged to Use Reporting Guidelines? A Survey of 116 Health Research Journals. PLoS one [online]. 2012, vol. 7, no. 4, e35621, ISSN: 1932-6203 [viewed 16 August 2017]. DOI: 10.1371/journal.pone.0035621. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0035621

Journals Reviewed List [online]. McMaster University [viewed 16 August 2017]. Available from: https://hiru.mcmaster.ca/hiru/journalslist.asp

NASSI-CALÒ, L. Aumenta la adopción de evaluación por pares abierta [online]. SciELO en Perspectiva, 2017 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta

NASSI-CALÒ, L. Instrucciones a los autores de revistas en salud: ¿qué es lo que comunican? [online]. SciELO en Perspectiva, 2016 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2016/08/03/instrucciones-a-los-autores-de-revistas-en-salud-que-es-lo-que-comunican

NASSI-CALÒ, L. Proceso de evaluación por pares [online]. SciELO en Perspectiva, 2017 [viewed 20 September 2017]. Available from: https://docs.google.com/spreadsheets/d/1teYzQW4p1Es5oLqNq3YXmwkO3zJCDc6u75_UwP36hE4/edit?usp=sharing1.

SPINAK, E. ¿Cómo será el arbitraje por pares en el año 2030? [online]. SciELO en Perspectiva, 2017 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2017/07/26/como-sera-el-arbitraje-por-pares-en-el-ano-2030

VELTEROP, J. ¿La crisis de reproducibilidad se ve agravada por la revisión por pares pre publicación? [online]. SciELO en Perspectiva, 2016 [viewed 16 August 2017]. Available from: http://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.