¿Cómo escribir una evaluación académica? [Publicado originalmente en el blog de DADOS en julio/2019]

Por Luiz Augusto Campos

Las revistas académicas son hoy el pilar principal de los sistemas de difusión científica, producción y financiación. No solo sirven para difundir las ideas y los resultados de una investigación determinada, sino sobre todo para determinar los patrones de lo que es una investigación académica legítima y, por lo tanto, digna de prestigio y financiación.

Sin embargo, es curioso que la definición de lo que debería y no debería publicarse depende en gran medida del trabajo de un grupo de personas anónimas y no remuneradas: los revisores. En el sistema de revisión por pares doble ciego, todavía hegemónico en el mundo científico contemporáneo, son los revisores los que más influyen en el destino de un artículo.

Si bien están avanzando los modelos alternativos basados en evaluaciones abiertas (preprint) posterior a la publicación o en la divulgación posterior de las identidades de pares, como la propuesta por la plataforma PLOS ONE, parece que no se abdicará rápidamente del modelo baseado en el anonimato. Es de destacar que, en este modelo, las opiniones también suelen tener su lectura restringida a los autores del texto evaluado y los editores de las revistas.

Por esta razón, muchos académicos, especialmente al comienzo de sus carreras, tienen dudas sobre cómo escribir una evaluación. Sin ninguna pretensión de exhaustividad, el propósito de esta publicación es describir, en términos generales, lo que un revisor debe considerar antes de escribir una evaluación. Estas son una serie de normativas consolidadas a lo largo de los años en el flujo editorial de DADOS y otras revistas de ciencias sociales.

¿Por qué escribir una evaluación?

Como son anónimas y privadas, las opiniones dan muy poco en términos de reconocimiento académico. ¿Por qué entonces escribirlas? En primer lugar, la evaluación es el principal instrumento de control de calidad de la producción científica y los estándares mínimos de esta actividad. Al negarnos a dar una opinión, estamos tercerizando esta tarea a otros, renunciando así a la posibilidad de garantizar ciertos estándares de calidad científica.

En segundo lugar, dar consejos es la mejor manera de mantenerse al día en un campo particular de investigación. No todos los académicos asisten a todos los congresos de renombre en su disciplina, pero la mayoría quiere que se publiquen sus ideas. También es común que los neófitos en un área temática hagan esfuerzos para publicar su investigación. De ahí la relevancia de la opinión como una forma de acceder a los temas más recientes.

En tercer lugar, el revisor de hoy será el autor de mañana y viceversa. Esto significa que, como autores, esperamos que nuestros pares sean diligentes en sus evaluaciones y, por lo tanto, debemos ser recíprocos. Además, es común que los editores busquen seguir los textos de sus revisores más efectivos con mayor diligencia y rapidez.

En cuarto lugar, varios sistemas para evaluar la producción científica han incorporado la calidad y cantidad de evaluaciones en sus métricas. El sistema de gestión de flujo ScholarOne, utilizado por muchas revistas, ya tiene un módulo que permite a los editores calificar opiniones y clasificar a los revisores. Algunas áreas de CAPES también consideran la productividad del asesoramiento en sus baremas. Especialmente desde la construcción de la plataforma PLOS ONE, basada en datos de miles de evaluaciones, es probable que esta actividad sea cada vez más reconocida y estudiada.

¿Cuál es el tiempo recomendado para aceptar y escribir una evaluación?

En general, cada revisor tiene un mes para escribir su evaluación. Sin embargo, lo importante es informar a los editores lo antes posible de su disponibilidad, es decir, no retrasar la aceptación o rechazo de la invitación. Esto se debe a que las invitaciones sin respuesta permanecen abiertas, lo que deja a los editores en duda sobre la disponibilidad del revisor y la necesidad de llamar a un segundo o tercer nombre. Por lo tanto, lo más recomendado es aceptar la tarea y solicitar más tiempo para realizarla que posponerla indefinidamente.

¿Qué pasa si no puedo escribir una evaluación?

La rutina académica puede ser extenuante y, en la mayoría de los casos, esto lleva a retrasos en tareas con recompensas menos tangibles. Aunque varía el tiempo que cada académico dedica a sus diferentes actividades, es razonable suponer que él o ella da una evaluación cada dos meses en promedio. Pero incluso cuando de hecho es imposible prestar atención a una invitación para opinar, los revisores pueden ser útiles para recomendar a otros colegas y expertos a la tarea. Por lo tanto, incluso si no está disponible para dar una opinión, la sugerencia de otros nombres es bienvenida.

¿Qué es lo que hace una buena evaluación?

Una buena evaluación es capaz de resumir las características, cualidades y defectos de un manuscrito académico determinado teniendo en cuenta los parámetros de una revista determinada, con el fin de respaldar la decisión de su publicación o no por parte de los editores.

Tenga en cuenta que las evaluaciones son subsidios a la decisión editorial y no la decisión en sí. Depende del editor y sus asesores arbitrar qué hacer con cada texto, especialmente frente a opiniones contradictorias. De ahí la importancia de evitar consejos demasiado sintéticos como “el texto es bueno y debe publicarse” o “el texto es malo y no debe publicarse”. En cambio, trate de discutir los méritos y defectos del manuscrito, indicando claramente por qué son así juzgados y cómo se expresan en el texto. También se recomienda que el árbitro indique formas de mejora, sugiera referencias y resalte pasajes poco claros.

¿Cuáles son las opiniones posibles y qué significan?

Las revistas suelen proporcionar cinco posibles deliberaciones en una opinión:

Aprobar: el texto puede publicarse tal cual, lo que requiere como máximo algunas revisiones de ortografía y gramática, ninguno de los contenidos o la estructura.

Aprobar con revisiones menores: el texto requiere solo unas pocas revisiones, que en teoría pueden realizar fácilmente los autores. Esto abarca cuestiones de forma, falta de referencias, extractos o argumentos poco claros. Sin embargo, se entiende que el texto debe ser publicado. Aunque no es obligatorio, también se entiende que el revisor está abierto a reevaluar una segunda versión del manuscrito si se presenta nuevamente.

Aprobar con revisiones importantes: el texto requiere revisiones más profundas, pero nada que requiera una reestructuración drástica. Esto abarca problemas en general, la falta de varias referencias relevantes y muchos argumentos poco claros. En cualquier caso, se entiende que el texto debe publicarse y que la investigación que produjo no necesita rehacerse. Aunque no es obligatorio, también se entiende que el revisor está abierto a reevaluar una segunda versión del manuscrito si se presenta nuevamente.

Rechazar y volver a enviar: para que el texto sea publicable y contribuya a su área temática, sus objetivos y estructura deben modificarse de manera sustancial. Esta decisión supone que el texto exige cambios profundos, pero que su intención original es viable, legítima y puede dar lugar a contribuciones sustantivas en el futuro, de ahí el incentivo para volver a enviar. Aunque no es obligatorio, se entiende que el revisor está abierto a reevaluar una segunda versión, pero se puede volver a enviar a los nuevos revisores.

Rechazar: para que el texto sea publicable y contribuya a su área temática, sus objetivos y estructura deben modificarse por completo. Esta decisión no supone que el texto “no tiene salvación”, sino que los cambios necesarios son tan drásticos que darían lugar a otro texto si se hicieran.

¿Soy un crítico excesivamente duro o indulgente?

Estrictamente hablando, la gran mayoría de los manuscritos enviados a una revista de calidad son rechazados. Por lo tanto, no se castigue si el número de textos que aprueba es pequeño o mucho menor que los rechazados. También recuerde que su decisión no es definitiva, depende del editor ratificarla, moderarla o complementarla.

¿Qué pasa si detecto algún conflicto de intereses?

En el mundo ideal de la revisión por pares ciegos, los revisores no tienen idea de los autores de los textos que revisan y viceversa. Sin embargo, en la vida real, es común que el tema, el estilo y el enfoque de un texto determinado sugieran al evaluador su autoría. Cuando existe este tipo de sospecha, el revisor debe evaluar en qué medida existe un posible conflicto de intereses, es decir, cuando la motivación para un juicio dado no es solo el interés de que avance el conocimiento, lo que socava la objetividad y imparcialidad de su deliberación. En tales casos, el revisor debe rechazar la invitación y comunicar su motivación al equipo editorial. Se pueden obtener más detalles sobre posibles conflictos de intereses y ética de la evaluación científica del Código de Buenas Prácticas Científicas¹ de FAPESP.

Note

1. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO. Código de buenas prácticas científicas [online]. FAPESP: Fundação de Amparo à Pesquisa do Estado de São Paulo. 2014 [viewed 12 September 2019]. Available from: http://www.fapesp.br/boaspraticas/FAPESP_Codigo_de_Buenas_Practicas_Cientificas_2014.pdf

External links

Dados – Revista de Ciências Sociais <http://dados.iesp.uerj.br/>

PLOS ONE <https://journals.plos.org/plosone/>

Sobre Luiz Augusto Campos

Luiz Augusto Campos es profesor de Sociología y Ciencias Políticas en IESP-UERJ y editor en jefe de DADOS, una de las principales revistas de ciencias sociales brasileñas, publicada durante más de cincuenta años.

Articulo original em inglés

http://dados.iesp.uerj.br/como-redigir-um-parecer/

Traducido del original en portugués por Ernesto Spinak