{"id":3205,"date":"2019-03-27T15:45:29","date_gmt":"2019-03-27T18:45:29","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=3205"},"modified":"2019-03-27T15:49:38","modified_gmt":"2019-03-27T18:49:38","slug":"revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento-de-los-revisores","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2019\/03\/27\/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento-de-los-revisores\/","title":{"rendered":"Revisiones por pares abiertas: \u00bfla publicaci\u00f3n de los informes de evaluaci\u00f3n influye en el comportamiento de los revisores?"},"content":{"rendered":"

Por Lilian Nassi-Cal\u00f2<\/strong><\/p>\n

\"\"<\/a>

Imagen: Jon Eric Marababol<\/a>.<\/i><\/p><\/div>\n

El t\u00e9rmino open peer review<\/em> (OPR) \u2013 evaluaci\u00f3n por pares abierta \u2013 abarca una serie de pr\u00e1cticas o modelos de evaluaci\u00f3n por pares que tienen como objetivo aumentar la transparencia, eficiencia y la responsabilidad del proceso de revisi\u00f3n. La apertura de la evaluaci\u00f3n por pares, en realidad, puede significar una amplia variedad de interacciones entre evaluadores, editores y autores, resultando en muchas combinaciones, como muestra un post reciente en este blog1<\/sup>, a partir del trabajo de Ross-Hellauer.<\/p>\n

Bajo el horizonte de la ciencia abierta, innumerables revistas vienen experimentando diferentes modelos de evaluaci\u00f3n por pares abierta. Sus objetivos, entre otros, implican obtener opiniones de mejor calidad y cr\u00edticas m\u00e1s constructivas, involucrar la participaci\u00f3n de la comunidad cient\u00edfica en la evaluaci\u00f3n, reconocer el trabajo de los evaluadores, y dar la debida visibilidad a los informes, que forman parte del registro cient\u00edfico de un estudio y que, en el modelo anterior, eran simplemente descartados despu\u00e9s de la aprobaci\u00f3n del manuscrito.<\/p>\n

Muchos editores se reh\u00fasan a adoptar pr\u00e1cticas abiertas de evaluaci\u00f3n por innumerables motivos. El desconocer la reacci\u00f3n a esta pr\u00e1ctica por parte de autores y evaluadores de la comunidad cient\u00edfica de su \u00e1rea puede ser una de ellas. Es posible que relatos de experiencias exitosas de otras revistas sobre la adopci\u00f3n de modelos de evaluaci\u00f3n por pares abierta puedan alentarlos a adoptarla.<\/p>\n

Un art\u00edculo publicado recientemente en Nature Communications<\/em>2<\/sup> tuvo por objetivo reportar un estudio piloto realizado con cinco revistas de la editorial Elsevier<\/em> en diferentes \u00e1reas del conocimiento sobre los efectos de publicar los informes de evaluaci\u00f3n por pares de 9.220 art\u00edculos enviados entre 2010 y 2017. Los autores subrayan que la puesta a disposici\u00f3n de los informes de la evaluaci\u00f3n por pares es uno de los aspectos m\u00e1s importantes -y menos problem\u00e1tico- de la evaluaci\u00f3n por pares abierta,<\/em> ya que no implica recursos financieros o tecnolog\u00edas complejas.<\/p>\n

El estudio evalu\u00f3 varios par\u00e1metros, como la disponibilidad de los evaluadores en evaluar los art\u00edculos, la extensi\u00f3n de las recomendaciones, el tiempo de respuesta, el estilo y el tono de los informes y la decisi\u00f3n final (aceptado, peque\u00f1a revisi\u00f3n, revisi\u00f3n importante o rechazado). Los evaluadores, as\u00ed como los autores de los art\u00edculos enviados durante el estudio, eran informados sobre la naturaleza del estudio en ocasi\u00f3n de la invitaci\u00f3n para actuar como evaluador, y en este momento, pod\u00edan declinar la invitaci\u00f3n. En caso de que aceptaran, todav\u00eda ten\u00edan la opci\u00f3n de publicar su nombre y afiliaci\u00f3n institucional en el informe.<\/p>\n

Los informes de los art\u00edculos aceptados para publicaci\u00f3n se publicaron en acceso abierto como material suplementario con DOI independiente, siendo citable y conectado al art\u00edculo en el sitio del editor, independientemente del modelo de suscripci\u00f3n de la revista (acceso abierto o pagado).<\/p>\n

Resultados<\/h3>\n

De los m\u00e1s de 62 mil evaluadores invitados por las cinco revistas involucradas en el estudio piloto, s\u00f3lo cerca de 22 mil (35,8%) concordaron en actuar como evaluadores, habiendo sido informados sobre la publicaci\u00f3n de los dict\u00e1menes. Al evaluar el perfil de los evaluadores, fue posible constatar que investigadores mayores fueron los que m\u00e1s rechazaron hacer evaluaciones, mientras que los investigadores j\u00f3venes, con o sin doctorado, eran los m\u00e1s dispuestos. En este an\u00e1lisis no se observaron diferencias de g\u00e9nero.<\/p>\n

Para probar la hip\u00f3tesis de que el rechazo de los investigadores mayores fuera debido a la publicaci\u00f3n de los informes, los autores del estudio compararon los resultados con las de cinco revistas Elsevier<\/em> similares, que constitu\u00edan el grupo de control y que realizaran la evaluaci\u00f3n por pares convencional. Los resultados fueron similares, es decir, en el grupo de control los investigadores m\u00e1s j\u00f3venes tambi\u00e9n eran los m\u00e1s propensos a aceptar realizar las evaluaciones.<\/p>\n

El an\u00e1lisis de las recomendaciones de los evaluadores vari\u00f3 poco durante el estudio, que obtuvo proporcionalmente m\u00e1s rechazos y solicitudes de revisiones sustanciales. Los evaluadores m\u00e1s j\u00f3venes y sin posici\u00f3n acad\u00e9mica emitieron recomendaciones m\u00e1s positivas y menos rechazos. Sin embargo, en la peque\u00f1a parcela de evaluadores que opt\u00f3 por divulgar el nombre junto a los dict\u00e1menes (8,1%), las recomendaciones eran m\u00e1s positivas, mayor porcentaje de peque\u00f1os cambios para publicar, hubo menos rechazos y m\u00e1s art\u00edculos aceptados.<\/p>\n

Los autores atribuyen esta correlaci\u00f3n al hecho de que los evaluadores que escribieron evaluaciones positivas optaron posteriormente por revelar sus identidades para se\u00f1alar positivamente su reputaci\u00f3n junto a la comunidad acad\u00e9mica. Tambi\u00e9n en este aspecto, los resultados fueron verificados contra el grupo de control para confirmar que el resultado no hab\u00eda sido influenciado por la publicaci\u00f3n de los informes. De cualquier forma, este resultado en particular resalta uno de los aspectos positivos inmediatos de la evaluaci\u00f3n abierta asociada a las identidades abiertas de los evaluadores.<\/p>\n

El tiempo para realizar la revisi\u00f3n antes y durante el estudio piloto no fue pr\u00e1cticamente alterado, manteni\u00e9ndose dentro de la media de aproximadamente 30 d\u00edas. Sin embargo, los evaluadores con el t\u00edtulo de doctor mostraron una tendencia a aumentar ligeramente el tiempo de revisi\u00f3n. Una vez m\u00e1s, estos resultados se compararon al grupo de control de revistas de Elsevier que no formaban parte del estudio piloto y fueron debidamente confirmados.<\/p>\n

Uno de los aspectos m\u00e1s anticipados de la investigaci\u00f3n era si el contenido de los informes se alterar\u00eda sustancialmente con la perspectiva de publicaci\u00f3n. Para evaluar esta hip\u00f3tesis, los autores condujeron an\u00e1lisis de polaridad \u2013 es decir, si el tono de los informes era principalmente positivo o negativo \u2013, y un an\u00e1lisis de subjetividad \u2013 si el estilo era predominantemente objetivo o subjetivo. Los resultados muestran que no hubo cambios en el contenido de los informes durante el estudio piloto, excepto por comentarios ligeramente m\u00e1s severos y objetivos en la revisi\u00f3n por pares abierta, y que, una vez m\u00e1s, los evaluadores j\u00f3venes y no acad\u00e9micos lideraron esta tendencia.<\/p>\n

Conclusiones<\/h3>\n

El estudio evalu\u00f3 62.790 observaciones individuales vinculadas a 9.220 art\u00edculos presentados y 18.525 informes de evaluadores entre 2010 y 2017 en cinco revistas de diferentes disciplinas del grupo Elsevier<\/em>. Incluyendo el grupo de control de cinco otras revistas que no participaron del estudio piloto, los autores analizaron en total 138.117 observaciones y 21.647 manuscritos.<\/p>\n

Las principales conclusiones de este estudio sugieren que la publicaci\u00f3n de los informes no influye o compromete el trabajo de revisi\u00f3n por pares. Los autores no pudieron detectar ning\u00fan efecto significativo en la disponibilidad para realizar la evaluaci\u00f3n, el contenido y el tenor de las recomendaciones, o en el tiempo necesario para evaluar.<\/p>\n

Cabe destacar, sin embargo, que mientras la publicaci\u00f3n de opiniones encontr\u00f3 amplia aceptaci\u00f3n por parte de los evaluadores del estudio piloto, lo mismo no ocurri\u00f3 con la divulgaci\u00f3n de la identidad, opci\u00f3n aceptada por apenas el 8,1% de ellos, sugiriendo que este aspecto del anonimato a\u00fan es importante para la revisi\u00f3n por pares abierta. Este comportamiento, sugieren los autores, podr\u00eda constituir una protecci\u00f3n para posibles represalias o consecuencias imprevistas en la esfera acad\u00e9mica, especialmente en \u00e1reas muy competitivas.<\/p>\n

A pesar de la muestra de considerable tama\u00f1o y el hecho de que el estudio incluy\u00f3 revistas de diferentes \u00e1reas del conocimiento (sin identificarlos), los autores subrayan que los resultados, sin embargo, no pueden ser generalizados. Otros estudios apuntan que los investigadores de las \u00e1reas de ciencias humanas y sociales se muestran m\u00e1s resistentes en adoptar innovaciones del \u00e1mbito de la ciencia abierta. Por otro lado, las pol\u00edticas de evaluaci\u00f3n por pares adoptadas por las revistas pueden eventualmente atraer a diferentes comunidades de autores propensos a adoptar nuevas formas de apertura y transparencia en comunicaci\u00f3n cient\u00edfica, conformando comunidades con diferentes tendencias dentro de una misma \u00e1rea del conocimiento.<\/p>\n

El segundo mayor cambio de paradigma en la comunicaci\u00f3n cient\u00edfica despu\u00e9s de la publicaci\u00f3n en acceso abierto est\u00e1 apenas comenzando y, as\u00ed como el primero, esto causa incertidumbre y aprehensi\u00f3n, para despu\u00e9s, conquistar y sorprender.<\/p>\n

Notas<\/h3>\n

1. SPINAK, E. Sobre las veintid\u00f3s definiciones de la revisi\u00f3n abierta por pares\u2026 y m\u00e1s [online]. SciELO en Perspectiva, 2018 [viewed 27 March 2019]. Available from: https:\/\/blog.scielo.org\/es\/2018\/02\/28\/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas\/<\/a><\/p>\n

2. BRAVO, G., et al<\/em>. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications<\/em> [online]. 2019, vol. 10, 322 [viewed 27 March 2019]. DOI: 10.1038\/s41467-018-08250-2<\/a>. Available from: https:\/\/www.nature.com\/articles\/s41467-018-08250-2<\/a><\/p>\n

Referencias<\/h3>\n

BRAVO, G., et al<\/em>. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications<\/em> [online]. 2019, vol. 10, 322 [viewed 27 March 2019]. DOI: 10.1038\/s41467-018-08250-2<\/a>. Available from: https:\/\/www.nature.com\/articles\/s41467-018-08250-2<\/a><\/p>\n

FRANCIS, R. Open peer review: What do reviewers think? [online]. F1000 Research blog<\/em>, 2016 [viewed 27 March 2019]. Available from: https:\/\/blog.f1000.com\/2016\/09\/22\/open-peer-review-what-do-reviewers-think\/<\/a><\/p>\n

SPINAK, E. Sobre las veintid\u00f3s definiciones de la revisi\u00f3n abierta por pares\u2026 y m\u00e1s [online]. SciELO en Perspectiva, 2018 [viewed 27 March 2019]. Available from: https:\/\/blog.scielo.org\/es\/2018\/02\/28\/sobre-las-veintidos-definiciones-de-la-revision-abierta-por-pares-y-mas\/<\/a><\/p>\n

 <\/p>\n

Sobre Lilian Nassi-Cal\u00f2\"\"<\/a><\/h3>\n

Lilian Nassi-Cal\u00f2 estudi\u00f3 qu\u00edmica en el Instituto de Qu\u00edmica de la USP, tiene un doctorado en Bioqu\u00edmica por la misma instituci\u00f3n y un pos doctorado como becaria de la Fundaci\u00f3n Alexander von Humboldt en Wuerzburg, Alemania. Despu\u00e9s de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabaj\u00f3 en la industria privada como qu\u00edmica industrial y actualmente es Coordinadora de Comunicaci\u00f3n Cient\u00edfica en BIREME\/OPS\/OMS y colaboradora de SciELO.<\/p>\n

 <\/p>\n

Traducido del original en\u00a0portugu\u00e9s<\/a>\u00a0por Ernesto Spinak<\/p>\n","protected":false},"excerpt":{"rendered":"

Un estudio piloto fue realizado con cinco revistas de la editorial Elsevier<\/i> en diferentes \u00e1reas del conocimiento sobre los efectos de publicar las evaluaciones por pares de 9.220 art\u00edculos enviados entre 2010 y 2017. Las principales conclusiones del estudio sugieren que la publicaci\u00f3n de las evaluaciones no influye o compromete el trabajo de la revisi\u00f3n por pares. Los autores no pudieron detectar ning\u00fan efecto significativo en la disponibilidad para realizar la evaluaci\u00f3n, el contenido y el tenor de las recomendaciones, o el tiempo para evaluar. Sin embargo, s\u00f3lo el 8,1% de los encuestados concordaron en divulgar su identidad como autor de los informes. …<\/span> Read More →<\/span><\/a><\/span><\/p>\n","protected":false},"author":22,"featured_media":3207,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[3],"tags":[63,7,55,64,50],"class_list":["post-3205","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analisis","tag-ciencia-abierta","tag-comunicacion-cientifica","tag-el-futuro-de-la-evaluacion-por-pares","tag-revision-abierta-por-pares","tag-revision-por-pares"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3205","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/22"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=3205"}],"version-history":[{"count":4,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3205\/revisions"}],"predecessor-version":[{"id":3211,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3205\/revisions\/3211"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/3207"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=3205"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=3205"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=3205"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}