{"id":3177,"date":"2019-02-07T13:45:53","date_gmt":"2019-02-07T15:45:53","guid":{"rendered":"http:\/\/blog.scielo.org\/es\/?p=3177"},"modified":"2019-05-02T16:31:53","modified_gmt":"2019-05-02T19:31:53","slug":"desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2019\/02\/07\/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii\/","title":{"rendered":"Desde \u00e1rbitros estrellas a los \u00e1rbitros fantasmas \u2013 Parte II"},"content":{"rendered":"<h3><strong>Parte II: Bibliometr\u00eda de <em>peer reviewers<\/em> \u2013 una conjetura<\/strong><\/h3>\n<div id=\"attachment_3180\" style=\"width: 310px\" class=\"wp-caption alignright\"><a href=\"http:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2019\/02\/parte-ii.jpg\" target=\"_blank\" rel=\"noopener noreferrer\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-3180\" class=\"wp-image-3180 size-medium\" src=\"http:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2019\/02\/parte-ii-300x180.jpg\" alt=\"\" width=\"300\" height=\"180\" srcset=\"https:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2019\/02\/parte-ii-300x180.jpg 300w, https:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2019\/02\/parte-ii-150x90.jpg 150w, https:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2019\/02\/parte-ii.jpg 589w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><p id=\"caption-attachment-3180\" class=\"wp-caption-text\"><i>Imagen: <a href=\"https:\/\/br.freepik.com\/vetores-gratis\/conjunto-de-icones-de-educacao-on-line_2869743.htm\" target=\"_blank\" rel=\"noopener noreferrer\">macrovector<\/a>.<\/i><\/p><\/div>\n<p><strong>Por Ernesto Spinak<\/strong><\/p>\n<p>En los \u00faltimos a\u00f1os el tema del arbitraje de trabajos cient\u00edficos (<em>peer review<\/em>) ha tomado relevancia, debido a m\u00faltiples razones. Algunos de estas \u2013 solo algunas \u2013 pueden ser el crecimiento de la cantidad de publicaciones cient\u00edficas, las cr\u00edticas a los diferentes sistemas de arbitraje (ciego, doble ciego, abierto, etc.) sus sesgos y limitaciones, la falta de reconocimiento a los revisores por esa labor sustantiva generalmente honoraria y an\u00f3nima, la necesidad de capacitaci\u00f3n en los procedimientos de revisi\u00f3n y un largu\u00edsimo etc\u00e9tera. Los revisores cumplen una funci\u00f3n tan importante, que <em>SciELO en Perspectiva<\/em> ha publicado m\u00e1s de 150 posts relacionados con <em>peer review<\/em> en los pasados cuatro a\u00f1os<sup>1<\/sup>.<\/p>\n<p>En la Parte I de este post (\u00bfQui\u00e9nes son los <em>peer reviewers<\/em> y d\u00f3nde est\u00e1n?<sup>2<\/sup>) se analiz\u00f3 la primera encuesta global de las actividades de los revisores<sup>3<\/sup>, con respuestas de m\u00e1s de 11.000 investigadores registrados en <em>Publons<\/em>, de los principales pa\u00edses que publican investigaci\u00f3n cient\u00edfica, tanto pa\u00edses desarrollados como pa\u00edses emergentes.<\/p>\n<p>De ese informe se destacan algunos conceptos, como que:<\/p>\n<ul>\n<li>el 10% de los revisores son responsables del 50% de las revisiones por pares a nivel global, lo que parece revelar un comportamiento de Lotka<sup>4<\/sup>.<\/li>\n<li>El arbitraje abierto (<em>Open Peer Review, OPR<\/em>) comenzar\u00e1 a revelar los nombres de los \u00e1rbitros, modificar los procesos editoriales, y dar el debido reconocimiento a los acad\u00e9micos que realizan esta actividad.<\/li>\n<li>El trabajo de revisi\u00f3n no est\u00e1 debidamente reconocido en los CV de los investigadores, pero ahora surge en <em>Publons<\/em> un servicio donde se presentan las actividades de los revisores con cifras integradas a las restantes actividades acad\u00e9micas del investigador. \u00a1Finalmente vamos en camino al reconocimiento de esa actividad honoraria!<\/li>\n<\/ul>\n<p>Desde el momento en que las actividades de revisi\u00f3n por pares comenzar\u00e1 a ser p\u00fablicamente conocida y evaluada con m\u00e9tricas, entonces ese producto o servicio comenzar\u00e1 a ser demandado por el mercado. Todo producto que tiene demanda y valor es \u201cmonetizado\u201d, y como consecuencia tendremos nuevos proveedores \u2013 \u00bf<em>Elsevier\/Scopus<\/em>, <em>Google Scholar<\/em>, <em>ResearchGate<\/em>, otros?<\/p>\n<h3>Nuestra conjetura<\/h3>\n<p>Es nuestra conjetura que en poco tiempo la bibliometr\u00eda abrir\u00e1 una nueva vertiente de investigaci\u00f3n muy fruct\u00edfera, que a falta de mejor nombre podr\u00edamos llamarla \u201c<em>peer reviewer bibliometrics<\/em>\u201d<sup>5<\/sup> (bibliometr\u00eda de revisor).<\/p>\n<p>La plataforma <em>Publons<\/em> ofrece la posibilidad de consultar qui\u00e9nes est\u00e1n haciendo revisiones<sup>6<\/sup> por pa\u00eds, revista, instituci\u00f3n, tema, etc., consultar la productividad por nombre de persona, y obtener qui\u00e9nes son los revisores top en cada \u00e1rea de investigaci\u00f3n. La mesa est\u00e1 servida para las nuevas m\u00e9tricas.<\/p>\n<p>\u00bfCu\u00e1les seguramente ser\u00edan algunos tipos de an\u00e1lisis en la bibliometr\u00eda de revisores?<\/p>\n<p>A continuaci\u00f3n \u2013 en paralelo a la bibliometr\u00eda tradicional \u2013 se me ocurre la siguiente lista que seguramente podr\u00e1 ser enriquecida por los lectores.<\/p>\n<h4>Tabulaciones<\/h4>\n<ul>\n<li>Por persona<\/li>\n<li>Por pa\u00eds o regi\u00f3n<\/li>\n<li>Por idioma<\/li>\n<li>Por \u00e1rea de investigaci\u00f3n<\/li>\n<\/ul>\n<h4>An\u00e1lisis de redes (<em>network analysis<\/em>)<\/h4>\n<ul>\n<li>Asociaci\u00f3n revista\/persona<\/li>\n<\/ul>\n<p>Ejemplo: si existe correlaci\u00f3n de revisores con ciertos t\u00edtulos de revistas.<\/p>\n<ul>\n<li><em>Reviewer-coupling<\/em> (emparejamiento de revisores)<\/li>\n<\/ul>\n<p>Ejemplo: si los dos o tres revisores de un art\u00edculo aparecen asociados con frecuencia en el arbitraje de art\u00edculos.<\/p>\n<ul>\n<li><em>Reviewer Network Analysis<\/em> (an\u00e1lisis de redes de revisores)<\/li>\n<\/ul>\n<p>Ejemplo: \u00bftendr\u00e1 relaci\u00f3n con las redes de autores citados\/citantes? O sea, las redes de autores tendr\u00e1n similaridad con la de los revisores? \u00bfSer\u00e1n las mismas personas que juegan de los dos lados del mostrador? Es decir \u00bfhabr\u00e1 endogamia revista\/tema\/revisores?<\/p>\n<p>C\u00f3mo medir o valorar esa actividad en el CV los revisores<\/p>\n<ul>\n<li>\u00bfse ponderar\u00e1 el Factor de Impacto (FI) de las revistas donde hicieron revisiones?<\/li>\n<li>Evaluaci\u00f3n de la calidad de las revisiones, \u00bfpodr\u00e1n tener puntaje?<\/li>\n<li>An\u00e1lisis diacr\u00f3nicos, cu\u00e1ntas por a\u00f1o, antig\u00fcedad de las revisiones, etc.<\/li>\n<\/ul>\n<h4>Revisores an\u00f3nimos<\/h4>\n<ul>\n<li>\u00bfProblemas si no quieren revelar el nombre?<\/li>\n<li>\u00bfTendremos revisores fantasmas (<em>ghost reviewing<\/em>), o sea revisiones que se publican bajo otro nombre para evitar problemas de endogamia, y conflicto de intereses?<\/li>\n<\/ul>\n<p>Una vez que las m\u00e9tricas de revisiones se incorporen en el CV de los acad\u00e9micos, entonces se producir\u00e1 una competencia para conseguir esas tareas. Sobre todo de parte de acad\u00e9micos que tienen pocas publicaciones o pocas citaciones<sup>7<\/sup>.<\/p>\n<h3>Notas<\/h3>\n<p>1. Para tener una visi\u00f3n sobre la cobertura de este tema puede hacer una consulta en la p\u00e1gina del blog <em>SciELO en Perspectiva<\/em> (ingl\u00e9s) con la expresi\u00f3n \u201c<em>peer review<\/em>\u201d.<\/p>\n<p>2. SPINAK, E. De pareceristas estrela a pareceristas fantasmas \u2013 Parte I [online]. SciELO em Perspectiva, 2019 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/blog.scielo.org\/blog\/2019\/02\/05\/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i\/\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/blog.scielo.org\/blog\/2019\/02\/05\/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i\/<\/a><\/p>\n<p>3. Global State of peer review [online]. Publons. 2018 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/publons.com\/community\/gspr\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/publons.com\/community\/gspr<\/a><\/p>\n<p>4. La Ley de Lotka o Ley de crecimiento exponencial, se trata de una ley bibliom\u00e9trica, sobre la distribuci\u00f3n de los autores seg\u00fan su productividad. Su ley afirma que hay una distribuci\u00f3n desigual de productividad en los autores y que, independientemente de la disciplina, la mayor\u00eda de los autores publican el menor n\u00famero de trabajos, mientras que unos pocos autores publican la mayor parte de la bibliograf\u00eda relevante sobre un tema de investigaci\u00f3n, y forman el grupo m\u00e1s prol\u00edfico. El n\u00famero de autores, A que publican <strong>n<\/strong> trabajos sobre una materia es inversamente proporcional al cuadrado de <strong>n<\/strong>. Ley de Lotka &lt;<a href=\"https:\/\/es.wikipedia.org\/wiki\/Ley_de_Lotka\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/es.wikipedia.org\/wiki\/Ley_de_Lotka<\/a>&gt;<\/p>\n<p>5. Nota del autor: fue para m\u00ed una gran sorpresa que pese a reiteradas consultas en Internet, no encontr\u00e9 casi ning\u00fan trabajo que analizara m\u00e9tricas sobre las tareas de los revisores, seguramente debido a que durante a\u00f1os estas tareas eran \u201cciegas\u201d<\/p>\n<p>6. Top 1% in Field [2018]. Publons. 2018 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/publons.com\/awards\/2018\/esi\/?esi=16&amp;order_by=place\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/publons.com\/awards\/2018\/esi\/?esi=16&amp;order_by=place<\/a><\/p>\n<p>7. Mi reflexi\u00f3n esc\u00e9ptica: si un escritor no tiene \u00e9xito, entonces se convierte en cr\u00edtico literario\u2026 si un cient\u00edfico no consigue citaciones\u2026<\/p>\n<h3>Referencias<\/h3>\n<p>Global State of peer review [online]. Publons. 2018 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/publons.com\/community\/gspr\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/publons.com\/community\/gspr<\/a><\/p>\n<p>SPINAK, E. De pareceristas estrela a pareceristas fantasmas \u2013 Parte I [online]. SciELO em Perspectiva, 2019 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/blog.scielo.org\/blog\/2019\/02\/05\/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i\/\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/blog.scielo.org\/blog\/2019\/02\/05\/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i\/<\/a><\/p>\n<p>Top 1% in Field [2018]. Publons. 2018 [viewed 06 February 2019]. Available from: <a href=\"https:\/\/publons.com\/awards\/2018\/esi\/?esi=16&amp;order_by=place\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/publons.com\/awards\/2018\/esi\/?esi=16&amp;order_by=place<\/a><\/p>\n<h3>Enlaces externo<\/h3>\n<p>Ley de Lotka &lt;<a href=\"https:\/\/es.wikipedia.org\/wiki\/Ley_de_Lotka\" target=\"_blank\" rel=\"noopener noreferrer\">https:\/\/es.wikipedia.org\/wiki\/Ley_de_Lotka<\/a>&gt;<\/p>\n<p>&nbsp;<\/p>\n<h3>Sobre Ernesto Spinak<a href=\"http:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2013\/10\/spinak.jpg\" target=\"_blank\" rel=\"noopener noreferrer\"><img loading=\"lazy\" decoding=\"async\" class=\"alignright wp-image-537 size-thumbnail\" src=\"http:\/\/blog.scielo.org\/es\/wp-content\/uploads\/sites\/3\/2013\/10\/spinak-150x150.jpg\" alt=\"\" width=\"150\" height=\"150\" \/><\/a><\/h3>\n<p>Colaborador do SciELO, Ingeniero en Sistemas y Lic. en Biblioteconom\u00eda, con Diploma de Estudios Avanzados pela Universitat Oberta de Catalunya y Maestr\u00eda en \u201cSociedad de la Informaci\u00f3n\u201d por la Universidad Oberta de Catalunya, Barcelona \u2013 Espa\u00f1a. Actualmente tiene una empresa de consultor\u00eda que atiende a 14 instituciones de gobierno y universidades en Uruguay con proyectos de informaci\u00f3n.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Las revisiones abiertas, y el surgimiento de plataformas como <i>Publons<\/i>, que publican dichas actividades y la integran a otras tareas acad\u00e9micas, abre la posibilidad del surgimiento de una nueva vertiente de la bibliometr\u00eda y con seguridad un nuevo mercado de prestigio. <span class=\"ellipsis\">&hellip;<\/span> <span class=\"more-link-wrap\"><a href=\"https:\/\/blog.scielo.org\/es\/2019\/02\/07\/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii\/\" class=\"more-link\"><span>Read More &rarr;<\/span><\/a><\/span><\/p>\n","protected":false},"author":8,"featured_media":3181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"categories":[2],"tags":[29,7,55,27,64,50],"class_list":["post-3177","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-noticias","tag-bibliometria","tag-comunicacion-cientifica","tag-el-futuro-de-la-evaluacion-por-pares","tag-organismo-internacional","tag-revision-abierta-por-pares","tag-revision-por-pares"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3177","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/comments?post=3177"}],"version-history":[{"count":6,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3177\/revisions"}],"predecessor-version":[{"id":3378,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/posts\/3177\/revisions\/3378"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media\/3181"}],"wp:attachment":[{"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/media?parent=3177"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/categories?post=3177"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.scielo.org\/es\/wp-json\/wp\/v2\/tags?post=3177"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}