{"id":5396,"date":"2023-11-14T14:35:05","date_gmt":"2023-11-14T17:35:05","guid":{"rendered":"https:\/\/blog.scielo.org\/es\/?p=5396"},"modified":"2023-11-14T14:32:34","modified_gmt":"2023-11-14T17:32:34","slug":"chatgpt-y-otras-ia-transformaran-toda-la-investigacion-cientifica-reflexiones-iniciales-sobre-usos-y-consecuencias-parte-2","status":"publish","type":"post","link":"https:\/\/blog.scielo.org\/es\/2023\/11\/14\/chatgpt-y-otras-ia-transformaran-toda-la-investigacion-cientifica-reflexiones-iniciales-sobre-usos-y-consecuencias-parte-2\/","title":{"rendered":"ChatGPT y otras IA transformar\u00e1n toda la investigaci\u00f3n cient\u00edfica: reflexiones iniciales sobre usos y consecuencias \u2013 parte 2"},"content":{"rendered":"

Rafael Cardoso Sampaio<\/strong><\/a>, Professor permanente do Programa de P\u00f3s-gradua\u00e7\u00e3o em Ci\u00eancia Pol\u00edtica e Comunica\u00e7\u00e3o da Universidade Federal do Paran\u00e1 (UFPR)<\/strong><\/p>\n

Maria Alejandra Nicol\u00e1s<\/strong><\/a>, Professora do Programa de Mestrado em Pol\u00edticas P\u00fablicas e Desenvolvimento da Universidade Federal da Integra\u00e7\u00e3o Latino-Americana (UNILA)<\/strong><\/p>\n

Tain\u00e1 Aguiar Junquilho<\/strong><\/a>, Professora do Mestrado em Direito do IDP<\/strong><\/p>\n

Luiz Rog\u00e9rio Lopes Silva<\/strong><\/a>, Professor substituto do Departamento de Ci\u00eancia e Gest\u00e3o da Informa\u00e7\u00e3o da Universidade Federal do Paran\u00e1 (UFPR)<\/strong><\/p>\n

Christiana Soares de Freitas<\/strong><\/a>, Professora dos Programas de P\u00f3s-gradua\u00e7\u00e3o em Comunica\u00e7\u00e3o e em Governan\u00e7a e Inova\u00e7\u00e3o em Pol\u00edticas P\u00fablicas Universidade de Bras\u00edlia (UNB)<\/strong><\/p>\n

Marcio Telles<\/strong><\/a>, Professor permanente do Programa de P\u00f3s-Gradua\u00e7\u00e3o em Comunica\u00e7\u00e3o e Linguagens da Universidade Tuiuti do Paran\u00e1 (UTP)<\/strong><\/p>\n

Jo\u00e3o Senna Teixeira<\/strong><\/a>, Bolsista de p\u00f3s-doutorado no Instituto Nacional de Ci\u00eancia e Tecnologia em Democracia Digital (INCT-DD) da Universidade Federal da Bahia (UFBA)<\/strong><\/p>\n

\"Imagen<\/a>

Imagen: Google DeepMind<\/a>.<\/em><\/p><\/div>\n

En la primera parte de este ensayo<\/a>,1<\/sup> presentamos seis usos principales de la Inteligencia Artificial (IA) para ayudar en diferentes etapas del trabajo cient\u00edfico; ahora, en la segunda parte, discutiremos las consecuencias, riesgos y paradojas del uso de la IA para la investigaci\u00f3n cient\u00edfica. Ahora, en esta segunda parte, buscamos presentar algunos de estos riesgos, que surgen especialmente cuando se utiliza IA generativa en el campo cient\u00edfico y en el trabajo acad\u00e9mico. Aunque ni siquiera todos los problemas est\u00e1n completamente mapeados, buscamos ofrecer reflexiones iniciales para apoyar y alentar el debate. Reforzando que ambos ensayos son un resumen de una reflexi\u00f3n m\u00e1s amplia ya depositada en formato de art\u00edculo<\/a>2<\/sup> en SciELO Preprints<\/a>.<\/p>\n

1. Autor\u00eda y plagio<\/h3>\n

La tendencia es que las IA formen parte de la elaboraci\u00f3n de textos acad\u00e9micos, dificultando gradualmente la diferenciaci\u00f3n entre textos producidos por humanos o por m\u00e1quinas. En particular, queda la pregunta sin resolver de un texto escrito por un humano y solo revisado por inteligencia artificial, \u00bfes eso suficiente para que deje de ser humano? En otra posibilidad, si un humano crea buena parte de un texto, pero le pide a la IA que lo complemente, \u00bfviolar\u00e1 alg\u00fan l\u00edmite \u00e9tico? Si le pedimos a IA que lea un texto de nuestra autor\u00eda y cree el resumen o t\u00edtulo, \u00bfser\u00e1 texto de m\u00e1quina? Esto considerando que el humano revis\u00f3 todos los textos y puso su nombre como responsable. Hay poco consenso en torno a estos temas, salvo el tema de que la inteligencia artificial no puede ser considerada autora de un trabajo acad\u00e9mico, ya que no se les puede responsabilizar por el contenido producido y si se utiliza alguna herramienta, se debe mencionar en el apartado correspondiente del art\u00edculo acad\u00e9mico.<\/p>\n

Como las IA pueden generar f\u00e1cilmente im\u00e1genes, gr\u00e1ficos, tablas e incluso presentaciones enteras, m\u00e1s que la discusi\u00f3n sobre plagio o \u201ccopias\u201d, como se discuti\u00f3 anteriormente, nos parece que la discusi\u00f3n m\u00e1s fruct\u00edfera ser\u00e1 la relacionada con la autor\u00eda, los derechos de autor, las fuentes. y el l\u00edmite de la cooperaci\u00f3n hombre-m\u00e1quina.<\/p>\n

Es importante se\u00f1alar que, al momento de completar este ensayo, ninguna herramienta de detecci\u00f3n de IA de texto ha sido evaluada como infalible o verdaderamente confiable. De hecho, un estudio demostr\u00f3 que tend\u00eda a tener un sesgo contra los hablantes no nativos de ingl\u00e9s. Finalmente, es vital reforzar que los large language models<\/em> (LLMs) citados en este ensayo NO<\/strong> son capaces de detectar plagio ni el uso de IA, por lo que no recomendamos aplicaciones de detecci\u00f3n.<\/p>\n

2. Disminuci\u00f3n de la integridad del trabajo cient\u00edfico<\/h3>\n

La falta de transparencia sobre los criterios y algoritmos utilizados por las IA puede llevar a una falta de comprensi\u00f3n sobre c\u00f3mo se toman las decisiones. \u00bfPor qu\u00e9 la m\u00e1quina recomend\u00f3 leer un texto determinado y no otro? \u00bfPor qu\u00e9 recomend\u00f3 hacer una prueba estad\u00edstica espec\u00edfica o una representaci\u00f3n visual? Adem\u00e1s, vale la pena se\u00f1alar que, en ocasiones, los LLM pueden producir respuestas que parecen plausibles a primera vista, pero que, tras un examen m\u00e1s detenido, resultan desconectadas del contexto, objetivamente incorrectas o considerablemente distorsionadas por los sesgos del modelo.<\/p>\n

Como sabemos poco o nada sobre posibles sesgos no tratados y similares en estos modelos, el riesgo de inconsistencia o inexactitud requiere un enfoque cr\u00edtico al evaluar y utilizar sus respuestas, subrayando la importancia de una supervisi\u00f3n humana rigurosa y una revisi\u00f3n meticulosa para garantizar la calidad y confiabilidad de los resultados de la escritura cient\u00edfica. El uso de IA dificulta la confianza en los resultados y limita la capacidad de los investigadores para evaluar su validez y confiabilidad, lo que hace que ciertos aspectos de la investigaci\u00f3n sean completamente irreproducibles.<\/p>\n

3. Restricci\u00f3n del abanico de posibilidades de investigaci\u00f3n<\/h3>\n

El est\u00e1ndar establecido por Google<\/em>, utilizado tambi\u00e9n por indexadores acad\u00e9micos, muestra una serie de enlaces a p\u00e1ginas que tratan el tema solicitado seg\u00fan criterios de relevancia.<\/p>\n

En el nuevo paradigma establecido por ChatGPT, el resultado principal es una respuesta generada inicialmente por la m\u00e1quina y solo despu\u00e9s enlaces para una mayor profundidad. No necesitaremos entrar en los sitios web<\/em> ni leer opiniones diferentes, sino que la inteligencia artificial las resumir\u00e1 directamente en el chat continuando las preguntas all\u00ed, reduciendo el acceso a la disidencia y cristalizando las posiciones m\u00e1s \u201crelevantes\u201d, lo que podr\u00eda tener efectos en el aumento de las desigualdades. en la producci\u00f3n de conocimiento cient\u00edfico.<\/p>\n

Esta situaci\u00f3n todav\u00eda tiende a agravarse, ya que estas inteligencias artificiales, a pesar de estar entrenadas en bases gigantescas, indexan principalmente la producci\u00f3n norteamericana, anglosajona y europea, especialmente cuando se trata de IA acad\u00e9micas. Por lo tanto, tender\u00e1n a reforzar una visi\u00f3n muy espec\u00edfica de la ciencia, que incluye ciertos tipos de m\u00e9todos y formas de an\u00e1lisis que pueden convertirse en el est\u00e1ndar de la investigaci\u00f3n cient\u00edfica. Esto podr\u00eda tener efectos perjudiciales, especialmente en la investigaci\u00f3n en humanidades o en toda la investigaci\u00f3n cualitativa en general.<\/p>\n

4. Paradoja de la producci\u00f3n de conocimiento<\/h3>\n

La automatizaci\u00f3n de diversas tareas y la subcontrataci\u00f3n de decisiones importantes a la inteligencia artificial podr\u00edan fomentar una generaci\u00f3n de futuros investigadores que conocer\u00e1n menos autores y fuentes y tendr\u00e1n a\u00fan menos conocimiento de la literatura acad\u00e9mica y de las bases de los m\u00e9todos de investigaci\u00f3n y programaci\u00f3n.<\/p>\n

As\u00ed, podemos imaginar f\u00e1cilmente a futuros investigadores que \u201cleer\u00e1n\u201d decenas de art\u00edculos simult\u00e1neamente; preparar \u201crevisiones de literatura\u201d automatizadas y sustantivas; extraer, limpiar y analizar cantidades masivas de datos; utilizar tales modelos y tecnolog\u00edas para poner a prueba los l\u00edmites del conocimiento humano y, suponemos, incluso lograr resultados m\u00e1s sustanciales e innovadores. Parad\u00f3jicamente, tendremos investigadores \u201cmenos capacitados\u201d, \u201cmenos calificados\u201d que a\u00fan podr\u00e1n realizar tareas m\u00e1s r\u00e1pidas y significativas.<\/p>\n

Finalmente, reconocemos que todo esto puede generar una gigantesca cantidad de desperdicio acad\u00e9mico sin valor, con una marea de textos cient\u00edficos mal redactados, sin actualidad, sin criterio y sin rigor, buscando alimentar s\u00f3lo revistas depredadoras y los CV de estudiantes y profesores en b\u00fasqueda de financiaci\u00f3n.<\/p>\n

5. Relaciones centro-periferia y colonialismo de datos<\/h3>\n

Adem\u00e1s de romper las barreras ling\u00fc\u00edsticas en t\u00e9rminos de lectura y escritura, la tecnolog\u00eda tambi\u00e9n democratiza el papel de los asistentes de investigaci\u00f3n, que antes solo estaban disponibles para investigadores de renombre de instituciones del norte global. Con las herramientas de inteligencia artificial, los investigadores pueden realizar tareas como tomar notas, archivar citas, preparar manuscritos, editar manuscritos, completar formularios, transcribir audio, escribir correos electr\u00f3nicos, crear una lista de temas, traducir texto y crear presentaciones: tareas normalmente relegadas a los asistentes. Esto podr\u00eda reducir la \u201cbrecha\u201d entre capacidad de producci\u00f3n y publicaci\u00f3n entre investigadores del centro y la periferia del mundo acad\u00e9mico.<\/p>\n

A\u00fan as\u00ed, la mayor\u00eda de estas herramientas son de pago y en d\u00f3lares o euros, lo que limita el acceso a ellas para los investigadores del sur global. Otro debate es si los recursos universitarios deber\u00edan destinarse o no al uso de dichas aplicaciones y plataformas de IA. Si esto puede parecer extra\u00f1o en este momento, vale la pena recordar que ya hemos normalizado el pago de servidores (Microsoft<\/em>, Amazon<\/em>, etc.), software (NVivo, Atlas.ti<\/em>, Stata<\/em>, SPSS, Endnote<\/em>, Office<\/em>, etc.) y para acceder a determinadas plataformas art\u00edculos.<\/p>\n

Teniendo en cuenta que los recursos de investigaci\u00f3n en el Sur global seguir\u00e1n siendo inferiores y que los centros pagar\u00e1n o desarrollar\u00e1n sus propias IA, el peligro no reside en una disminuci\u00f3n, sino en un aumento de la brecha de investigaci\u00f3n entre el centro y la periferia. Existe el riesgo de que los investigadores del Sur global aumenten su dependencia de las tecnolog\u00edas desarrolladas por el Norte global, reforzando el problema del colonialismo de datos, que ya existe en las plataformas de redes sociales digitales.<\/p>\n

Sin embargo, se\u00f1alamos una paradoja en t\u00e9rminos de internacionalizaci\u00f3n de la investigaci\u00f3n<\/em>. Puede que nos volvamos excesivamente dependientes de las tecnolog\u00edas creadas por este centro, pero el n\u00famero de aplicaciones dedicadas a traducir y corregir idiomas ha aumentado en cantidad y calidad, reduciendo el mayor obst\u00e1culo para la publicaci\u00f3n en las revistas m\u00e1s importantes. Aplicaciones como Deepl<\/a><\/em> ya ofrecen traducciones considerablemente mejores que Google Traductor<\/a> y tenemos todas las herramientas de correcci\u00f3n de ingl\u00e9s antes mencionadas, como Grammarly<\/a><\/em>, Quillbot<\/a><\/em>, Writefull<\/a><\/em> y similares. Y todos los LLM, sin excepci\u00f3n, logran perfeccionar los textos para acercarlos m\u00e1s al texto acad\u00e9mico est\u00e1ndar.<\/p>\n

No defendemos el fin de la traducci\u00f3n o revisi\u00f3n humana, solo que habr\u00e1 nuevas herramientas para que los investigadores escriban directamente en otros idiomas y publiquen en revistas l\u00edderes.<\/p>\n

Todas estas reflexiones son muy iniciales, pero buscan alejarse de la discusi\u00f3n exclusiva sobre el plagio y la falsificaci\u00f3n de ex\u00e1menes por parte de los estudiantes, buscando resaltar que los cambios ser\u00e1n mucho m\u00e1s significativos que los que estamos comentando. Discutir entonces es algo vital en este momento.<\/p>\n

La serie \u201cChatGPT y otras IA transformar\u00e1n toda la investigaci\u00f3n cient\u00edfica: reflexiones iniciales sobre usos y consecuencias\u201d consta de dos posts<\/h3>\n