ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias – parte 2

Rafael Cardoso Sampaio, Professor permanente do Programa de Pós-graduação em Ciência Política e Comunicação da Universidade Federal do Paraná (UFPR)

Maria Alejandra Nicolás, Professora do Programa de Mestrado em Políticas Públicas e Desenvolvimento da Universidade Federal da Integração Latino-Americana (UNILA)

Tainá Aguiar Junquilho, Professora do Mestrado em Direito do IDP

Luiz Rogério Lopes Silva, Professor substituto do Departamento de Ciência e Gestão da Informação da Universidade Federal do Paraná (UFPR)

Christiana Soares de Freitas, Professora dos Programas de Pós-graduação em Comunicação e em Governança e Inovação em Políticas Públicas Universidade de Brasília (UNB)

Marcio Telles, Professor permanente do Programa de Pós-Graduação em Comunicação e Linguagens da Universidade Tuiuti do Paraná (UTP)

João Senna Teixeira, Bolsista de pós-doutorado no Instituto Nacional de Ciência e Tecnologia em Democracia Digital (INCT-DD) da Universidade Federal da Bahia (UFBA)

Imagen: Google DeepMind.

En la primera parte de este ensayo,¹ presentamos seis usos principales de la Inteligencia Artificial (IA) para ayudar en diferentes etapas del trabajo científico; ahora, en la segunda parte, discutiremos las consecuencias, riesgos y paradojas del uso de la IA para la investigación científica. Ahora, en esta segunda parte, buscamos presentar algunos de estos riesgos, que surgen especialmente cuando se utiliza IA generativa en el campo científico y en el trabajo académico. Aunque ni siquiera todos los problemas están completamente mapeados, buscamos ofrecer reflexiones iniciales para apoyar y alentar el debate. Reforzando que ambos ensayos son un resumen de una reflexión más amplia ya depositada en formato de artículo² en SciELO Preprints.

1. Autoría y plagio

La tendencia es que las IA formen parte de la elaboración de textos académicos, dificultando gradualmente la diferenciación entre textos producidos por humanos o por máquinas. En particular, queda la pregunta sin resolver de un texto escrito por un humano y solo revisado por inteligencia artificial, ¿es eso suficiente para que deje de ser humano? En otra posibilidad, si un humano crea buena parte de un texto, pero le pide a la IA que lo complemente, ¿violará algún límite ético? Si le pedimos a IA que lea un texto de nuestra autoría y cree el resumen o título, ¿será texto de máquina? Esto considerando que el humano revisó todos los textos y puso su nombre como responsable. Hay poco consenso en torno a estos temas, salvo el tema de que la inteligencia artificial no puede ser considerada autora de un trabajo académico, ya que no se les puede responsabilizar por el contenido producido y si se utiliza alguna herramienta, se debe mencionar en el apartado correspondiente del artículo académico.

Como las IA pueden generar fácilmente imágenes, gráficos, tablas e incluso presentaciones enteras, más que la discusión sobre plagio o “copias”, como se discutió anteriormente, nos parece que la discusión más fructífera será la relacionada con la autoría, los derechos de autor, las fuentes. y el límite de la cooperación hombre-máquina.

Es importante señalar que, al momento de completar este ensayo, ninguna herramienta de detección de IA de texto ha sido evaluada como infalible o verdaderamente confiable. De hecho, un estudio demostró que tendía a tener un sesgo contra los hablantes no nativos de inglés. Finalmente, es vital reforzar que los large language models (LLMs) citados en este ensayo NO son capaces de detectar plagio ni el uso de IA, por lo que no recomendamos aplicaciones de detección.

2. Disminución de la integridad del trabajo científico

La falta de transparencia sobre los criterios y algoritmos utilizados por las IA puede llevar a una falta de comprensión sobre cómo se toman las decisiones. ¿Por qué la máquina recomendó leer un texto determinado y no otro? ¿Por qué recomendó hacer una prueba estadística específica o una representación visual? Además, vale la pena señalar que, en ocasiones, los LLM pueden producir respuestas que parecen plausibles a primera vista, pero que, tras un examen más detenido, resultan desconectadas del contexto, objetivamente incorrectas o considerablemente distorsionadas por los sesgos del modelo.

Como sabemos poco o nada sobre posibles sesgos no tratados y similares en estos modelos, el riesgo de inconsistencia o inexactitud requiere un enfoque crítico al evaluar y utilizar sus respuestas, subrayando la importancia de una supervisión humana rigurosa y una revisión meticulosa para garantizar la calidad y confiabilidad de los resultados de la escritura científica. El uso de IA dificulta la confianza en los resultados y limita la capacidad de los investigadores para evaluar su validez y confiabilidad, lo que hace que ciertos aspectos de la investigación sean completamente irreproducibles.

3. Restricción del abanico de posibilidades de investigación

El estándar establecido por Google, utilizado también por indexadores académicos, muestra una serie de enlaces a páginas que tratan el tema solicitado según criterios de relevancia.

En el nuevo paradigma establecido por ChatGPT, el resultado principal es una respuesta generada inicialmente por la máquina y solo después enlaces para una mayor profundidad. No necesitaremos entrar en los sitios web ni leer opiniones diferentes, sino que la inteligencia artificial las resumirá directamente en el chat continuando las preguntas allí, reduciendo el acceso a la disidencia y cristalizando las posiciones más “relevantes”, lo que podría tener efectos en el aumento de las desigualdades. en la producción de conocimiento científico.

Esta situación todavía tiende a agravarse, ya que estas inteligencias artificiales, a pesar de estar entrenadas en bases gigantescas, indexan principalmente la producción norteamericana, anglosajona y europea, especialmente cuando se trata de IA académicas. Por lo tanto, tenderán a reforzar una visión muy específica de la ciencia, que incluye ciertos tipos de métodos y formas de análisis que pueden convertirse en el estándar de la investigación científica. Esto podría tener efectos perjudiciales, especialmente en la investigación en humanidades o en toda la investigación cualitativa en general.

4. Paradoja de la producción de conocimiento

La automatización de diversas tareas y la subcontratación de decisiones importantes a la inteligencia artificial podrían fomentar una generación de futuros investigadores que conocerán menos autores y fuentes y tendrán aún menos conocimiento de la literatura académica y de las bases de los métodos de investigación y programación.

Así, podemos imaginar fácilmente a futuros investigadores que “leerán” decenas de artículos simultáneamente; preparar “revisiones de literatura” automatizadas y sustantivas; extraer, limpiar y analizar cantidades masivas de datos; utilizar tales modelos y tecnologías para poner a prueba los límites del conocimiento humano y, suponemos, incluso lograr resultados más sustanciales e innovadores. Paradójicamente, tendremos investigadores “menos capacitados”, “menos calificados” que aún podrán realizar tareas más rápidas y significativas.

Finalmente, reconocemos que todo esto puede generar una gigantesca cantidad de desperdicio académico sin valor, con una marea de textos científicos mal redactados, sin actualidad, sin criterio y sin rigor, buscando alimentar sólo revistas depredadoras y los CV de estudiantes y profesores en búsqueda de financiación.

5. Relaciones centro-periferia y colonialismo de datos

Además de romper las barreras lingüísticas en términos de lectura y escritura, la tecnología también democratiza el papel de los asistentes de investigación, que antes solo estaban disponibles para investigadores de renombre de instituciones del norte global. Con las herramientas de inteligencia artificial, los investigadores pueden realizar tareas como tomar notas, archivar citas, preparar manuscritos, editar manuscritos, completar formularios, transcribir audio, escribir correos electrónicos, crear una lista de temas, traducir texto y crear presentaciones: tareas normalmente relegadas a los asistentes. Esto podría reducir la “brecha” entre capacidad de producción y publicación entre investigadores del centro y la periferia del mundo académico.

Aún así, la mayoría de estas herramientas son de pago y en dólares o euros, lo que limita el acceso a ellas para los investigadores del sur global. Otro debate es si los recursos universitarios deberían destinarse o no al uso de dichas aplicaciones y plataformas de IA. Si esto puede parecer extraño en este momento, vale la pena recordar que ya hemos normalizado el pago de servidores (Microsoft, Amazon, etc.), software (NVivo, Atlas.ti, Stata, SPSS, Endnote, Office, etc.) y para acceder a determinadas plataformas artículos.

Teniendo en cuenta que los recursos de investigación en el Sur global seguirán siendo inferiores y que los centros pagarán o desarrollarán sus propias IA, el peligro no reside en una disminución, sino en un aumento de la brecha de investigación entre el centro y la periferia. Existe el riesgo de que los investigadores del Sur global aumenten su dependencia de las tecnologías desarrolladas por el Norte global, reforzando el problema del colonialismo de datos, que ya existe en las plataformas de redes sociales digitales.

Sin embargo, señalamos una paradoja en términos de internacionalización de la investigación. Puede que nos volvamos excesivamente dependientes de las tecnologías creadas por este centro, pero el número de aplicaciones dedicadas a traducir y corregir idiomas ha aumentado en cantidad y calidad, reduciendo el mayor obstáculo para la publicación en las revistas más importantes. Aplicaciones como Deepl ya ofrecen traducciones considerablemente mejores que Google Traductor y tenemos todas las herramientas de corrección de inglés antes mencionadas, como Grammarly, Quillbot, Writefull y similares. Y todos los LLM, sin excepción, logran perfeccionar los textos para acercarlos más al texto académico estándar.

No defendemos el fin de la traducción o revisión humana, solo que habrá nuevas herramientas para que los investigadores escriban directamente en otros idiomas y publiquen en revistas líderes.

Todas estas reflexiones son muy iniciales, pero buscan alejarse de la discusión exclusiva sobre el plagio y la falsificación de exámenes por parte de los estudiantes, buscando resaltar que los cambios serán mucho más significativos que los que estamos comentando. Discutir entonces es algo vital en este momento.

La serie “ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias” consta de dos posts

• ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias – parte 1
• ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias – parte 2

Notas

1. SAMPAIO, R.C., et al. ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias – parte 1 [online]. SciELO en Perspectiva, 2023 [viewed 14 November 2023]. Available from: https://blog.scielo.org/es/2023/11/10/chatgpt-y-otras-ia-transformaran-toda-la-investigacion-cientifica-reflexiones-iniciales-sobre-usos-y-consecuencias-parte-1/

2. SAMPAIO, R.C., et al. ChatGPT and other AIs will change all scientific research: initial reflections on uses and consequences. SciELO Preprints [online]. 2023 [viewed 14 November 2023]. https://doi.org/10.1590/SciELOPreprints.6686 . Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/6686/version/7074

Referências

MOHL, P. Seeing threats, sensing flesh: human–machine ensembles at work. AI & Society [online]. 2020, vol.36, pp.1243-1252 [viewed 14 November 2023]. https://doi.org/10.1007/s00146-020-01064-1 . Available from: https://link.springer.com/article/10.1007/s00146-020-01064-1

SAMPAIO, R.C., et al. ChatGPT and other AIs will change all scientific research: initial reflections on uses and consequences. SciELO Preprints [online]. 2023 [viewed 14 November 2023]. https://doi.org/10.1590/SciELOPreprints.6686 . Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/6686/version/7074

SAMPAIO, R.C., et al. ChatGPT y otras IA transformarán toda la investigación científica: reflexiones iniciales sobre usos y consecuencias – parte 1 [online]. SciELO en Perspectiva, 2023 [viewed 14 November 2023]. Available from: https://blog.scielo.org/es/2023/11/10/chatgpt-y-otras-ia-transformaran-toda-la-investigacion-cientifica-reflexiones-iniciales-sobre-usos-y-consecuencias-parte-1/

Enlaces externos

DeepL Translate: https://www.deepl.com/translator

Google Traductor: https://translate.google.com/

Grammarly: https://www.grammarly.com/

QuillBot: https://quillbot.com/

SciELO Preprints: https://preprints.scielo.org/

Writefull: http://writefull.com/

Traducido del original en portugués por Ernesto Spinak.