Inteligencia Artificial y comunicación de investigaciones

Por Ernesto Spinak

Introducción

Imagen: Midjourney AI, prompted by Netha Hussain

La introducción de la Inteligencia Artificial (IA), los Large Language Models (LLM), ChatGPT, Bard, y Bing, en particular, han cambiado el escenario de la redacción, creación y producción de trabajos de investigación, generando una revolución del mundo editorial académico de manera irreversible. No hay marcha atrás. Debemos aprender a convivir con un nuevo entorno que generará rupturas en nuestros viejos paradigmas en muchos aspectos.

Solo para mencionar algunos temas críticos:

• Quiénes deben ser considerados autores
• Cuáles son las herramientas válidas de IA en la publicación científica original, cuáles no serían aceptables, y cuáles deberán evaluarse progresivamente.
• Qué papel deberán jugar los editores científicos y los árbitros.
• Qué significará plagio y qué hay de los “papermills”.
• Qué dicen las sociedades científicas, las universidades, y el mundo académico en general.
• Si disponemos de procedimientos de software para detectar el uso de IA en los textos producidos.
• Cómo deberían modificarse las instrucciones de las revistas para los autores, editores, etc.
• Cómo irán cambiando las regulaciones de los países… etc.

Comenzaremos hoy con el tema acerca de quiénes pueden ser “autores/coautores” propiamente dichos, según lo indicado por las asociaciones científicas y los editores de revistas que hemos consultado. La lista de editores y asociaciones científicas consultadas se registran al final del artículo en el área de Notas. En las Referencias están los documentos usados.

Consideraciones previas

La adopción de la IA plantea cuestiones éticas clave en torno a la responsabilidad (accountability), las obligaciones y la transparencia de los autores.

Las herramientas de IA ya se están utilizando en publicaciones académicas, por ejemplo, en verificaciones previas a la revisión por pares (calidad del idioma, confirmación de que un envío está dentro del alcance de la revista, etc.). El uso de IA no es intrínsecamente poco ético y puede ser útil, por ejemplo, para autores que no escriben en inglés como su primer idioma. Aunque el uso de herramientas de IA para las traducciones puede traer problemas separados de derechos de autor, dependerá del ser humano asumir la responsabilidad de garantizar el cumplimiento de las regulaciones. Porque en última instancia la aplicación responsable de la tecnología requiere supervisión humana, controles y monitoreo.

IA y la comunicación de investigaciones

Los problemas y las objeciones

El uso de IA como el ChatGPT o el Bard u otros que ciertamente vendrán, para escribir, traducir, revisar y editar manuscritos académicos presenta desafíos éticos para investigadores y revistas. Por esta razón algunas revistas, como Science, Nature y muchas otras, han prohibido el uso de aplicaciones de LLM en los artículos recibidos.

Por ejemplo, las herramientas de IA no pueden cumplir con los requisitos de autoría, ya que no pueden asumir la responsabilidad del trabajo enviado debido a que no son “personas” , ni tienen personalidad jurídica. (El estado legal de un autor difiere de un país a otro, pero en la mayoría de las jurisdicciones, un autor debe ser una persona jurídica). Tampoco pueden afirmar la presencia o ausencia de conflictos de intereses ni gestionar acuerdos de licencia y derechos de autor. Debido a esta y otras razones, el mundo de la ética se está volviendo resueltamente en contra de esa idea, y es fácil ver por qué.

Los autores que utilizan herramientas de IA en la redacción de un manuscrito, la producción de imágenes o elementos gráficos del artículo, o en la recopilación y el análisis de datos, deben ser transparentes al revelar en las secciones Materiales y Métodos del artículo (o una sección similar) detalles de cómo se utilizó la herramienta de IA y qué herramienta se utilizó.

Las instrucciones de todas las asociaciones científicas y editores de revistas académicas consultadas incluyen la prohibición de que la IA sea tratada como autora de los artículos académicos y libros que se publican.

Servidores de preprints como medRxiv, su colega bioRxiv, así también la editorial Taylor & Francis, la Universidad de Cambridge, y el Office of Research Integrity del Reino Unido, señalan que las directrices de autoría vigentes indican que ChatGPT no debe ser acreditado como coautor ni coautor.

Lo que importa es quién (o qué) es un autor, y si éste puede responder por la ética y la confiabilidad de su trabajo. Si se obtiene información proveniente de herramientas de IA debería identificarse y corregirse los sesgos en las fuentes de datos y los posibles sesgos en el diseño de las herramientas, porque en última instancia es el ser humano quien sigue siendo moral y jurídicamente responsable de cualquier error en lo publicado o en la infracción de derechos de autor.

Además, cualquier uso de la IA no debe infringir la política de plagio. Los trabajos académicos deben ser originales del autor y no presentar ideas, datos, palabras o material de otros autores sin una citación adecuada y una referenciación transparente. Muchas de las preguntas más apremiantes sobre la IA y el plagio están relacionadas con contenido que no es textual: imágenes, audiovisuales, tablas, ideas, etc. Nuevamente, la atribución es clave: los editores asumen que todo el contenido sea generado por autores humanos a menos que haya una declaración en contrario.

Las Recomendaciones de las sociedades científicas y editores de revistas

1. Solo los humanos pueden ser autores;
2. Los autores deben reconocer las fuentes de sus materiales;
3. Los autores deben asumir la responsabilidad pública de su trabajo;
4. Los autores deben asegurarse de que todo el material citado se atribuya correctamente, incluidas las citas completas, y que las fuentes citadas respalden las declaraciones del chatbot. Porque no es inusual que los chatbots generen referencias a obras que no existen.
5. Debe indicarse expresamente cualquier uso de chatbots en la evaluación del manuscrito y la generación de revisiones y correspondencia.
6. Los editores necesitan herramientas digitales apropiadas para lidiar con los efectos de los chatbots en la publicación. Cuando se usa una herramienta de IA para realizar o generar trabajo analítico, ayudar a informar los resultados (por ejemplo, generar tablas o figuras) o escribir códigos de computadora, esto debe indicarse en el cuerpo del artículo, tanto en la sección de Resumen como en la de Métodos, para permitir el escrutinio científico, incluida la replicación y la identificación.
7. Los editores necesitan herramientas apropiadas que les ayuden a detectar contenido generado o alterado por IA. Dichas herramientas deben estar disponibles para los editores independientemente de la capacidad de pago por ellas. Esto es de particular importancia para los editores de revistas médicas donde las consecuencias adversas de la desinformación incluyen daños potenciales a las personas.

El modelo de IA no está diseñado para tomar decisiones críticas ni para usos que tengan consecuencias materiales sobre el sustento o el bienestar de una persona. Esto incluye situaciones en las que se trata de atención médica, sentencias judiciales, o finanzas: áreas que están representadas por muchas revistas y editores académicos.

Los chatbots se activan mediante una instrucción en lenguaje sencillo, o “prompts”, proporcionada por el usuario. Generan respuestas utilizando modelos de lenguaje estadísticos y basados en probabilidades que les dan coherencia y, por lo general, son lingüísticamente precisos y fluidos. Pero, hasta la fecha, a menudo se ven comprometido de varias maneras. Por ejemplo, las respuestas de chatbots actualmente conllevan el riesgo de incluir sesgos, distorsiones, irrelevancias, tergiversaciones y plagio, muchos de los cuales son causados por los algoritmos que rigen su generación y dependen en gran medida del contenido de los materiales utilizados en su capacitación. El problema podría tener consecuencias serias en algunas situaciones lo que ha llevado a que la FTC de EE UU haya abierto recientemente una investigación a OpenAI por posible daño a clientes de ChatGPT

¿Se debe prohibir el uso de AI en la escritura científica?

Hay tres razones para oponerse a las políticas de las revistas que prohíben el uso de LLM al escribir o editar manuscritos académicos.

• Primero, las prohibiciones son inaplicables. Los textos seguramente serán generados a medida que los informáticos y los investigadores encuentren formas de trabajar con ellos.
• En segundo lugar, las prohibiciones pueden alentar el uso no divulgado de los LLM, lo que socavaría la transparencia y la integridad en la investigación.
• En tercer lugar, los LLM pueden desempeñar un papel importante para ayudar a los investigadores que no dominan mucho el inglés a escribir y editar sus trabajos, y también una cantidad de tareas accesorias de investigación.

La respuesta más razonable a los dilemas que plantean los LLM es desarrollar políticas que promuevan la transparencia, la responsabilidad (accountability), la asignación justa del crédito y la integridad.

Qué aplicaciones de IA son aceptables en la redacción científica

Las herramientas de IA pueden ser de gran ayuda para editores, revistas y autores académicos (de hecho, muchas ya se están utilizando). Permiten identificar revisores adecuados, resumir el contenido, pueden etiquetar metadatos, identificar imágenes duplicadas, etc.

De acuerdo a ACL serían actividades válidas para usar la IA en la preparación de un artículo académico:

• Asistencia puramente con el idioma del artículo. Cuando los modelos generativos se utilizan para parafrasear o pulir el contenido original del autor, en lugar de sugerir contenido nuevo, son similares a herramientas como Grammarly, correctores ortográficos, diccionarios y sinónimos, que han sido perfectamente aceptables durante años.
• Búsqueda de literatura. Los modelos de texto generativo se pueden utilizar como asistentes de búsqueda y para identificar la literatura relevante. Se aplican los requisitos habituales para la precisión de las citas y la minuciosidad de las revisiones bibliográficas; tenga cuidado con los posibles sesgos en las citas sugeridas.
• Textos de poca novedad. Algunos autores pueden sentir que describir conceptos ampliamente conocidos es una pérdida de tiempo y puede automatizarse. El manuscrito debería especificar dónde se usó dicho texto y convencer a los revisores de que se verificó que la generación fuera precisa y que esté acompañada de citas relevantes y apropiadas (por ejemplo, usar comillas en bloque para copiar palabra por palabra).

Si bien los LLM pueden cometer algunos errores evidentes, son susceptibles de sesgo e incluso pueden fabricar hechos o citas, estos defectos no deben reprocharse porque los investigadores humanos también pueden cometer errores similares.

Reflexiones y consecuencias

Desde el punto de vista del Modelo SciELO de Publicación, parecería que es importante que las más de 1.300 revistas activas actualmente publicadas de modo decentralizado en las colecciones de la Red SciELO operen con criterios comunes en las instrucciones a los autores bajo este nuevo escenario que incorpora la IA, ChatGPT y similares.

Sea que las revistas todavía se publiquen en la forma convencional de SciELO, o ya estén usando los servicios de preprints, es necesario informar a los autores, dar instrucciones para incorporar los conceptos a las rutinas editoriales, y que los árbitros estén conscientes del tema.

Acá no habrá marcha atrás.

Sociedades científicas y editores de revistas consultados

• Association for Computational Linguistics (ACL): https://www.aclweb.org/portal/
• Cambridge University Press: https://www.cambridge.org/
• Committee on Publication Ethics (COPE): https://publicationethics.org/
• International Committee of Medical Journal Editors (ICMJE): https://www.icmje.org/
• Journal of American Medical Association (JAMA Network): https://jamanetwork.com/
• Office of Research Integrity (ORI): https://www.research.uky.edu/office-research-integrity
• Taylor & Francis: https://www.tandfonline.com/
• World Association of Medical Editors (WAME): https://www.wame.org/

Posts de la serie sobre Inteligencia Artificial (IA)

• GPT, traducción automática y qué tan buenos son: una evaluación integral
• Inteligencia Artificial y comunicación de investigaciones
• IA: Cómo detectar textos producidos por chatbox y sus plagios
• Investigación y comunicación científica, la IA y la legislación que se avecina
• ¿Puede la IA hacer arbitrajes confiables de artículos científicos?
• ¿Es que la Inteligencia Artificial tiene alucinaciones?

Referências

Artificial intelligence (AI) and fake papers [online]. COPE: Committee on Publication Ethics. 2023 [viewed 30 August 2023]. Available from: https://publicationethics.org/resources/forum-discussions/artificial-intelligence-fake-paper

Artificial intelligence (AI) in decision making [online]. COPE: Committee on Publication Ethics. 2023 [viewed 30 August 2023]. https://doi.org/10.24318/9kvAgrnJ. Available from: https://publicationethics.org/node/50766

Artificial intelligence and authorship [online]. COPE: Committee on Publication Ethics. 2023 [viewed 30 August 2023]. Available from: https://publicationethics.org/news/artificial-intelligence-and-authorship

Authorship and AI tools – COPE position statement [online]. COPE: Committee on Publication Ethics. 2023 [viewed 30 August 2023]. Available from: https://publicationethics.org/cope-position-statements/ai-author

Authorship and contributorship [online]. Cambridge University Press. 2023 [viewed 30 August 2023]. Available from: https://www.cambridge.org/core/services/authors/publishing-ethics/research-publishing-ethics-guidelines-for-journals/authorship-and-contributorship#ai-contributions-to-research-content

BOYD-GRABER, J., OKAZAKI, N. and ROGERS, A. 2023. ACL 2023 policy on AI Writing Assistance [online]. The ACL 2023 Blog, 2023 [viewed 30 August 2023]. Available from: https://2023.aclweb.org/blog/ACL-2023-policy/

Chatbots, Generative AI, and Scholarly Manuscripts – WAME Recommendations on Chatbots and Generative Artificial Intelligence in Relation to Scholarly Publications [online]. World Association of Medical Editors. 2023 [viewed 30 August 2023]. Available from: https://wame.org/page3.php?id=110

HOSSEINI, M., RESNIK, D. B. AND HOLMES, K. The ethics of disclosing the use of artificial intelligence tools in writing scholarly manuscripts. Research Ethics [online]. 2023, vol. 0, no. 0 [viewed 30 August 2023]. https://doi.org/10.1177/17470161231180449. Available from: https://journals.sagepub.com/doi/10.1177/17470161231180449

STOKEL-WALKER, C. ChatGPT Listed as Author on Research Papers: Many Scientists Disapprove. Nature [online]. 2023, vol. 613, no. 7945, pp. 620-621 [viewed 30 August 2023]. https://doi.org/10.1038/d41586-023-00107-z. Available from: https://www.nature.com/articles/d41586-023-00107-z

ZAKRZEWSKI, C. FTC investigates OpenAI over data leak and ChatGPT’s inaccuracy [online]. The Washington Post. 2023 [viewed 30 August 2023]. Available from: https://www.washingtonpost.com/technology/2023/07/13/ftc-openai-chatgpt-sam-altman-lina-khan/

Links externos

Association for Computational Linguistics (ACL): https://www.aclweb.org/portal/

bioRxiv: https://www.biorxiv.org/

Cambridge University Press: https://www.cambridge.org/

Committee on Publication Ethics (COPE): https://publicationethics.org/

International Committee of Medical Journal Editors (ICMJE): https://www.icmje.org/

Journal of American Medical Association (JAMA Network): https://jamanetwork.com/

medRxiv: https://www.medrxiv.org/

Office of Research Integrity (ORI): https://www.research.uky.edu/office-research-integrity

Taylor & Francis: https://www.tandfonline.com/

World Association of Medical Editors (WAME): https://www.wame.org/

Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información" pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

See Full Bio