IA: Como detectar textos produzidos por chatbox e seus plágios

Por Ernesto Spinak

Introdução

Imagem: Wikimedia Commons.

A pergunta o que significa ser um autor é apenas uma das questões mais urgentes no mercado de bots de Inteligência Artificial (IA). A mais nova geração destes bots é o ChatGPT da OpenAI, cuja versão gratuita mais recente foi lançada em novembro de 2022, com base na arquitetura Large Language Model (LLM). Suas fontes de informação¹ são grandes banco de textos com exemplos que lhes permitem determinar, em um sentido probabilístico, quais palavras, estruturas de frases, temas e evidências são mais frequentes.

As respostas, entretanto, podem levantar dúvidas sobre plágio, precisão e originalidade das explicações fornecidas.

Para analisar estas questões, interrogamos o ChatGPT-3 com quatro perguntas e cruzamos as respostas com informação recente da Internet.

P. 1 – Como é possível identificar se um texto foi escrito por humanos ou por um chatbox?

ChatGPT-3

Sinais que podem indicar intervenção de IA:

• Padrões de resposta: os chatbots geralmente têm padrões de resposta previsíveis. Eles podem ser excessivamente formais ou usar frases e estruturas gramaticais semelhantes em todas as suas respostas. Isso pode indicar que o texto foi gerado automaticamente.
• Consistência e contexto: Os seres humanos geralmente respondem de forma consistente ao contexto e conseguem entender o tom e o objetivo da conversa. Os chatbots podem ter dificuldades para manter a consistência ou podem fornecer respostas irrelevantes para o contexto.
• Erros gramaticais ou tipográficos: os humanos às vezes cometem erros gramaticais ou tipográficos, enquanto os chatbots geralmente produzem textos bem estruturados e sem erros.
• Respostas muito rápidas: os chatbots geralmente respondem instantaneamente, sem tempo de espera perceptível. Se receber respostas extremamente rápidas em um chat, você pode estar interagindo com um chatbot.
• É uma invasão de privacidade? A principal preocupação com a privacidade em relação à IA é a possibilidade de violações de dados e acesso não autorizado à informação pessoal. Com tantos dados sendo coletados e processados, existe o risco de eles caírem em mãos erradas, seja por meio de hacking ou outras violações de segurança.
• IA é tendenciosa? A parcialidade da IA ocorre porque os humanos escolhem os dados que os algoritmos usam e decidem como os resultados destes algoritmos serão aplicados. Sem testes completos e equipes diversificadas, é provável que o viés inconsciente se infiltre nos modelos de aprendizado de máquina.
• Não direcionado e desvinculado. O chatbox evitará expressar uma opinião forte, tomar uma posição sobre um problema, refletir sobre si mesmo ou imaginar o futuro. Com o tipo certo de instruções, ele pode ser persuadido a fazer algumas destas coisas, mas só até certo ponto, pois ainda parecerá estranhamente cauteloso, desinteressado e sem direção/conteúdo.
• Afetado por erros. Os modelos de IA generativa funcionam prevendo a próxima palavra com base no contexto anterior. Eles não sabem das coisas. Por isso, tendem a gerar declarações que parecem plausíveis, mas que, na verdade, são incorretas. Este fenômeno é conhecido como “alucinação” da IA. Se uma submissão contiver muitos destes erros, ou um ou dois muito dramáticos, é provável que tenha sido gerada por IA.

É importante observar que os avanços na inteligência artificial podem tornar os chatbots cada vez mais difíceis de distinguir dos humanos. Alguns chatbots são projetados especificamente para imitar o estilo de escrita humana e passar nos testes de detecção. Em última análise, avaliar se um texto foi escrito por um ser humano ou por um chatbot pode ser complexo e nem sempre pode ser determinado com absoluta certeza.

O que diz a Internet

Uma IA não se importa se a informação que retorna é verdadeira, apenas se é plausível. Ela pode estar enviando uma resposta surpreendentemente perspicaz e precisa, ou pode ser um absurdo envolto na linguagem de pesquisa acadêmica. O modelo gera conteúdo que parece real, mas pode não estar correto.

Os modelos de LLM, como o ChatGPT, podem produzir textos cada vez mais realistas, com informação desconhecida sobre precisão e integridade na redação científica.

Há várias maneiras pelas quais os pesquisadores tentaram detectar textos gerados por IA. Um método comum é usar software para analisar diferentes recursos do texto, por exemplo, a suavidade da leitura, a frequência com que determinadas palavras aparecem ou se há padrões de pontuação ou a extensão das frases. No entanto, em um estudo realizado por Gao,² verificou-se que tanto os humanos quanto os programas detectores de respostas de IA conseguiram identificar resumos gerados pelo ChatGPT na maioria dos casos, mas nenhum deles foi um discriminador perfeito.

Como os modelos LLM funcionam prevendo a próxima palavra em uma frase, é mais provável que usem palavras comuns, como “ele”, “o (pronome)” ou “é”, em vez de palavras inusitadas e estranhas. O texto escrito por seres humanos geralmente está repleto de erros de digitação e é incrivelmente variável, incorporando diferentes estilos e jargões, enquanto os modelos de linguagem raramente cometem erros de digitação.

Embora haja um trabalho em andamento para incorporar marcas d’água nos textos de saída, até que isso seja padronizado e robusto contra correções, sugere-se enviar resumos de periódicos e conferências por meio de detectores de saída de IA como parte do processo editorial de pesquisa e também para protegê-los dos vieses de organizações mal-intencionadas, como os papermills.

P.2 – Existem tecnologias disponíveis para detectar textos gerados por IA?

ChatGPT-3

Sim, existem tecnologias de software projetadas especificamente para detectar textos gerados por inteligência artificial (IA). Estas tecnologias são conhecidas como sistemas de detecção de geração de linguagem (Language Generation Detection Systems).

Algumas das técnicas e abordagens usadas nestes sistemas incluem:

• Análise de padrões: Os sistemas de detecção podem examinar características específicas do texto, como padrões de palavras, estruturas gramaticais ou erros comuns gerados por modelos de IA. Eles também podem avaliar a coerência e a coesão do texto para determinar se ele parece ter sido gerado por IA.
• Aprendizado de máquina: Os algoritmos de aprendizado de máquina são usados para treinar modelos que podem distinguir entre texto gerado por IA e texto escrito por humanos.
• Comparação com dados de treinamento: Os sistemas de detecção podem comparar o texto suspeito com os dados usados para treinar o modelo de geração de linguagem.

É importante observar que os avanços na geração de linguagem de IA também impulsionam o desenvolvimento de técnicas mais sofisticadas para detectar estes textos gerados. No entanto, observe que a detecção precisa de textos gerados por IA pode ser um desafio em constante evolução, pois os modelos de IA continuam a melhorar e se adaptar.

• A marca d’água ou watermark: é uma técnica comumente usada para identificar e proteger a propriedade intelectual de imagens, vídeos ou outros conteúdos digitais. Uma marca d’água geralmente consiste em informação visual ou textual sobrepostas ao conteúdo, que pode indicar a origem, a autoria ou os direitos de propriedade do conteúdo. As marcas d’água incorporadas no texto não são uma técnica comumente usada para identificar o texto produzido por chatbots ou modelos de geração de linguagem em tempo real (conhecidos como Red-Flagging), mas isso pode mudar.
• Indicadores de chatbot: Os sistemas de chatbot geralmente se apresentam como tal no início da conversa ou em algum momento durante a conversa. Isso pode ser feito por meio de uma mensagem de boas-vindas ou de uma declaração explícita de que o usuário está interagindo com um chatbot.
• Respostas predefinidas: os chatbots geralmente têm uma base de conhecimento ou um conjunto de respostas predefinidas que podem ser fornecidas com base na entrada do usuário. Se uma resposta for identificada como uma das opções predefinidas, isso pode ser uma indicação de que ela está vindo de um chatbot.

O que diz a Internet

A informação gerada por IA pode ser incorreta, perigosa, desatualizada ou enganosa. O conteúdo de IA pode induzir editores ou empresas a acreditar que estão pagando por conteúdo criado por humanos. O conteúdo de IA pode tirar proveito do trabalho criativo de humanos e reutilizá-lo sem atribuição às verdadeiras fontes.

• Algumas ferramentas disponíveis para detectar IA, que incluem GPTZero, foram significativamente aprimoradas. Atualmente esta ferramenta é muito precisa, fácil de usar e inclui uma extensão para o Chrome.
• AI Text Classifier da OpenAI é muito preciso, mas não fornece informação adicional sobre o conteúdo.
• AI Content Detector de Content at Scale é fácil de usar e produz relatórios bastante precisos sobre previsibilidade, probabilidade e padrões.
• OpenAI Detector é uma ferramenta gratuita e de código aberto que pode ser usada para detectar texto gerado pelo modelo de linguagem GPT da OpenAI.³

Assim como os detectores do ChatGPT pareciam identificar a escrita de IA generativa, já estão sendo desenvolvidas ferramentas para contornar os detectores e não serem detectadas. Ferramentas como Undetectable ou Quillbot podem reescrever seu conteúdo parafraseando-o, dificultando o rastreamento por determinadas ferramentas de detecção de IA.

Conclusão: atualmente, nenhum software de acesso aberto pode detectar conteúdo gerado por IA com 100% de certeza.

P.3 – Como é possível garantir que a informação nos chatbox não sejam plagiadas?

ChatGPT-3

Para garantir que a informação fornecida pelos chatbots não sejam plagiadas, é preciso seguir algumas recomendações:

• Fontes confiáveis: certifique-se de que os desenvolvedores de chatbot usem fontes confiáveis e verificadas para treinar e alimentar o chatbot com informação. Isso ajudará a garantir que a informação fornecida seja precisa e legítima.
• Verificação cruzada: sempre verifique a informação fornecida pelo chatbot consultando várias fontes independentes. Compare a informação para garantir que ela seja coerente e consistente em diferentes fontes confiáveis.
• Citações e referências: se o chatbot fornecer informação específica, como dados, estatísticas ou fatos, verifique se as fontes são citadas ou se são mencionadas referências bibliográficas. Isso permitirá verificar a validade da informação e determinar se o crédito está sendo atribuído corretamente às fontes originais.
• Comprovação manual: Se tiver dúvidas sobre a informação fornecida pelo chatbot, faça uma pesquisa manual por conta própria. Consulte livros, artigos acadêmicos ou outras fontes reconhecidas para obter informação adicional e garantir que não haja plágio ou desinformação.
• Avalie a qualidade do conteúdo: Observe a qualidade geral do conteúdo fornecido pelo chatbot. Se notar palavras inconsistentes, erros gramaticais ou informação que pareça não confiável ou questionável, talvez seja necessário questionar a precisão do chatbot em geral.

Quando se oferece uma resposta que compila textos de outras fontes de informação, que garantias existem de que são citações apropriadas e não são plágio? É importante ter em mente que o uso de respostas geradas pelo chatbox é por conta e risco do usuário. Se precisar de informação precisa e verificável, é sempre recomendável consultar fontes confiáveis e citar adequadamente o conteúdo usado, como livros, artigos acadêmicos, sites ou consultar especialistas na área relevante. Estas fontes são mais adequadas para obter informação precisa e garantir que os direitos autorais e a citação adequada sejam respeitados.

O que diz a Internet

“A questão é se um software pode ser qualificado como um autor.”

Até o momento, o Instituto de Estudos Políticos de Paris, a Universidade RV de Bangalore, o Departamento de Educação da Cidade de Nova York, escolas públicas de Nova Gales do Sul, Queensland, Tasmânia e várias universidades da Austrália censuraram ou limitaram o uso de chatbox como fonte de informação.

Há plágio se o direito moral de “paternidade” for violado.

Do ponto de vista do usuário, o que se pode argumentar é que alguém que envia um texto escrito por um chatbot e o atribui como seu poderia estar plagiando, da mesma forma que poderia ter plagiado ao usar a Wikipédia.⁴

A paternidade do autor original é sempre de uma pessoa física, nunca moral ou jurídica. Por esse motivo, é pertinente

analisar se o plágio realmente ocorre, pois dois requisitos essenciais devem ser atendidos: por um lado, reivindicar como sua uma obra que não é sua, mas, além disso, que se trata uma obra de um autor distinto.⁴

A pergunta questiona se o ChatGPT, como software, pode ser plagiado.

Sim, ele pode, se em seu processamento de informação não atribuir corretamente a autoria (da fonte da qual obtém as respostas) ou se reproduzir textos sem autorização do autor.⁴

Em que ou onde está a autoria? O problema se baseia mais na questão de se os direitos de propriedade podem ou não ser atribuídos aos dados em si. O que está em questão é – sob a perspectiva jurídica atual – se o software pode ser qualificado como autor.

Se os dados de computador no universo digital puderem ser objeto de direitos de propriedade em si, isso significa uma mudança completa no que entendemos como propriedade intelectual, porque não é mais o ser humano como autor que é central, mas o algoritmo que processa os dados resultantes, e esse é um tópico que precisa ser discutido na esfera jurídica, porque a automação de trabalhos se tornará mais massiva a cada ano que passa e representará enormes desafios jurídicos.⁴

Enquanto as leis estão sendo ajustadas, o debate permanece entre dois pontos: o legal e o ético. Do ponto de vista legal, não há plágio “na medida em que você não está trocando o nome de um autor por outro, mas do ponto de vista ético-acadêmico, há uma infração ética.”⁴

P.4 – É verdade que os chatbox geram referências bibliográficas que não existem?

ChatGPT-3

Não, os próprios chatbots não geram referências bibliográficas que não existem. Os chatbots são programas de software projetados para interagir com os usuários e fornecer respostas com base nos dados e algoritmos com os quais foram treinados. Eles não têm a capacidade de gerar referências bibliográficas ou conhecimento próprio.

Entretanto, os chatbots podem ser programados para pesquisar e fornecer informação referenciada em um banco de dados ou conjunto de recursos previamente estabelecido. Em alguns casos, se a base de dados subjacente contiver informação incorreta ou desatualizada, é possível que o chatbot forneça referências incorretas ou desatualizadas sem estar ciente disso.

Os recursos que vêm com atualizações pagas podem reduzir estas preocupações, pois as versões do GPT-4 ainda apresentam problemas de “alucinação”, mas em menor grau. O suporte a complementos introduzido em março de 2023 (disponível com assinatura paga) também ajudará a resolver alguns desses problemas.

É importante ressaltar que a responsabilidade é dos desenvolvedores e da qualidade dos dados com os quais o chatbot foi treinado. Se forem usadas fontes de informação confiáveis e atualizadas regularmente, é menos provável que ocorram situações em que sejam geradas referências bibliográficas incorretas ou inexistentes.

O que diz a Internet

Vários usuários apontaram exemplos em que o ChatGPT atribuiu erroneamente ou fabricou citações, sugerindo que seus dados de treinamento tendem a uma atitude bastante livre e facilitam o erro ou até mesmo o plágio.

Um caso concreto, como exemplo, que foi publicado recentemente David,⁵ cita o chatbox que informa: “Um estudo da American Association for the Advancement of Science (AAAS) descobriu que os artigos que haviam sido tuitados tinham uma taxa média de citações 9% maior.” Quando se descobriu que a citação não existia, ele foi questionado novamente sobre o erro. A explicação adicional e o pedido de desculpas do chatbox soam vazios, pois ele evitou a pergunta sobre como fabricou um estudo a partir do nada. A falta de efetividade não é o mesmo que mentir, e suas desculpas repetitivas pareceram meras desculpas.

Minhas reflexões (humanas)

Como primeiras conclusões, entendo

• Atualmente, nenhum software de acesso aberto pode detectar conteúdo gerado por IA com 100% de certeza. E não é provável que este cenário tenda a melhorar.
• Se eu precisar de informação precisa e verificável, precisarei consultar fontes confiáveis e citar adequadamente qualquer conteúdo, ou consultar especialistas na área relevante.

Até o momento, não parece haver muita alteração no ambiente da publicação científica.

Porém…

O que cabe discutir é se é possível qualificar um software como autor… pois então,

• Onde reside a autoria?
• Nos algoritmos?
• Nas plataformas que os desenvolvem?

Mais inquietante ainda

• Será possível atribuir direitos de propriedade aos próprios dados?
• A questão que surge – a partir da perspectiva jurídica atual – é se o software pode ser classificado como um autor.

Posts da série sobre Inteligência Artificial (IA)

• GPT, tradução automática e o quão bons eles são: uma avaliação abrangente
• Inteligência Artificial e a comunicação da pesquisa
• IA: Como detectar textos produzidos por chatbox e seus plágios
• Pesquisa e comunicação científica, IA e legislação iminente
• ¿Puede la IA hacer arbitrajes confiables de artículos científicos? (apenas em espanhol)
• ¿Es que la Inteligencia Artificial tiene alucinaciones? (apenas em espanhol)

Notas

1.A informação publicada pela OpenAI diz que ela tem mais de 175 bilhões de parâmetros, 300 bilhões de palavras, recebeu 10 milhões de consultas de 25 milhões de visitantes por dia e a versão pública atual foi treinada com 570 GB de sites, livros e outras fontes.

2. GAO, C.A., et al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers [online]. bioRxiv. 2022 [viewed 17 November 2023]. https://doi.org/10.1101/2022.12.23.521610. Available from: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1

3. Em 20 de julho de 2023, a OpenAI decidiu encerrar o aplicativo devido à baixa taxa de precisão.

4. RAMOS, R. ChatGPT: Si el autor no es humano, ¿existe plagio? [online]. LexLatin. 2023 [viewed 17 November 2023]. Available from: https://lexlatin.com/reportajes/chatgpt-plagio-autor-no-humano

5. DAVID, E. OpenAI Can’t Tell If Something Was Written by AI after All [online]. The Verge. 2023 [viewed 17 November 2023]. Available from: https://www.theverge.com/2023/7/25/23807487/openai-ai-generated-low-accuracy

Referências

AWAN, A.A. Top 10 Tools for Detecting ChatGPT, GPT-4, Bard, and Claude [online]. KDnuggets, 2023 [viewed 17 November 2023]. Available from: https://www.kdnuggets.com/2023/05/top-10-tools-detecting-chatgpt-gpt4-bard-llms.html

CROTHERS, E., NAPKOWICZ, N. and VIKTOR, H. Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods [online]. arXiv. 2023 [viewed 17 November 2023]. https://doi.org/10.48550/arXiv.2210.07321. Available from: https://arxiv.org/abs/2210.07321

DAVID, E. OpenAI Can’t Tell If Something Was Written by AI after All [online]. The Verge. 2023 [viewed 17 November 2023]. Available from: https://www.theverge.com/2023/7/25/23807487/openai-ai-generated-low-accuracy

DAVIS, P. Did ChatGPT Just Lie To Me? [online] The Scholarly Kitchen, 2023 [viewed 17 November 2023]. Available from: https://scholarlykitchen.sspnet.org/2023/01/13/did-chatgpt-just-lie-to-me/

DEMERS, T. 16 of the best AI and ChatGPT content detectors compared [online]. Search Engine Land. 2023 [viewed 17 November 2023]. Available from: https://searchengineland.com/ai-chatgpt-content-detectors-395957

DHEDA, G. Can Turnitin Detect Chat GPT? [online]. Open AI Master. 2023 [viewed 17 November 2023]. Available from: https://openaimaster.com/can-turnitin-detect-chat-gpt/

GAO, C.A., et al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers [online]. bioRxiv. 2022 [viewed 17 November 2023]. https://doi.org/10.1101/2022.12.23.521610. Available from: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1

HEIKKILÄ, M. A Watermark for Chatbots Can Expose Text Written by an AI [online]. MIT Technology Review. 2023 [viewed 17 November 2023]. Available from: https://www.technologyreview.com/2023/01/27/1067338/a-watermark-for-chatbots-can-spot-text-written-by-an-ai/

MARTI, P. Detectores de IA: ¿Se puede saber si un texto está escrito por la IA? [online]. Raona. 2023 [viewed 17 November 2023]. Available from: https://www.raona.com/detectores-ia/

RAMOS, R. ChatGPT: Si el autor no es humano, ¿existe plagio? [online]. LexLatin. 2023 [viewed 17 November 2023]. Available from: https://lexlatin.com/reportajes/chatgpt-plagio-autor-no-humano

SABEL, B.A., et al. Fake Publications in Biomedical Science: Red-Flagging Method Indicates Mass Production [online]. medRxiv. 2023 [viewed 17 November 2023]. https://doi.org/10.1101/2023.05.06.23289563. Available from: https://www.medrxiv.org/content/10.1101/2023.05.06.23289563v2

Links externos

AI Content Detector: https://contentatscale.ai/ai-content-detector/

AI Text Classifier https://platform.openai.com/ai-text-classifier

ChatGPT: https://chat.openai.com/

GPTZero: https://gptzero.me/

OpenAI Detector https://openai-openai-detector.hf.space/

Quillbot https://quillbot.com/

Undetectable https://undetectable.ai/

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado em Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.

Traduzido do original em espanhol por Lilian Nassi-Calò.