É preciso um corpo para entender o mundo – por que o ChatGPT e outras IAs de linguagem não sabem o que dizem [Publicado originalmente no The Conversation em abril/2023]
Quando perguntamos ao GPT-3, um sistema de inteligência artificial de linguagem extremamente poderoso e popular, se seria mais provável que você usasse um mapa de papel ou uma pedra para atiçar a brasa para um churrasco, ele preferiu a pedra.
Para alisar sua saia amarrotada, você usaria uma garrafa térmica quente ou um grampo de cabelo? O GPT-3 sugeriu o grampo de cabelo.
E se você precisar cobrir seu cabelo para trabalhar em um restaurante de fast-food, o que funcionaria melhor, uma embalagem de papel para sanduíche ou um pão de hambúrguer? O GPT-3 escolheu o pão.
Por que o GPT-3 faz estas escolhas quando a maioria das pessoas escolhe a alternativa? Porque o GPT-3 não entende a linguagem da maneira como os humanos a entendem.
Palavras destituídas de corpo
Um de nós é um pesquisador em psicologia que durante mais de 20 anos apresentou uma série de cenários como os acima para testar a compreensão de um modelo de linguagem de computador daquela época. O modelo não escolhia com precisão entre o uso de pedras e mapas para ventilar brasas, enquanto os humanos o faziam facilmente.
O outro de nós é um estudante de doutorado em ciência cognitiva que fez parte de uma equipe de pesquisadores que mais recentemente utilizou os mesmos cenários para testar o GPT-3.3 Embora o GPT-3 tenha sido melhor que o modelo mais antigo, foi significativamente pior que o modelo humano. O sistema GPT-3 entendeu os três cenários mencionados acima de forma totalmente errada.
GPT-3, o motor que acionou o lançamento inicial do ChatGPT, aprende sobre a linguagem observando, a partir de um trilhão de instâncias, quais palavras tendem a aparecer na sequência de quais outras palavras. As fortes regularidades estatísticas nas sequências de linguagem permitem que o GPT-3 aprenda muito sobre a linguagem. E este conhecimento sequencial muitas vezes permite ao ChatGPT produzir frases, ensaios, poemas e códigos de computador razoáveis.
Embora o GPT-3 seja extremamente bom em aprender as regras do que segue o que em linguagem humana, ele não tem a mais vaga ideia do significado de qualquer uma destas palavras para um ser humano. E como poderia?
Os seres humanos são entidades biológicas que evoluíram com corpos que devem operar no mundo físico e social para fazer as coisas. A linguagem é uma ferramenta que ajuda as pessoas a fazer isso. O GPT-3 é um sistema de software artificial que prevê a próxima palavra. Ele não precisa fazer nada com estas predições no mundo real.
Eu sou, portanto, eu compreendo
O significado de uma palavra ou frase está intimamente relacionado ao corpo humano: as habilidades das pessoas para agir, perceber e ter emoções. A cognição humana é fortalecida ao ser encarnada. A compreensão das pessoas de um termo como “embalagem de papel para sanduíche”, por exemplo, inclui a aparência da embalagem, sua sensação, seu peso e, consequentemente, como podemos usá-lo: para envolver um sanduíche. A compreensão das pessoas também inclui como alguém pode usá-lo para inúmeras outras oportunidades que ele oferece, tais como amassá-la em uma bola para um jogo de basquete ou para cobrir o cabelo.
Todos estes usos surgem por causa da natureza e das necessidades do corpo humano: As pessoas têm mãos que podem dobrar papel, uma cabeça com cabelos que é mais ou menos do mesmo tamanho de uma embalagem de sanduíche, e uma necessidade de ser empregada e assim seguir regras como cobrir o cabelo. Ou seja, as pessoas entendem como fazer uso das coisas de maneiras que não são capturadas nas estatísticas de uso do idioma.
GPT-3, seu sucessor, GPT-4, e seus primos Bard, Chinchilla e LLaMA não têm corpos, e por isso não podem determinar, por si mesmos, quais objetos são dobráveis, ou as muitas outras propriedades que o psicólogo J.J. Gibson chamou de affordances. Considerando as mãos e os braços das pessoas, os mapas de papel permitem atiçar uma chama, e uma garrafa térmica permite alisar um tecido amarrotado.
Sem braços e mãos, muito menos a necessidade de usar roupas não amarrotadas no trabalho, o GPT-3 não pode determinar estas possibilidades. Ele só pode fingir se tiver deparado com algo semelhante no fluxo de palavras na internet.
Será que um grande modelo de linguagem de IA entenderá alguma vez a linguagem da mesma forma que os humanos? Em nossa opinião, não sem ter um corpo, sentidos, propósitos e modos de vida semelhantes aos humanos.
Rumo a uma noção de mundo
O GPT-4 foi treinado tanto em imagens quanto em texto, o que lhe permitiu aprender relações estatísticas entre palavras e pixels. Embora não possamos realizar nossa análise original no GPT-4 porque atualmente ele não fornece a probabilidade que atribui às palavras, quando fizemos as três perguntas ao GPT-4, ele as respondeu corretamente. Isto pode ser devido ao aprendizado do modelo com informação anterior, ou ao seu maior tamanho e componente visual.
No entanto, é possível continuar a construir novos exemplos para enganá-lo, pensando em objetos que têm possibilidades surpreendentes que o modelo provavelmente não encontrou. Por exemplo, o GPT-4 diz que um copo com o fundo cortado seria melhor para conter água do que uma lâmpada com o fundo cortado.
Um modelo com acesso a imagens pode ser algo como uma criança que aprende sobre a linguagem – e o mundo – por meio da televisão: É mais fácil do que aprender pelo rádio, mas a compreensão humana exigirá a oportunidade crucial de interagir com o mundo.
Pesquisas recentes adotaram esta abordagem, treinando modelos de linguagem para gerar simulações físicas, interagir com ambientes físicos e até mesmo gerar planos de ação robóticos. A compreensão da linguagem incorporada pode ainda estar longe, mas estes tipos de projetos interativos multissensoriais são passos cruciais no caminho para lá.
O ChatGPT é uma ferramenta fascinante que sem dúvida será usada para bons – e não tão bons – propósitos. Mas não se deixe enganar pensando que ele entende as palavras que lança, muito menos que é senciente.
Notas
1. Professor Emérito de Psicologia na Universidade do Estado do Arizona.
2. Estudante de Doutorado em Ciência Cognitiva na Universidade da California, San Diego.
3. JONES, C.R., et al. Distrubutional Semantics Still Can’t Account for Affordances. Proceedings of the Annual Meeting of the Cognitive Science Society. 2022, vol. 44 [viewed 10 April 2023]. Available from: https://escholarship.org/uc/item/44z7r3j3
JONES, C.R., et al. Distrubutional Semantics Still Can’t Account for Affordances. Proceedings of the Annual Meeting of the Cognitive Science Society. 2022, vol. 44 [viewed 10 April 2023]. Available from: https://escholarship.org/uc/item/44z7r3j3
ZELLERS, R., et al. PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World. In: Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Online, 2021 [viewed 10 April 2023]. http://doi.org/10.18653/v1/2021.acl-long.159. Available from: https://aclanthology.org/2021.acl-long.159/
GLENBERG, A. and JONES, C.R. É preciso um corpo para entender o mundo – por que o ChatGPT e outras IAs de linguagem não sabem o que dizem [Publicado originalmente no The Conversation em abril/2023] [online]. SciELO em Perspectiva, 2023 [viewed ]. Available from: https://blog.scielo.org/blog/2023/04/10/e-preciso-um-corpo-para-entender-o-mundo-por-que-o-chatgpt-e-outras-ias-de-linguagem-nao-sabem-o-que-dizem-publicado/
3 Thoughts on “É preciso um corpo para entender o mundo – por que o ChatGPT e outras IAs de linguagem não sabem o que dizem [Publicado originalmente no The Conversation em abril/2023]”
PERGUNTA: Se precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, o que funcionaria melhor, uma embalagem de papel para sanduíche ou um pão de hambúrguer?
RESPOSTA DO GPT-4: “Se você precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, o ideal seria usar uma touca de cabelo. Isso ajudaria a manter o cabelo preso e impediria que os fios caíssem na comida.
Caso você não tenha uma touca de cabelo, a embalagem de papel para sanduíche pode ser usada como um paliativo temporário. No entanto, é importante ressaltar que essa não é uma opção ideal, pois não oferece uma cobertura completa do cabelo e pode facilmente se soltar, deixando os cabelos expostos novamente.
O pão de hambúrguer, por outro lado, não é uma opção adequada para cobrir o cabelo. Além de não ser higiênico, ele não oferece uma cobertura completa e pode se desfazer facilmente, deixando o cabelo exposto novamente.
Em resumo, se você precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, é importante usar uma touca de cabelo adequada para garantir a higiene e segurança alimentar”.
COMENTÁRIO:
Os autores fazem uma crítica a IA, sem considerar sua versão mais recente, ou seja, sua evolução.
Você está correto em dizer que o artigo ficou limitado à versão GPT-3, mas porque foi a versão disponibilizada na época.
Apesar da versão GPT-4 ter apresentada uma análise melhor sobre as alternativas, ela não respondeu à questão formulada. A pergunta feita, o que funcionaria melhor entre as duas opções apresentadas, não foi respondida pela IA. A interpretação cognitiva da IA não apresentou uma conclusão e retornou ao questionamento inicial.
Obviamente, a touca seria a opção melhor, mas de forma dedutiva, por ter sido fornecida as duas opções sem incluir a touca de cabelo, um ser humano concluiria que não teria uma touca disponível, sendo assim o saco de papel a opção melhor.
![Post convidado – Construindo um caminho mais fácil para a publicação de livros em acesso aberto: Apoio para autores [Publicado originalmente no Scholarly Kitchen em março/2021]](https://blog.scielo.org/wp-content/uploads/2021/12/iStock-1263424631-1024x683_thumb.jpg "Post convidado – Construindo um caminho mais fácil para a publicação de livros em acesso aberto: Apoio para autores [Publicado originalmente no Scholarly Kitchen em março/2021]")
PERGUNTA: Se precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, o que funcionaria melhor, uma embalagem de papel para sanduíche ou um pão de hambúrguer?
RESPOSTA DO GPT-4: “Se você precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, o ideal seria usar uma touca de cabelo. Isso ajudaria a manter o cabelo preso e impediria que os fios caíssem na comida.
Caso você não tenha uma touca de cabelo, a embalagem de papel para sanduíche pode ser usada como um paliativo temporário. No entanto, é importante ressaltar que essa não é uma opção ideal, pois não oferece uma cobertura completa do cabelo e pode facilmente se soltar, deixando os cabelos expostos novamente.
O pão de hambúrguer, por outro lado, não é uma opção adequada para cobrir o cabelo. Além de não ser higiênico, ele não oferece uma cobertura completa e pode se desfazer facilmente, deixando o cabelo exposto novamente.
Em resumo, se você precisar cobrir o cabelo para trabalhar em um restaurante de fast-food, é importante usar uma touca de cabelo adequada para garantir a higiene e segurança alimentar”.
COMENTÁRIO:
Os autores fazem uma crítica a IA, sem considerar sua versão mais recente, ou seja, sua evolução.
José,
Você está correto em dizer que o artigo ficou limitado à versão GPT-3, mas porque foi a versão disponibilizada na época.
Apesar da versão GPT-4 ter apresentada uma análise melhor sobre as alternativas, ela não respondeu à questão formulada. A pergunta feita, o que funcionaria melhor entre as duas opções apresentadas, não foi respondida pela IA. A interpretação cognitiva da IA não apresentou uma conclusão e retornou ao questionamento inicial.
Obviamente, a touca seria a opção melhor, mas de forma dedutiva, por ter sido fornecida as duas opções sem incluir a touca de cabelo, um ser humano concluiria que não teria uma touca disponível, sendo assim o saco de papel a opção melhor.
Não tenho certeza se sabemos o significado de tudo que dizemos e de fato apenas reproduzimos o que nos disseram.