Os LLMs desenvolvem sua própria compreensão da realidade à medida que suas habilidades linguísticas melhoram | MIT Information



Os LLMs desenvolvem sua própria compreensão da realidade à medida que suas habilidades linguísticas melhoram | MIT Information

Peça a um modelo de linguagem grande (LLM) como o GPT-4 para sentir o cheiro de um acampamento encharcado pela chuva, e ele educadamente recusará. Peça ao mesmo sistema para descrever esse cheiro para você, e ele falará poeticamente sobre “um ar denso de antecipação” e “um cheiro que é fresco e terroso”, apesar de não ter experiência anterior com chuva nem um nariz para ajudá-lo a fazer tais observações. Uma possível explicação para esse fenômeno é que o LLM está simplesmente imitando o texto presente em seus vastos dados de treinamento, em vez de trabalhar com qualquer compreensão actual de chuva ou cheiro.

Mas a falta de olhos significa que os modelos de linguagem nunca podem “entender” que um leão é “maior” que um gato doméstico? Filósofos e cientistas há muito consideram a capacidade de atribuir significado à linguagem uma marca registrada da inteligência humana — e ponderam quais ingredientes essenciais nos permitem fazer isso.

Olhando para esse enigma, pesquisadores do Laboratório de Ciência da Computação e Inteligência Synthetic (CSAIL) do MIT descobriram resultados intrigantes sugerindo que modelos de linguagem podem desenvolver sua própria compreensão da realidade como uma forma de melhorar suas habilidades generativas. A equipe primeiro desenvolveu um conjunto de pequenos quebra-cabeças Karel, que consistiam em criar instruções para controlar um robô em um ambiente simulado. Eles então treinaram um LLM nas soluções, mas sem demonstrar como as soluções realmente funcionavam. Finalmente, usando uma técnica de aprendizado de máquina chamada “sondagem”, eles olharam dentro do “processo de pensamento” do modelo conforme ele gera novas soluções.

Após treinar em mais de 1 milhão de quebra-cabeças aleatórios, eles descobriram que o modelo desenvolveu espontaneamente sua própria concepção da simulação subjacente, apesar de nunca ter sido exposto a essa realidade durante o treinamento. Tais descobertas colocam em questão nossas intuições sobre quais tipos de informação são necessárias para aprender o significado linguístico — e se os LLMs podem algum dia entender a linguagem em um nível mais profundo do que hoje.

“No início desses experimentos, o modelo de linguagem gerou instruções aleatórias que não funcionaram. Quando concluímos o treinamento, nosso modelo de linguagem gerou instruções corretas a uma taxa de 92,4 por cento”, diz o aluno de doutorado em engenharia elétrica e ciência da computação (EECS) do MIT e afiliado do CSAIL, Charles Jin, que é o autor principal de um novo artigo sobre o trabalho. “Este foi um momento muito emocionante para nós porque pensamos que se seu modelo de linguagem pudesse completar uma tarefa com esse nível de precisão, poderíamos esperar que ele entendesse os significados dentro da linguagem também. Isso nos deu um ponto de partida para explorar se os LLMs de fato entendem o texto, e agora vemos que eles são capazes de muito mais do que apenas costurar palavras às cegas.”

Dentro da mente de um LLM

A sonda ajudou Jin a testemunhar esse progresso em primeira mão. Sua função period interpretar o que o LLM achava que as instruções significavam, revelando que o LLM desenvolveu sua própria simulação interna de como o robô se transfer em resposta a cada instrução. À medida que a capacidade do modelo de resolver quebra-cabeças melhorava, essas concepções também se tornavam mais precisas, indicando que o LLM estava começando a entender as instruções. Em pouco tempo, o modelo estava consistentemente juntando as peças corretamente para formar instruções de trabalho.

Jin observa que a compreensão da linguagem pelo LLM se desenvolve em fases, muito parecida com a forma como uma criança aprende a falar em várias etapas. No começo, é como um bebê balbuciando: repetitivo e quase ininteligível. Então, o modelo de linguagem adquire sintaxe, ou as regras da linguagem. Isso permite que ele gere instruções que podem parecer soluções genuínas, mas ainda assim não funcionam.

As instruções do LLM melhoram gradualmente, no entanto. Uma vez que o modelo adquire significado, ele começa a produzir instruções que implementam corretamente as especificações solicitadas, como uma criança formando frases coerentes.

Separando o método do modelo: Um “Mundo Bizarro”

A sonda tinha a intenção apenas de “entrar no cérebro de um LLM”, como Jin a caracteriza, mas havia uma possibilidade remota de que ela também fizesse parte do pensamento para o modelo. Os pesquisadores queriam garantir que seu modelo entendesse as instruções independentemente da sonda, em vez de a sonda inferir os movimentos do robô a partir da compreensão da sintaxe do LLM.

“Think about que você tem uma pilha de dados que codifica o processo de pensamento do LM”, sugere Jin. “A sonda é como um analista forense: você entrega essa pilha de dados ao analista e diz: ‘Aqui está como o robô se transfer, agora tente encontrar os movimentos do robô na pilha de dados.’ O analista depois diz a você que sabe o que está acontecendo com o robô na pilha de dados. Mas e se a pilha de dados realmente codificar apenas as instruções brutas, e o analista tiver descoberto uma maneira inteligente de extrair as instruções e segui-las adequadamente? Então o modelo de linguagem não aprendeu realmente o que as instruções significam.”

Para desembaraçar seus papéis, os pesquisadores inverteram os significados das instruções para uma nova sonda. Neste “Mundo Bizarro”, como Jin o chama, direções como “para cima” agora significavam “para baixo” dentro das instruções que moviam o robô por sua grade.

“Se a sonda estiver traduzindo instruções para posições de robôs, ela deve ser capaz de traduzir as instruções de acordo com os significados bizarros igualmente bem”, diz Jin. “Mas se a sonda estiver realmente encontrando codificações dos movimentos originais do robô no processo de pensamento do modelo de linguagem, então ela deve ter dificuldade para extrair os movimentos bizarros do robô do processo de pensamento unique.”

Como se viu, a nova sonda sofreu erros de tradução, incapaz de interpretar um modelo de linguagem que tinha significados diferentes das instruções. Isso significava que a semântica unique estava incorporada ao modelo de linguagem, indicando que o LLM entendia quais instruções eram necessárias independentemente do classificador de sondagem unique.

“Esta pesquisa visa diretamente uma questão central na inteligência synthetic moderna: as capacidades surpreendentes de grandes modelos de linguagem são devidas simplesmente a correlações estatísticas em escala, ou os grandes modelos de linguagem desenvolvem uma compreensão significativa da realidade com a qual são solicitados a trabalhar? Esta pesquisa indica que o LLM desenvolve um modelo interno da realidade simulada, embora nunca tenha sido treinado para desenvolver este modelo”, diz Martin Rinard, professor do MIT em EECS, membro do CSAIL e autor sênior do artigo.

Este experimento apoiou ainda mais a análise da equipe de que modelos de linguagem podem desenvolver uma compreensão mais profunda da linguagem. Ainda assim, Jin reconhece algumas limitações em seu artigo: Eles usaram uma linguagem de programação muito simples e um modelo relativamente pequeno para obter seus insights. Em um próximos trabalhoseles procurarão usar uma configuração mais geral. Embora a pesquisa mais recente de Jin não descreva como fazer o modelo de linguagem aprender o significado mais rápido, ele acredita que o trabalho futuro pode se basear nesses insights para melhorar como os modelos de linguagem são treinados.

“Uma questão intrigante em aberto é se o LLM está realmente usando seu modelo interno de realidade para raciocinar sobre essa realidade enquanto resolve o problema de navegação do robô”, diz Rinard. “Embora nossos resultados sejam consistentes com o LLM usando o modelo dessa forma, nossos experimentos não são projetados para responder a essa próxima questão.”

“Há muito debate hoje em dia sobre se os LLMs estão realmente ‘entendendo’ a linguagem ou se seu sucesso pode ser atribuído ao que são essencialmente truques e heurísticas que vêm de sorver grandes volumes de texto”, diz Ellie Pavlick, professora assistente de ciência da computação e linguística na Brown College, que não estava envolvida no artigo. “Essas questões estão no cerne de como construímos IA e o que esperamos que sejam possibilidades ou limitações inerentes de nossa tecnologia. Este é um bom artigo que analisa essa questão de forma controlada — os autores exploram o fato de que o código do computador, como a linguagem pure, tem sintaxe e semântica, mas, ao contrário da linguagem pure, a semântica pode ser diretamente observada e manipulada para fins experimentais. O design experimental é elegante, e suas descobertas são otimistas, sugerindo que talvez os LLMs possam aprender algo mais profundo sobre o que a linguagem ‘significa’.”

O artigo de Jin e Rinard foi apoiado, em parte, por bolsas da Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA).

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *