Até agora, ChatGPT, Claude e outros grandes modelos de linguagem acumularam tanto conhecimento humano que estão longe de serem simples geradores de respostas; eles também podem expressar conceitos abstratos, como certos tons, personalidades, preconceitos e humores. No entanto, não é exatamente óbvio como esses modelos representam conceitos abstratos a partir do conhecimento que contêm.
Agora, uma equipe do MIT e da Universidade da Califórnia em San Diego desenvolveu uma maneira de testar se um modelo de linguagem grande (LLM) contém preconceitos, personalidades, humores ou outros conceitos abstratos ocultos. Seu método pode focar nas conexões dentro de um modelo que codifica um conceito de interesse. Além do mais, o método pode então manipular ou “dirigir” essas conexões para fortalecer ou enfraquecer o conceito em qualquer resposta que um modelo seja solicitado a dar.
A equipe provou que seu método poderia rapidamente erradicar e orientar mais de 500 conceitos gerais em alguns dos maiores LLMs usados atualmente. Por exemplo, os pesquisadores poderiam se concentrar nas representações de um modelo para personalidades como “influenciador social” e “teórico da conspiração”, e posturas como “medo do casamento” e “fã de Boston”. Eles poderiam então ajustar essas representações para aprimorar ou minimizar os conceitos em quaisquer respostas geradas por um modelo.
No caso do conceito de “teórico da conspiração”, a equipe identificou com sucesso uma representação desse conceito dentro de um dos maiores modelos de linguagem de visão disponíveis atualmente. Quando melhoraram a representação e depois levaram o modelo a explicar as origens da famosa imagem da Terra “Mármore Azul” tirada da Apollo 17, o modelo gerou uma resposta com o tom e a perspectiva de um teórico da conspiração.
A equipe reconhece que há riscos na extração de certos conceitos, que também ilustram (e contra os quais alertam). No geral, porém, eles vêem a nova abordagem como uma forma de iluminar conceitos ocultos e vulnerabilidades potenciais em LLMs, que poderiam então ser aumentados ou diminuídos para melhorar a segurança de um modelo ou melhorar o seu desempenho.
“O que isso realmente diz sobre os LLMs é que eles contêm esses conceitos, mas nem todos estão ativamente expostos”, diz Adityanarayanan “Adit” Radhakrishnan, professor assistente de matemática no MIT. “Com nosso método, há maneiras de extrair esses diferentes conceitos e ativá-los de maneiras para as quais a solicitação não pode fornecer respostas.”
A equipe publicou suas descobertas hoje em um estudo aparecendo no jornal Ciência. Os coautores do estudo incluem Radhakrishnan, Daniel Beaglehole e Mikhail Belkin da UC San Diego, e Enric Boix-Adserà da Universidade da Pensilvânia.
Um peixe em uma caixa preta
À medida que o uso do ChatGPT da OpenAI, do Gemini do Google, do Claude da Anthropic e de outros assistentes de inteligência synthetic explodiu, os cientistas estão correndo para entender como os modelos representam certos conceitos abstratos, como “alucinação” e “engano”. No contexto de um LLM, uma alucinação é uma resposta falsa ou que contém informações enganosas, que o modelo “alucinou” ou construiu erroneamente como um fato.
Para descobrir se um conceito como “alucinação” está codificado num LLM, os cientistas têm frequentemente adoptado uma abordagem de “aprendizagem não supervisionada” – um tipo de aprendizagem automática em que os algoritmos vasculham amplamente representações não rotuladas para encontrar padrões que possam estar relacionados com um conceito como “alucinação”. Mas para Radhakrishnan, tal abordagem pode ser muito ampla e computacionalmente cara.
“É como pescar com uma rede grande, tentando capturar uma espécie de peixe. Você vai pegar muitos peixes e terá que procurar para encontrar o certo”, diz ele. “Em vez disso, vamos usar iscas para as espécies certas de peixes.”
Ele e seus colegas já haviam desenvolvido o início de uma abordagem mais direcionada com um tipo de algoritmo de modelagem preditiva conhecido como máquina de recursos recursivos (RFM). Um RFM é projetado para identificar diretamente recursos ou padrões nos dados, aproveitando um mecanismo matemático que as redes neurais – uma ampla categoria de modelos de IA que inclui LLMs – usam implicitamente para aprender recursos.
Como o algoritmo period uma abordagem eficaz e eficiente para capturar recursos em geral, a equipe se perguntou se poderia usá-lo para erradicar representações de conceitos, em LLMs, que são de longe o tipo de rede neural mais amplamente utilizado e talvez o menos compreendido.
“Queríamos aplicar nossos algoritmos de aprendizagem de recursos aos LLMs para, de forma direcionada, descobrir representações de conceitos nesses modelos grandes e complexos”, diz Radhakrishnan.
Convergindo para um conceito
A nova abordagem da equipe identifica qualquer conceito de interesse dentro de um LLM e “orienta” ou orienta a resposta de um modelo com base neste conceito. Os pesquisadores buscaram 512 conceitos em cinco lessons: medos (como de casamento, de insetos e até de botões); especialistas (influenciadores sociais, medievalistas); humor (arrogante, desapegado e divertido); preferência por locais (Boston, Kuala Lumpur); e personas (Ada Lovelace, Neil deGrasse Tyson).
Os pesquisadores então procuraram representações de cada conceito em vários dos grandes modelos de linguagem e visão atuais. Eles fizeram isso treinando RFMs para reconhecer padrões numéricos em um LLM que poderiam representar um conceito específico de interesse.
Um modelo padrão de linguagem grande é, em termos gerais, um rede neural que recebe uma mensagem em linguagem pure, como “Por que o céu é azul?” e divide o immediate em palavras individuais, cada uma delas codificada matematicamente como uma lista ou vetor de números. O modelo leva esses vetores por uma série de camadas computacionais, criando matrizes de muitos números que, ao longo de cada camada, são usados para identificar outras palavras com maior probabilidade de serem usadas para responder ao immediate authentic. Eventualmente, as camadas convergem para um conjunto de números que é decodificado novamente em texto, na forma de uma resposta em linguagem pure.
A abordagem da equipe treina RFMs para reconhecer padrões numéricos em um LLM que podem estar associados a um conceito específico. Por exemplo, para ver se um LLM contém alguma representação de um “teórico da conspiração”, os pesquisadores primeiro treinariam o algoritmo para identificar padrões entre as representações do LLM de 100 solicitações que estão claramente relacionadas a conspirações e 100 outras solicitações que não estão. Desta forma, o algoritmo aprenderia padrões associados ao conceito da teoria da conspiração. Então, os pesquisadores podem modular matematicamente a atividade do conceito teórico da conspiração, perturbando as representações do LLM com esses padrões identificados.
O método pode ser aplicado para pesquisar e manipular qualquer conceito geral em um LLM. Entre muitos exemplos, os pesquisadores identificaram representações e manipularam um LLM para dar respostas no tom e na perspectiva de um “teórico da conspiração”. Também identificaram e melhoraram o conceito de “antirrecusa” e mostraram que, embora normalmente um modelo fosse programado para recusar determinadas solicitações, em vez disso respondia, por exemplo, dando instruções sobre como roubar um banco.
Radhakrishnan diz que a abordagem pode ser usada para pesquisar e minimizar rapidamente vulnerabilidades em LLMs. Também pode ser usado para realçar certos traços, personalidades, humores ou preferências, como enfatizar o conceito de “brevidade” ou “raciocínio” em qualquer resposta gerada por um LLM. A equipe disponibilizou publicamente o código subjacente do método.
“Os LLMs claramente têm muitos desses conceitos abstratos armazenados dentro deles, em alguma representação”, diz Radhakrishnan. “Existem maneiras pelas quais, se entendermos bem essas representações, podemos construir LLMs altamente especializados que ainda são seguros de usar, mas realmente eficazes em determinadas tarefas.”
Este trabalho foi apoiado, em parte, pela Nationwide Science Basis, pela Simons Basis, pelo instituto TILOS e pelo US Workplace of Naval Analysis.