De relance
- Os modelos baseados em LLM podem prever as respostas do cérebro humano à linguagem com alta precisão. Mas o que impulsiona esse desempenho é essencialmente ilegível: uma vasta coleção de parâmetros aprendidos, e não teorias científicas que alguém possa ler.
- O teste causal generativo (GCT), desenvolvido numa colaboração entre a Microsoft Analysis, a Universidade da Califórnia, Berkeley, a Universidade da Califórnia, São Francisco, e a Universidade Columbia, destila estes modelos de previsão cerebral em breves explicações verbais sobre a que cada área do córtex responde: frases como “preparação de alimentos” ou “nomes de locais”.
- O GCT então fecha o ciclo: um LLM escreve novas histórias destinadas a ativar uma área cerebral específica, os sujeitos as ouvem no scanner e a região se ilumina apenas se a explicação estiver correta.
- Em experimentos, o GCT confirmou a seletividade conhecida, separou regiões vizinhas de processamento de locais há muito consideradas intercambiáveis e revelou pequenas “microrregiões” pré-frontais sintonizadas com conceitos específicos como diálogo, tempos de relógio e medições.
O problema da explicabilidade na neurociência da linguagem
Na última década, os LLMs tornaram-se as ferramentas mais precisas que temos para prever como o cérebro humano responde à linguagem. Alimente um LLM com a mesma história que uma pessoa ouve em um scanner de fMRI, e as representações internas do modelo podem prever a atividade de áreas individuais do córtex com notável fidelidade. Mas este sucesso tem um porém: ninguém consegue ler estes modelos. São milhões de parâmetros inescrutáveis que não podem ser diretamente traduzidos em interpretações. Um modelo que prevê a atividade cerebral nos diz que uma região responde à linguagem, mas não ao que está realmente captando, seja comida, lugares, números ou algo totalmente diferente. À medida que os modelos de caixa preta se espalham, a lacuna entre a previsão e a compreensão tornou-se um dos problemas centrais da neurociência computacional.
Transformando caixas pretas em teorias testáveis
Em um novo artigo aceito em Neurociência da NaturezaCientistas da Microsoft Analysis, em colaboração com cientistas da Universidade da Califórnia, Berkeley, Universidade da Califórnia, São Francisco e Universidade de Columbia, apresentam uma estrutura para superar essa crise de explicabilidade: testes causais generativos (GCT). O GCT destila modelos de previsão cerebral em relatos curtos e legíveis sobre a que cada área do córtex responde e depois testa essas afirmações. Um LLM escreve novas histórias projetadas para ativar uma área específica do cérebro, os sujeitos as ouvem no scanner e, se a explicação estiver correta, a região alvo se ilumina. O resultado é um método que traduz modelos preditivos não interpretáveis de volta à moeda da ciência: hipóteses concisas que podem ser confirmadas ou refutadas numa experiência de acompanhamento. Um LLM escreve novas histórias projetadas para ativar uma área específica do cérebro, os sujeitos as ouvem no scanner e, se a explicação estiver correta, a região alvo se ilumina. O resultado é um método que traduz modelos preditivos não interpretáveis de volta à moeda da ciência: hipóteses concisas que podem ser confirmadas ou refutadas numa experiência de acompanhamento.
Como funciona o GCT
O GCT tem duas etapas: explicação e depois verificação. Para gerar uma explicação, o método parte de um modelo preditivo para um único voxel ou região e identifica as frases curtas que impulsionam mais fortemente sua resposta prevista. Um LLM então resume essas palavras em uma explicação verbal concisa, geralmente uma única frase, como “preparação de alimentos” ou “nomes de locais”.
A segunda etapa essential fecha o ciclo. Para construir confiança na explicação, o GCT utiliza um LLM para escrever novas histórias em que cada parágrafo é cuidadosamente construído para conduzir uma região do cérebro de acordo com a sua explicação. Três sujeitos retornaram ao scanner para ler essas histórias sintéticas. Se a actividade de uma região nos seus parágrafos “condutores” fosse significativamente maior do que no texto de base, a explicação passou num teste causal genuíno, e não apenas num teste correlacional.
Nos três assuntos, a abordagem central manteve-se: as histórias sintéticas conduziram de forma fiável as suas regiões-alvo acima da linha de base, confirmando que as breves explicações do GCT captam algo a que o córtex genuinamente responde. As explicações também eram mais confiáveis onde os modelos de previsão cerebral subjacentes eram mais fortes (quanto mais estável o modelo, mais confiável sua explicação poderia ser confirmada no scanner). Com o método validado em regiões cuja seletividade já period conhecida, os pesquisadores direcionaram o GCT para questões mais difíceis.
A GCT também se revelou suficientemente perspicaz para resolver ambiguidades de longa information. Três regiões vizinhas envolvidas em locais de processamento têm sido frequentemente tratadas como funcionalmente semelhantes: o córtex retroesplenial (RSC), a área do native parahipocampal (PPA) e a área do native occipital (OPA). No início, as histórias escritas para uma região também ativaram as outras. Mas ao gerar estímulos diferenciais (histórias concebidas para excitar uma região e ao mesmo tempo manter os seus vizinhos quietos), a GCT separou as três. Por exemplo, o RSC responde mais fortemente a nomes próprios de locais, como Tóquio ou Connecticut, em vez de locais gerais. Este é o tipo de teoria matizada e específica da região que um modelo preditivo bruto não pode fornecer por si só.
Além das regiões conhecidas, os autores descobriram novas “microrregiões” pré-frontais. Ao examinar uma grade de locais candidatos e manter apenas os mais estáveis, o GCT trouxe à tona essas regiões anteriormente não mapeadas, sintonizadas com conceitos notavelmente específicos: uma seletiva para o diálogo entre pessoas (palavras como “disse” ou “disse”), uma para menções de horários de relógio (“uma hora”) e outra para medições numéricas (“50 pés”). Estas são distinções que ninguém procurava; eles surgiram porque o método poderia propor uma hipótese e testá-la imediatamente.
Destaque: boletim informativo de pesquisa da Microsoft
Boletim Informativo de Pesquisa da Microsoft
Implicações e expectativa
A importância do GCT vai muito além da neurociência. Os investigadores enfrentam cada vez mais o mesmo dilema: um modelo que prevê lindamente mas não explica nada. O GCT mostra que um modelo baseado em dados não precisa ser o fim da investigação; ela pode ser destilada em uma teoria legível e experimentalmente testável, e essa teoria pode ser comparada com a realidade gerando novos experimentos sob demanda.
Especificamente para a neurociência, o GCT aponta para uma forma mais rápida e rica em hipóteses de mapear o córtex – uma forma em que um sistema de IA propõe o que uma região do cérebro pode codificar e uma experiência de circuito fechado confirma ou rejeita isso num único estudo. A mesma filosofia de gerar e verificar poderia estender-se a outros domínios onde modelos preditivos poderosos ultrapassaram a nossa capacidade de os compreender. A lição mais ampla é esperançosa: o surgimento de modelos de caixa preta na ciência não significa necessariamente o retrocesso da teoria legível por humanos. Com a estrutura certa, os dois podem avançar juntos.
Agradecimentos
Este trabalho foi uma colaboração entre Microsoft Analysis, UC Berkeley (Alex Huth, Bin Yu, Sihang Guo e Aliyah Hsu), Columbia College (RJ Antonello, colíder) e UCSF (Shailee Jain). Agradecemos também aos participantes do estudo e à comunidade mais ampla de neurociências linguísticas cujas ferramentas e conjuntos de dados tornaram esta pesquisa possível.
Ler o papel (abre em nova aba): “Testes causais generativos para unir modelos baseados em dados e teorias científicas na neurociência da linguagem”, aceito em Neurociência da Natureza e o código no Github (abre em nova aba).