Nós apresentamos Antologiaum método para condicionar LLMs a personas virtuais representativas, consistentes e diversas, gerando e utilizando histórias de fundo naturalistas com detalhes ricos de valores e experiências individuais.
O que significa que grandes modelos de linguagem (LLMs) sejam treinados em corpora de texto massivo, produzidos coletivamente por milhões e bilhões de autores humanos distintos?
Em “Modelos de Linguagem como Modelos de Agentes”evidências convincentes sugerem que modelos linguísticos recentes poderiam ser considerados modelos de agentes: dotados de um contexto textual, os LLMs são capazes de gerar texto condicional que representa as características de um agente que provavelmente produziu aquele contexto. Isto sugere que, com condicionamento apropriado, os LLMs poderiam ser orientados para aproximar as respostas de uma voz humana específica, em vez do mistura de vozes que de outra forma emerge. Se concretizada, esta capacidade dos LLMs teria implicações significativas para a investigação de utilizadores e para as ciências sociais – modelos de linguagem condicionados como personas virtuais de seres humanos poderia servir como estudos piloto com boa relação custo-benefício e apoiar as melhores práticas em estudos humanos, por exemplo, os princípios de justiça e beneficência de Belmont.
Neste trabalho, apresentamos Antologiauma abordagem para direcionar LLMs para personas virtuais representativas, consistentes e diversas, fornecendo narrativas de vida ricamente detalhadas de indivíduos como contexto condicionante de modelos.
Ao fazê-lo, também apresentamos métodos para gerar histórias de fundo a partir dos próprios LLMs como um meio de produzir com eficiência conjuntos massivos que cobrem uma ampla gama de dados demográficos humanos. Ao fundamentar modelos de linguagem em histórias de fundo naturalistas, o Anthology permite que os LLMs simulem amostras humanas individuais com maior fidelidade, medida em termos de correspondência das distribuições e consistências das respostas humanas.
Nossa abordagem: Antologia
Condicionando a geração de modelos de linguagem com narrativas de vida individuais
Uma limitação significativa dos métodos anteriores para direcionar LLMs para personas virtuais tem sido a incapacidade de aproximar de forma confiável particular person amostras humanas. Anterior abordagens solicitar LLMs com amplas informações demográficas, por exemplo, “Sou um jovem de 25 anos da Califórnia. Meu nível de escolaridade mais alto é inferior ao ensino médio”, que são essencialmente corpos de texto gerados a partir de uma tupla de variáveis demográficas. Com esses métodos, só conseguimos aproximar amostras humanas em um nível populacionalnão no nível particular person, o que resulta em:
- Respostas propensas a LLMs que padronizam representações estereotipadas e/ou prototípicas, uma vez que estão condicionadas apenas a variáveis demográficas (por exemplo, raça e género)
- Incapacidade de fornecer métricas importantes de interesse, como covariância e significância estatística, pois são necessárias respostas individuais para tais cálculos
A antologia permite a aproximação de assuntos individuais, condicionando-os com histórias de fundo ricamente detalhadas. Através destas histórias de fundo, o modelo capta marcadores implícitos e explícitos de identidade pessoal, incluindo traços demográficos e referências espontâneas a origens culturais, socioeconómicas e filosofias de vida. Nossa abordagem envolve a geração de um vasto conjunto de histórias de fundo que representam uma ampla gama de atributos demográficos por meio de modelos de linguagem consultados com solicitações abertas e irrestritas, como “Conte-me sobre você”. Em seguida, combinamos personas virtuais condicionadas por cada história de fundo com amostras de pesquisas do mundo actual.
Resultados: Maior Aproximação das Pesquisas de Opinião Pública
Para avaliação, comparamos a eficácia de diferentes métodos para condicionar personas virtuais no contexto da aproximação de três pesquisas ATP do Pew Analysis Middle: Ondas 34, 92 e 99.
Resultados sobre a aproximação de respostas humanas para pesquisas ATP do Pew Analysis Middle. Os resultados em negrito e sublinhado indicam valores mais próximos e o segundo mais próximo dos humanos, respectivamente.
Como medidas de sucesso na aproximação de amostras humanas com personas virtuais, consideramos as seguintes métricas:
- Distância média de Wasserstein (WD) entre distribuições de respostas como medida de representatividade
- Norma de Frobenius (Fro.) entre matrizes de correlação como medida de consistência
- Alfa de Cronbach como medida adicional de consistência interna
Antes de analisar assuntos virtuais, estimamos os limites inferiores de cada métrica de avaliação dividindo repetidamente a população humana em dois grupos de tamanhos iguais aleatoriamente e calculando essas métricas entre os subgrupos. Tomamos valores médios de 100 iterações para representar as estimativas do limite inferior.
Observamos consistentemente que Antologia supera outros métodos de condicionamento em relação a todas as métricas, tanto para o Llama-3-70B quanto para o Mixtral-8x22B. Ao comparar dois métodos de correspondência, o método de correspondência gananciosa tende a mostrar melhor desempenho na distância média de Wasserstein em todas as ondas. Atribuímos diferenças nos métodos de correspondência à condição de correspondência um-para-um de correspondência de peso máximo e ao número limitado de usuários virtuais disponíveis. Especificamente, os pesos atribuídos aos sujeitos virtuais correspondidos na correspondência de peso máximo são inevitavelmente mais baixos do que aqueles na correspondência gananciosa, uma vez que esta última relaxa as restrições à correspondência um-para-um. Essa discrepância pode resultar em uma menor similaridade demográfica entre usuários humanos e virtuais combinados em comparação com a contraparte da correspondência gananciosa. Estes resultados sugerem que a riqueza das histórias de fundo geradas na nossa abordagem provoca respostas mais matizadas em comparação com as linhas de base.
Considerações Finais
A antologia marca uma nova direção promissora no condicionamento de personas virtuais em LLMs que poderia potencialmente remodelar a forma como conduzimos pesquisas de usuários, pesquisas de opinião pública e outras aplicações de ciências sociais, oferecendo uma alternativa escalável e, às vezes, ética às pesquisas humanas tradicionais. No entanto, o uso da Antologia, como em qualquer outra aplicação de modelos de linguagem nas ciências sociais, também traz várias considerações à tona: embora as histórias de fundo geradas ajudem a criar personas mais representativas, permanece o risco de perpetuar preconceitos ou de infringir a privacidade, portanto, os resultados devem ser usados e interpretados com cautela.
Em termos de passos futuros, prevemos que a nossa abordagem beneficiará de um conjunto mais amplo e diversificado de histórias de fundo, cada uma representando uma narrativa de vida consistente de indivíduos. Além disso, uma extensão valiosa do trabalho seria considerar a geração de respostas em formato livre, permitindo simulações de personalidade mais naturais e diferenciadas, além de formatos de pesquisa estruturados, como múltipla escolha. Finalmente, uma próxima dimensão emocionante na aplicação de LLMs em estudos comportamentais envolveria a simulação de efeitos de longo prazo, permitindo que personas virtuais modelassem e examinassem retrospectivamente as mudanças ao longo do tempo.
Todas essas direções apresentam inúmeros desafios técnicos; por favor, deixe-nos saber se você está interessado em colaborar ou deseja discutir mais sobre nosso trabalho!
Saiba mais sobre nosso trabalho: hyperlink para artigo completo
@article{moon2024virtual,
title={Digital personas for language fashions by way of an anthology of backstories},
writer={Moon, Suhong and Abdulhai, Marwa and Kang, Minwoo and Suh, Joseph and Soedarmadji, Widyadewi and Behar, Eran Kohen and Chan, David M},
journal={arXiv preprint arXiv:2407.06576},
yr={2024}
}