As estatísticas da seleção de token: Logits, temperatura e passo a passo Prime-P

Neste artigo, você aprenderá como logits, temperatura e amostragem top-p funcionam juntos para controlar a previsão do próximo token em grandes modelos de linguagem.

Os tópicos que cobriremos incluem:

• O que são logits e como são produzidos pela camada linear last de um transformador.
• Como a temperatura e o top-p (amostragem de núcleo) moldam a distribuição de probabilidade usada para seleção de tokens.
• Como esses três componentes se encaixam em um pipeline sequencial que governa a geração de resultados do LLM.

As estatísticas da seleção de token: Logits, temperatura e passo a passo Prime-P

Introdução

Quando grandes modelos linguísticos, ou LLMs, para abreviar, produzem resultados, vários critérios estão em jogo, incluindo não apenas a relevância international da resposta, mas também a coerência e a criatividade. Como no fundo os modelos operam construindo sua resposta palavra por palavra – ou mais precisamente, token por token – capturar essas propriedades desejáveis ​​é uma questão de ajustar matematicamente as distribuições de probabilidade de saída que governam o processo de previsão do próximo token.

Este artigo apresenta a mecânica por trás das estratégias de decodificação LLM de um ponto de vista estatístico. Em specific, exploraremos como as pontuações brutas do modelo, conhecidas como logitosinteraja com duas outras configurações do modelo – temperatura e topo-p – que são três parâmetros principais utilizados para controlar o processo de seleção de tokens.

Embora nos concentremos em explorar o que acontece nos estágios finais da arquitetura subjacente dos LLMs, também conhecido como transformador, você pode verificar este artigo se você precisar de uma visão geral concisa de todo o processo e jornada feita pelos tokens do início ao fim.

Processo de seleção de token em LLMs

O que são Logits?

Nas redes neurais, as pontuações brutas e não normalizadas produzidas (normalmente nas camadas lineares finais) antes de convertê-las em probabilidades de resultados possíveis (por exemplo, courses) são conhecidas como logits. Embora os logits tenham sido usados ​​desde a period dos modelos clássicos de classificação de aprendizado de máquina, como a regressão softmax, o mesmo princípio ainda se aplica à camada linear last dos modelos de transformadores. Esta camada last processa estados ocultos — que contêm conhecimento linguístico gradualmente acumulado sobre o texto de entrada reunido ao longo do transformador — e gera um vetor de logits. Quantos? Tanto quanto o tamanho do vocabulário do modelo, ou seja, o número de tokens possíveis que o modelo pode gerar.

Veja o diagrama no topo, por exemplo. Se um LLM treinado para tradução de inglês para espanhol estiver prevendo a próxima palavra após a sequência gerada “me gusta mucho” (a tradução de “Eu realmente gosto de”), ele poderá gerar uma pontuação logit bruta de 12,5 para “viajar” (viagem), 8,2 para “jugar” (brincar) e -3,1 para “dormir” (sono). Esses valores brutos são ilimitados, tornando-os difíceis de interpretar diretamente; portanto, uma função softmax é aplicada no topo da camada linear last para transformar esses logits em uma distribuição de probabilidade padrão interpretável sobre tokens de vocabulário, de modo que todos os valores somem 1.

O que são temperatura e Prime-p?

Uma vez que tenhamos uma distribuição de probabilidade sobre o vocabulário alvo, os LLMs simplesmente escolhem o token com a maior probabilidade como o próximo a ser gerado? Não exatamente, mas o verdadeiro processo se assemelha muito a esse cenário. O próximo token é amostrado da distribuição, e como essa amostragem funciona depende de vários parâmetros de decodificação, dois dos mais importantes são temperatura e top-p.

• Temperatura é um fator de escala aplicado aos logits antes da etapa softmax. Uma temperatura elevada (por exemplo, acima de 1) nivela as probabilidades resultantes, tornando-as mais uniformes. Como resultado, a incerteza e a imprevisibilidade aumentam e o modelo se comporta de forma mais criativa. Uma temperatura baixa (por exemplo, bem abaixo de 1) acentua as diferenças entre tokens de alta e baixa probabilidade, aumentando a certeza e favorecendo fortemente os tokens mais prováveis ​​na distribuição authentic. Mais sobre temperatura pode ser encontrado neste artigo relacionado.
• Topo-ptambém chamado amostragem de núcleoé outra abordagem para controlar a aleatoriedade da seleção do próximo token. Em vez de dimensionar as probabilidades, limita o conjunto de candidatos para amostragem. Embora estratégias semelhantes como top-k considerem apenas os okay tokens de maior probabilidade, top-p identifica o menor conjunto de tokens cuja probabilidade cumulativa atinge ou excede um limite p, tornando-o mais adaptativo e flexível. Em outras palavras, se definirmos p = 0,9, top-p classifica os tokens por probabilidade e continua adicionando-os a um conjunto de candidatos até que sua probabilidade cumulativa atinja 0,9.

O passo a passo completo: como esses conceitos se relacionam?

Cálculo de logit para probabilidade, temperatura e top-p podem ser combinados em um pipeline sequencial de várias etapas para produzir resultados LLM, ou seja, previsões do próximo token.

Primeiro, o modelo gera logits brutos para todos os tokens possíveis, conforme descrito acima. A temperatura então entra em cena ao dimensionar esses logits brutos – observe que isso acontece antes a função softmax os converte em probabilidades. Dependendo do valor da temperatura, a distribuição resultante parecerá mais uniforme (alta temperatura, mais incerteza) ou mais nítida (baixa temperatura, maior certeza).

Passo a passo de seleção de token com base em logits, temperatura e top-p

Depois que os logits escalonados são convertidos em probabilidades, top-p é aplicado para filtrar a distribuição resultante, calculando probabilidades cumulativas para reter apenas um “conjunto de núcleos” central dos tokens mais prováveis ​​(veja a etapa 3 na imagem acima). Finalmente, o modelo faz amostras aleatoriamente desse pool para selecionar o próximo token.

Observações finais

Agora que desmistificamos o processo estatístico por trás da seleção de tokens em LLMs, é útil considerar como escolher valores para temperatura e top-p na prática. Como desenvolvedor, você desejará definir o equilíbrio certo entre previsibilidade e criatividade para seu caso de uso. Para cenários factuais de alto risco, como codificação ou análise jurídica, são aconselháveis ​​uma temperatura baixa e um top-p mais rigoroso – por exemplo t=0.1 e p=0.5 – o que produz respostas de modelo altamente determinísticas. Para domínios criativos como geração de poesia ou brainstorming, uma temperatura mais alta e top-p, como t=0,8 e p=0,95, permitem uma variedade mais rica de tokens candidatos no conjunto de seleção.