O guia completo para cache de inferência em LLMs

Neste artigo, você aprenderá como o cache de inferência funciona em modelos de linguagem grandes e como usá-lo para reduzir custos e latência em sistemas de produção.

Os tópicos que cobriremos incluem:

• Os fundamentos do cache de inferência e por que ele é importante
• Os três principais tipos de cache: cache KV, cache de prefixo e cache semântico
• Como escolher e combinar estratégias de cache em aplicações do mundo actual

O guia completo para cache de inferência em LLMs
Imagem do autor

Introdução

Chamar uma API de modelo de linguagem grande em escala é caro e lento. Uma parte significativa desse custo vem de cálculos repetidos: o mesmo immediate do sistema processado do zero em cada solicitação e as mesmas consultas comuns respondidas como se o modelo nunca as tivesse visto antes. O cache de inferência resolve isso armazenando os resultados de cálculos LLM caros e reutilizando-os quando uma solicitação equivalente chega.

Dependendo de qual camada de cache você aplica, você pode ignorar o cálculo de atenção redundante no meio da solicitação, evitar o reprocessamento de prefixos de immediate compartilhados entre solicitações ou atender consultas comuns a partir de uma pesquisa sem invocar o modelo. Em sistemas de produção, isso pode reduzir significativamente o gasto de tokens quase sem nenhuma alteração na lógica do aplicativo.

Este artigo cobre:

• O que é cache de inferência e por que é importante
• Os três principais tipos de cache: valor-chave (KV), prefixo e cache semântico
• Como o cache semântico estende a cobertura além das correspondências exatas de prefixos

Cada seção se baseia em uma estrutura de decisão prática para escolher a estratégia de cache correta para sua aplicação.

O que é cache de inferência?

Quando você envia um immediate para um modelo de linguagem grande, o modelo executa uma quantidade substancial de computação para processar a entrada e gerar cada token de saída. Esse cálculo leva tempo e custa dinheiro. O cache de inferência é a prática de armazenar os resultados dessa computação — em vários níveis de granularidade — e reutilizá-los quando chega uma solicitação semelhante ou idêntica.

Existem três tipos distintos para entender, cada um operando em uma camada diferente da pilha:

1. Cache KV: armazena em cache os estados de atenção interna — pares de valores-chave — calculados durante uma única solicitação de inferência, para que o modelo não os recalcule em cada etapa de decodificação. Isso acontece automaticamente dentro do modelo e está sempre ativado.
2. Cache de prefixo: Estende o cache KV entre vários pedidos. Quando solicitações diferentes compartilham os mesmos tokens principais, como um immediate do sistema, um documento de referência ou exemplos de poucos disparos, os estados KV para esse prefixo compartilhado são armazenados e reutilizados em todos eles. Você também pode ver isso chamado cache de immediate ou cache de contexto.
3. Cache semântico: um cache de nível superior do lado do aplicativo que armazena pares completos de entrada/saída do LLM e os recupera com base na semelhança semântica. Ao contrário do cache de prefixo, que opera em estados de atenção no meio da computação, o cache semântico causa um curto-circuito na chamada do modelo inteiramente quando uma consulta suficientemente semelhante foi vista antes.

Estas não são alternativas intercambiáveis. São camadas complementares. O cache KV está sempre em execução. O cache de prefixo é a otimização de maior aproveitamento que você pode adicionar à maioria dos aplicativos de produção. O cache semântico é um aprimoramento adicional quando o quantity de consultas e a similaridade são altos o suficiente para justificá-lo.

Compreendendo como funciona o cache KV

Cache KV é a base sobre a qual todo o resto se baseia. Para entendê-lo, você precisa dar uma breve olhada em como funciona a atenção do transformador durante a inferência.

O mecanismo de atenção e seu custo

LLMs modernos usam o arquitetura do transformador com autoatenção. Para cada token na entrada, o modelo calcula três vetores:

• Q (Consulta) — O que este token está procurando?
• Ok (Chave) — O que este token oferece a outros tokens?
• V (Valor) — Que informações esse token carrega?

As pontuações de atenção são calculadas comparando a consulta de cada token com as chaves de todos os tokens anteriores e, em seguida, usando essas pontuações para ponderar os valores. Isso permite que o modelo entenda o contexto em toda a sequência.

LLMs geram saída autoregressivamente – um token por vez. Sem cache, a geração do token N exigiria o recálculo de Ok e V para todos os N-1 tokens anteriores do zero. Para sequências longas, esse custo aumenta com cada etapa de decodificação.

Como o cache KV corrige isso

Durante uma passagem direta, uma vez que o modelo calcula os vetores Ok e V para um token, esses valores são salvos na memória da GPU. Para cada etapa de decodificação subsequente, o modelo procura os pares Ok e V armazenados para os tokens existentes, em vez de recalculá-los. Apenas o token recém-gerado requer novos cálculos. Aqui está um exemplo simples:

Este é o cache KV em seu sentido unique: uma otimização dentro de um único pedido. É automático e common; toda estrutura de inferência LLM permite isso por padrão. Você não precisa configurá-lo. No entanto, entendê-lo é essencial para compreender o cache de prefixo, que estende esse mecanismo às solicitações.

Para uma explicação mais completa, consulte Cache KV em LLMs: um guia para desenvolvedores.

Usando cache de prefixo para reutilizar estados KV em solicitações

Cache de prefixo — também chamado de cache de immediate ou cache de contexto, dependendo do provedor — leva o conceito de cache KV um passo adiante. Em vez de armazenar em cache os estados de atenção apenas em uma única solicitação, ele os armazena em cache em várias solicitações — especificamente para qualquer prefixo compartilhado que essas solicitações tenham em comum.

A ideia central

Considere um aplicativo LLM de produção típico. Você tem um longo immediate do sistema – instruções, um documento de referência e alguns exemplos – que é idêntico em todas as solicitações. Apenas a mensagem do usuário no closing muda. Sem cache de prefixo, o modelo recalcula os estados KV para todo o immediate do sistema em cada chamada. Com o cache de prefixo, ele os calcula uma vez, os armazena e cada solicitação subsequente que compartilha esse prefixo passa diretamente para o processamento da mensagem do usuário.

O requisito difícil: correspondência exata de prefixo

O cache de prefixo só funciona quando a parte em cache do immediate é idêntica byte por byte. Uma única diferença de caractere — um espaço à direita, um sinal de pontuação alterado ou uma knowledge reformatada — invalida o cache e força uma recomputação completa. Isso tem implicações diretas em como você estrutura seus prompts.

Coloque o conteúdo estático primeiro e o conteúdo dinâmico por último. Instruções do sistema, documentos de referência e exemplos rápidos devem orientar cada solicitação. Variáveis ​​por solicitação — a mensagem do usuário, um ID de sessão ou a knowledge atual — devem aparecer no closing.

Da mesma forma, evite a serialização não determinística. Se você injetar um objeto JSON em seu immediate e a ordem das chaves variar entre as solicitações, o cache nunca será atingido, mesmo quando os dados subjacentes forem idênticos.

Como funciona o cache de prefixo

Implementações de provedor

Vários dos principais provedores de API expõem o cache de prefixo como um recurso de primeira classe.

Antrópico chama isso cache de immediate. Você aceita adicionando um cache_control parâmetro para os blocos de conteúdo que você deseja armazenar em cache. OpenAI aplica cache de prefixo automaticamente para prompts com mais de 1.024 tokens. A mesma regra estrutural se aplica: a parte em cache deve ser o prefixo inicial estável do seu immediate.

Google Gemini chama isso cache de contexto e cobranças pelo cache armazenado separadamente da inferência. Isso o torna mais econômico para contextos muito grandes e estáveis ​​que são reutilizados muitas vezes nas solicitações.

Estruturas de código aberto como vLLM e SGLang apoiar cache automático de prefixo para modelos auto-hospedados, gerenciados de forma transparente pelo mecanismo de inferência, sem quaisquer alterações no código do seu aplicativo.

Compreendendo como funciona o cache semântico

Cache semântico opera em uma camada diferente: ele armazena pares completos de entrada/saída LLM e os recupera com base no significado, não em correspondências exatas de token.

A diferença prática é significativa. O cache de prefixo torna o processamento de um immediate de sistema compartilhado longo mais barato em cada solicitação. O cache semântico ignora totalmente a chamada do modelo quando uma consulta semanticamente equivalente já foi respondida, independentemente de o texto exato corresponder.

Veja como o cache semântico funciona na prática:

1. Uma nova consulta chega. Calcule seu vetor de incorporação.
2. Pesquise em um armazenamento de vetores entradas em cache cujas incorporações de consulta excedam um limite de similaridade de cosseno.
3. Se uma correspondência for encontrada, retorne a resposta armazenada em cache diretamente, sem chamar o modelo.
4. Se nenhuma correspondência for encontrada, chame o LLM, armazene a incorporação e a resposta da consulta no cache e retorne o resultado.

Na produção, você pode usar bancos de dados vetoriais, como Pinecone, Weaviate ou pgvector, e aplicar um TTL apropriado para que respostas obsoletas em cache não persistam indefinidamente.

Como funciona o cache semântico

Quando o cache semântico vale a pena

O cache semântico adiciona uma etapa de incorporação e uma pesquisa vetorial a cada solicitação. Essa sobrecarga só compensa quando seu aplicativo tem quantity de consultas suficiente e perguntas repetidas, de modo que a taxa de acertos do cache justifique a latência e a infraestrutura adicionais. Funciona melhor para aplicativos do tipo FAQ, bots de suporte ao cliente e sistemas onde os usuários fazem as mesmas perguntas de maneiras ligeiramente diferentes em grande quantity.

Escolhendo a estratégia correta de cache

Esses três tipos operam em camadas diferentes e resolvem problemas diferentes.

Os sistemas de produção mais eficazes complementam essas estratégias. O cache KV está sempre em execução por baixo. Adicione cache de prefixo ao immediate do sistema — esta é a alteração de maior aproveitamento para a maioria dos aplicativos. Coloque o cache semântico em camadas se seus padrões de consulta e quantity justificarem a infraestrutura adicional.

Conclusão

O cache de inferência não é uma técnica única. É um conjunto de ferramentas complementares que operam em diferentes camadas da pilha:

• O cache KV é executado automaticamente dentro do modelo em cada solicitação, eliminando o recálculo redundante de atenção durante o estágio de decodificação.
• O cache de prefixo, também chamado de cache de immediate ou cache de contexto, estende o cache KV entre solicitações para que um immediate ou documento de sistema compartilhado seja processado uma vez, independentemente de quantos usuários o acessam.
• O cache semântico fica na camada do aplicativo e causa um curto-circuito na chamada do modelo inteiramente para consultas semanticamente equivalentes.

Para a maioria dos aplicativos de produção, a primeira e mais importante etapa é habilitar o cache de prefixo para o immediate do sistema. A partir daí, adicione cache semântico se seu aplicativo tiver o quantity de consultas e os padrões de usuário que valem a pena.

Como nota closing, o cache de inferência se destaca como uma forma prática de melhorar o desempenho de grandes modelos de linguagem e, ao mesmo tempo, reduzir custos e latência. Entre as diferentes técnicas de cache discutidas, o tema comum é evitar a computação redundante, armazenando e recuperando resultados anteriores sempre que possível. Quando aplicadas cuidadosamente — com atenção ao design, invalidação e relevância do cache — essas técnicas podem melhorar significativamente a eficiência do sistema sem comprometer a qualidade da saída.