Compressão KV eficaz com TurboQuant

Neste artigo, você aprenderá como o TurboQuant, um novo conjunto algorítmico lançado recentemente pelo Google, consegue compactação avançada de grandes modelos de linguagem e mecanismos de pesquisa vetorial sem perda de precisão.

Os tópicos que cobriremos incluem:

• O que é o TurboQuant e por que representa um avanço significativo em relação às técnicas de quantização anteriores.
• Como o processo de compactação em dois estágios — PolarQuant seguido de QJL — funciona em conjunto para eliminar sobrecarga de memória e preconceitos ocultos.
• Por que a abordagem do TurboQuant para compactação de cache KV é baseada em fortes fundamentos teóricos, e não em engenharia puramente prática.

Compressão KV eficaz com TurboQuant
Imagem por Editor

Introdução

TurboQuant foi recentemente lançado pelo Google como um novo conjunto algorítmico e biblioteca para aplicação de quantização e compressão avançadas a grandes modelos de linguagem (LLMs) e mecanismos de busca vetorial – um elemento indispensável dos sistemas RAG. Simplificando, o objetivo é melhorar drasticamente a eficiência destes enormes sistemas de IA. Foi demonstrado que o TurboQuant reduz com sucesso o consumo de memória cache para apenas 3 bits, sem exigir novo treinamento do modelo ou sacrificar a precisão.

Este artigo analisa as etapas por trás do núcleo Algoritmo TurboQuant para compactação avançada, com foco specific em como Compressão de cache de valor-chave (KV) trabalhos – lembre-se que Chaves (K) e Valores (V) são duas das três projeções principais de incorporações de texto aplicadas dentro dos mecanismos de atenção dos LLMs, desempenhando um papel essential em modelos de geração de texto autorregressivos.

TurboQuant em poucas palavras

LLMs e mecanismos de busca vetorial usam vetores de alta dimensão para processar informações com resultados impressionantes. No entanto, esse processo exige grandes quantidades de memória, o que geralmente causa grandes gargalos no chamado cache de valor-chave (KV), uma “folha de dicas digital” de acesso rápido que contém informações frequentemente utilizadas para recuperação em tempo actual. Como o gerenciamento de comprimentos de contexto maiores dimensiona o acesso ao cache KV de maneira linear, a capacidade de memória e a velocidade de computação podem se tornar severamente limitadas.

Quantização vetorial (VQ) as técnicas utilizadas nos últimos anos junto com os sistemas LLMs e RAG ajudam a reduzir o tamanho dos vetores de texto para aliviar gargalos, mas frequentemente introduzem um efeito colateral de “sobrecarga de memória”. Eles também exigem o cálculo de constantes de quantização de precisão whole em pequenos blocos de dados. Por estas razões, as vantagens potenciais da compressão podem, em última análise, ser parcialmente negadas.

O TurboQuant foi proposto pelo Google como um conjunto de algoritmos de última geração para compactação avançada com perda zero de precisão, acompanhado por uma biblioteca Python. O TurboQuant aborda de maneira ultimate o problema de sobrecarga de memória, empregando um processo de dois estágios auxiliado por duas técnicas complementares:

• PolarQuant: Esta é a técnica de compressão aplicada no primeiro estágio. Ele compacta dados de alta dimensão mapeando coordenadas vetoriais para um sistema de coordenadas polares. Isso simplifica a geometria dos dados e elimina a necessidade de armazenar constantes de quantização extras – a principal causa da sobrecarga de memória.
• QJL (Johnson-Lindenstrauss Quantizado): A segunda etapa do processo de compactação. Ele se concentra na remoção de possíveis vieses introduzidos no estágio anterior, atuando como um verificador matemático que aplica uma compressão mínima de um bit para remover erros ocultos ou vieses residuais resultantes do PolarQuant.

Por dentro do processo de compressão KV

Para entender completamente por que a compressão KV do TurboQuant é tão eficaz, precisamos examinar mais de perto seus estágios metodológicos. O algoritmo aborda um desafio matemático basic: quando os quantizadores são otimizados exclusivamente com base no erro quadrático médio, vieses ocultos são inerentemente introduzidos durante a estimativa de produtos internos entre objetos de dados vetoriais – uma operação essencial ao calcular pontuações de atenção precisas dentro de LLMs, por exemplo.

Para enfrentar esse desafio de polarização, o primeiro estágio do algoritmo (PolarQuant) aplica uma rotação aleatória aos vetores de dados. Como resultado, a geometria dos dados é simplificada pela indução de uma distribuição Beta compacta em cada coordenada. Em vetores de alta dimensão, coordenadas distintas tornam-se quase totalmente independentes umas das outras. Este alto nível de independência é basic para aplicar de maneira fácil e otimizada um quantizador escalar padrão a cada parte do vetor separadamente. PolarQuant converte o vetor em coordenadas polares descritas por um par raio-ângulo, em vez de usar coordenadas cartesianas, de modo que os dados sejam mapeados em uma “grade round”, eliminando a necessidade de normalização dispendiosa de dados e a sobrecarga de memória associada. Resumindo, a maior parte do esforço de compressão ocorre nesta primeira etapa, capturando a semântica principal e a intensidade do vetor unique.

O segundo estágio (QJL) visa remover vieses e erros ocultos, uma vez que o primeiro estágio orientado à otimização do MSE pode deixar um pequeno erro residual que potencialmente causa viés nos cálculos do escore de atenção. Ele aplica um nível mínimo de compactação – apenas 1 bit – usando o algoritmo QJL diretamente no erro restante. A Transformada Johnson-Lindenstrauss reduz os dados residuais de alta dimensão, preservando relacionamentos, propriedades e distâncias essenciais entre os pontos de dados. Cada número resultante é reduzido a apenas um bit de sinal (+1 ou -1), comportando-se como um verificador de erro matemático com sobrecarga zero. O resultado é um estimador imparcial que take away completamente os vieses ocultos introduzidos no primeiro estágio, produzindo pontuações de atenção altamente precisas.

Considerações Finais

Os métodos subjacentes ao algoritmo TurboQuant para compressão KV vão além de meras soluções práticas de engenharia. Eles representam soluções algorítmicas fundamentais apoiadas por fortes provas teóricas. O TurboQuant estabeleceu um novo padrão de eficiência alcançável próximo aos limites teóricos de custo mais baixo, mantendo alta precisão em comparação com a quantização clássica enquanto opera sob uma surpreendente abordagem de eficiência de nível de 3 bits.