5 técnicas para RAG eficiente de longo contexto

Neste artigo, você aprenderá como construir sistemas eficientes de geração aumentada de recuperação de longo contexto (RAG) usando técnicas modernas que abordam limitações de atenção e desafios de custo.

Os tópicos que cobriremos incluem:

• Como a reclassificação mitiga o problema “Perdido no meio”.
• Como o cache de contexto reduz a latência e o custo computacional.
• Como a recuperação híbrida, a filtragem de metadados e a expansão de consultas melhoram a relevância.

Introdução

Geração aumentada de recuperação (RAG) está passando por uma grande mudança. Durante anos, o mantra RAG foi simples: “Divida seus documentos em pedaços menores, incorpore-os e recupere os pedaços mais relevantes.” Isto foi necessário porque grandes modelos de linguagem (LLMs) tinham janelas de contexto caras e limitadas, normalmente variando de 4.000 a 32.000 tokens.

Agora, modelos como Gêmeos Profissional e Claude Opus quebraram esses limites, oferecendo janelas de contexto de 1 milhão de tokens ou mais. Em teoria, agora você poderia colar uma coleção inteira de romances em um immediate. Na prática, contudo, esta capacidade introduz dois grandes desafios:

1. O problema “perdido no meio”: A pesquisa mostrou que os modelos muitas vezes ignoram as informações colocadas no meio de um immediate massivo, favorecendo o início e o fim.
2. O problema do custo: processar um milhão de tokens para cada consulta é computacionalmente caro e lento. É como reler uma enciclopédia inteira toda vez que alguém faz uma pergunta simples.

Este tutorial explora cinco técnicas práticas para construir sistemas RAG eficientes de longo contexto. Iremos além do simples particionamento e examinaremos estratégias para mitigar a perda de atenção e permitir a reutilização de contexto da perspectiva do desenvolvedor.

1. Implementando uma arquitetura de reclassificação para combater “perdidos no meio”

O problema “Perdido no meio”, identificado em um estudo de 2023 realizado por Stanford e UC Berkeley, revela uma limitação crítica nos mecanismos de atenção do LLM. Quando apresentado com um contexto longo, o desempenho do modelo atinge o pico quando informações relevantes aparecem no início ou no remaining. As informações enterradas no meio têm uma probabilidade significativamente maior de serem ignoradas ou mal interpretadas.

Em vez de inserir os documentos recuperados diretamente no immediate em sua ordem authentic, introduza uma etapa de reclassificação.

Aqui está o fluxo de trabalho do desenvolvedor:

• Recuperação: Use um banco de dados vetorial padrão (como Pinha ou Tecer) para recuperar um conjunto de candidatos maior (por exemplo, os 20 primeiros em vez dos 5 primeiros)
• Reclassificação: Passe esses candidatos por um reclassificador de codificador cruzado especializado (como o API de reclassificação Cohere ou um Modelo de codificador cruzado de transformadores de frases) que pontua cada documento em relação à consulta
• Reordenando: Selecione os 5 documentos mais relevantes
• Posicionamento de contexto: coloque o documento mais relevante no início e o segundo mais relevante no remaining do immediate. Posicione os três restantes no meio

Este posicionamento estratégico garante que as informações mais importantes recebam a máxima atenção.

2. Aproveitando o cache de contexto para consultas repetitivas

Contextos longos introduzem latência e sobrecarga de custos. Processar centenas de milhares de tokens repetidamente é ineficiente. O cache de contexto resolve esse problema.

Pense nisso como a inicialização de um contexto persistente para o seu modelo.

• Crie o Cache: carregue um documento grande (por exemplo, um guide de 500.000 tokens) uma vez por meio de uma API e defina um tempo de vida (TTL)
• Faça referência ao cache: para consultas subsequentes, envie apenas a pergunta do usuário junto com um ID de referência para o contexto armazenado em cache
• Economia de custos: você reduz os custos e a latência do token de entrada, pois o documento não precisa ser reprocessado todas as vezes

Esta abordagem é especialmente útil para chatbots construídos em bases de conhecimento estáticas.

3. Usando Chunking Contextual Dinâmico com Filtros de Metadados

Mesmo com grandes janelas de contexto, a relevância continua crítica. Simplesmente aumentar o tamanho do contexto não elimina o ruído.

Essa abordagem aprimora o chunking tradicional com metadados estruturados.

• Segmentação Inteligente: Divida os documentos em segmentos (por exemplo, 500–1000 tokens) e anexe metadados como fonte, título da seção, número da página e resumos
• Filtragem Híbrida: Use um processo de recuperação em duas etapas:
  • Filtragem de metadados: restrinja o espaço de pesquisa com base em atributos estruturados (por exemplo, intervalos de datas ou seções de documentos)
  • Pesquisa Semântica: Understand pesquisa por similaridade apenas em candidatos filtrados

Isso reduz o contexto irrelevante e melhora a precisão.

4. Combinando pesquisa por palavra-chave e semântica com recuperação híbrida

A pesquisa vetorial captura o significado, mas pode perder correspondências exatas de palavras-chave, que são essenciais para consultas técnicas.

A pesquisa híbrida combina recuperação semântica e baseada em palavras-chave.

• Recuperação Dupla:
  • Banco de dados vetorial para similaridade semântica
  • Índice de palavras-chave (por exemplo, Elasticsearch) para correspondências exatas
• Fusão: Use Reciprocal Rank Fusion (RRF) para combinar classificações, priorizando resultados com pontuação elevada em ambos os sistemas
• População de Contexto: insira os resultados fundidos no immediate usando princípios de reclassificação

Isso garante relevância semântica e precisão lexical.

5. Aplicando expansão de consulta com Summarize-Then-Retrieve

As consultas dos usuários geralmente diferem da forma como as informações são expressas nos documentos. A expansão da consulta ajuda a preencher essa lacuna.

Use um LLM leve para gerar consultas de pesquisa alternativas.

Isso melhora o desempenho em consultas inferenciais e formuladas livremente.

Conclusão

O surgimento de janelas de contexto de milhões de tokens não elimina a necessidade de geração aumentada por recuperação – ela a remodela. Embora contextos longos reduzam a necessidade de fragmentação agressiva, eles introduzem desafios relacionados à distribuição e ao custo da atenção.

Ao aplicar reclassificação, cache de contexto, filtragem de metadados, recuperação híbrida e expansão de consulta, você pode construir sistemas escalonáveis ​​e precisos. O objetivo não é simplesmente fornecer mais contexto, mas garantir que o modelo se concentre consistentemente nas informações mais relevantes.

Referências

1. Como os modelos de linguagem usam contextos longos
2. API Gemini: cache de contexto
3. Reclassificação – O Poder da Pesquisa Semântica (Cohere)
4. A Estrutura de Relevância Probabilística