Técnicas essenciais de chunking para construir melhores aplicativos LLM
Imagem do autor
Introdução
Todo aplicativo de modelo de linguagem grande (LLM) que recupera informações enfrenta um problema simples: como dividir um documento de 50 páginas em partes que um modelo possa realmente usar? Portanto, quando você está construindo um aplicativo de geração aumentada de recuperação (RAG), antes que seu banco de dados vetorial recupere qualquer coisa e seu LLM gere respostas, seus documentos precisam ser divididos em partes.
A maneira como você divide os documentos em partes determina o que informações que seu sistema pode recuperar e como com precisão, ele pode responder a perguntas. Esta etapa de pré-processamento, muitas vezes tratada como um pequeno detalhe de implementação, na verdade determina se o seu sistema RAG será bem-sucedido ou falhará.
A razão é simples: a recuperação opera no nível do bloco, não no nível do documento. A fragmentação adequada melhora a precisão da recuperação, reduz as alucinações e garante que o LLM receba um contexto relevante e focado. A má fragmentação se espalha por todo o sistema, causando falhas que os mecanismos de recuperação não conseguem corrigir.
Este artigo aborda estratégias essenciais de agrupamento e explica quando usar cada método.
Por que a fragmentação é importante
Modelos de incorporação e LLMs têm janelas de contexto finitas. Os documentos normalmente excedem esses limites. O chunking resolve isso dividindo documentos longos em segmentos menores, mas introduz uma compensação importante: os pedaços devem ser pequenos o suficiente para uma recuperação eficiente e, ao mesmo tempo, permanecer grandes o suficiente para preservar a coerência semântica.
A pesquisa vetorial opera em incorporações em nível de bloco. Quando os pedaços misturam vários tópicos, suas incorporações representam uma média desses conceitos, dificultando a recuperação precisa. Quando os pedaços são muito pequenos, falta-lhes contexto suficiente para que o LLM gere respostas úteis.
O desafio é encontrar o meio-termo onde os pedaços sejam semanticamente focados, mas contextualmente completos. Agora vamos ver as técnicas reais de chunking que você pode experimentar.
1. Pedaços de tamanho fixo
Segmentação de tamanho fixo divide o texto com base em um número predeterminado de tokens ou caracteres. A implementação é simples:
- Selecione um tamanho de bloco (geralmente 512 ou 1.024 tokens)
- Adicionar sobreposição (normalmente 10–20%)
- Divida o documento
O método ignora totalmente a estrutura do documento. O texto se divide em pontos arbitrários, independentemente dos limites semânticos, geralmente no meio da frase ou no meio do parágrafo. A sobreposição ajuda a preservar o contexto nos limites, mas não aborda a questão central da divisão cega à estrutura.
Apesar de suas limitações, o chunking de tamanho fixo fornece uma base sólida. É rápido, determinístico e funciona adequadamente para documentos sem elementos estruturais fortes.
Quando usar: Implementações de base, documentos simples, prototipagem rápida.
2. Segmentação recursiva
O chunking recursivo melhora as abordagens de tamanho fixo, respeitando os limites naturais do texto. Isto tenta dividir em separadores progressivamente mais finos – primeiro nas quebras de parágrafo, depois nas frases e depois nas palavras – até que os pedaços caibam no tamanho alvo.
Segmentação recursiva
Imagem do autor
O algoritmo tenta manter unido o conteúdo semanticamente relacionado. Se a divisão nos limites do parágrafo produzir pedaços dentro do limite de tamanho, ela para aí. Se os parágrafos forem muito grandes, ele aplica recursivamente a divisão em nível de frase apenas a pedaços grandes.
Isso mantém mais a estrutura authentic do documento do que a divisão arbitrária de caracteres. Os pedaços tendem a se alinhar com os limites naturais do pensamento, melhorando a relevância da recuperação e a qualidade da geração.
Quando usar: Aplicativos de uso geral, textos não estruturados como artigos e relatórios.
3. Segmentação Semântica
Em vez de confiar em personagens ou estrutura, fragmentação semântica usa significado para determinar limites. O processo incorpora frases individuais, compara sua semelhança semântica e identifica pontos onde ocorrem mudanças de tópico.
Segmentação Semântica
Imagem do autor
A implementação envolve calcular embeddings para cada frase, medir distâncias entre embeddings de frases consecutivas e dividir onde a distância excede um limite. Isso cria pedaços onde o conteúdo é coerente em torno de um único tópico ou conceito.
O custo computacional é maior. Mas o resultado são pedaços semanticamente coerentes que muitas vezes melhoram a qualidade da recuperação de documentos complexos.
Quando usar: Artigos acadêmicos densos, documentação técnica onde os tópicos mudam de forma imprevisível.
4. Segmentação baseada em documentos
Documentos com estrutura explícita — cabeçalhos Markdown, tags HTML, definições de funções de código — contêm pontos de divisão naturais. A fragmentação baseada em documentos aproveita esses elementos estruturais.
Para Markdown, divida em níveis de cabeçalho. Para HTML, divida em tags semânticas como
Chunking baseado em documento
Imagem do autor
Bibliotecas como LangChain e LhamaIndex fornecem divisores especializados para vários formatos, lidando com a complexidade da análise e permitindo que você se concentre nos parâmetros de tamanho do bloco.
Quando usar: Documentos estruturados com elementos hierárquicos claros.
5. Chunking tardio
Segmentação tardia inverte a sequência típica de incorporação e fragmentação. Primeiro, incorpore o documento inteiro usando um modelo de contexto longo. Em seguida, divida o documento e obtenha incorporações de blocos calculando a média das incorporações relevantes em nível de token da incorporação completa do documento.
Isso preserva o contexto world. A incorporação de cada pedaço reflete não apenas seu próprio conteúdo, mas também sua relação com o documento mais amplo. Referências a conceitos anteriores, terminologia compartilhada e temas de todo o documento permanecem codificados nos embeddings.
A abordagem requer modelos de incorporação de longo contexto, capazes de processar documentos inteiros, limitando sua aplicabilidade a documentos de tamanhos razoáveis.
Quando usar: Documentos técnicos com referências cruzadas significativas, textos legais com dependências internas.
6. Segmentação adaptativa
Segmentação adaptativa ajusta dinamicamente os parâmetros do bloco com base nas características do conteúdo. Seções densas e ricas em informações recebem pedaços menores para manter a granularidade. Seções esparsas e contextuais recebem pedaços maiores para preservar a coerência.
Segmentação adaptativa
Imagem do autor
A implementação normalmente usa heurística ou modelos leves para avaliar a densidade do conteúdo e ajustar o tamanho do bloco de acordo.
Quando usar: Documentos com densidade de informação altamente variável.
7. Segmentação Hierárquica
A fragmentação hierárquica cria vários níveis de granularidade. Grandes pedaços principais capturam temas amplos, enquanto pequenos pedaços menores contêm detalhes específicos. No momento da consulta, recupere primeiro os pedaços grossos e, em seguida, faça o detalhamento dos pedaços mais refinados nos pais relevantes.
Isso permite consultas de alto nível (“O que este documento cobre?”) e consultas específicas (“Qual é a sintaxe de configuração exata?”) usando o mesmo corpus fragmentado. A implementação requer manter relacionamentos entre níveis de blocos e atravessá-los durante a recuperação.
Quando usar: Grandes manuais técnicos, livros didáticos, documentação abrangente.
8. Chunking baseado em LLM
No chunking baseado em LLM, nós use um LLM para determinar os limites do bloco e empurrar o chunking para um território inteligente. Em vez de regras ou incorporações, o LLM analisa o documento e resolve como dividi-lo com base na compreensão semântica.
Chunking baseado em LLM
Imagem do autor
As abordagens incluem dividir o texto em proposições atômicas, gerar resumos para seções ou identificar pontos de interrupção lógicos. O LLM também pode enriquecer blocos com metadados ou descrições contextuais que melhoram a recuperação.
Essa abordagem é cara — exigindo chamadas LLM para cada documento — mas produz blocos altamente coerentes. Para aplicações de alto risco, onde a qualidade da recuperação justifica o custo, o chunking baseado em LLM geralmente supera os métodos mais simples.
Quando usar: Aplicações onde a qualidade da recuperação é mais importante do que o custo de processamento.
9. Chunking Agente
O chunking agente estende as abordagens baseadas em LLM ao fazer com que um agente analise cada documento e selecione dinamicamente a estratégia de agrupamento apropriada. O agente considera a estrutura do documento, a densidade do conteúdo e o formato para escolher entre abordagens de tamanho fixo, recursivas, semânticas ou outras abordagens por documento.
Chunking Agente
Imagem do autor
Isso lida com coleções de documentos heterogêneas onde uma única estratégia tem um desempenho insatisfatório. O agente pode usar fragmentação baseada em documentos para relatórios estruturados e fragmentação semântica para conteúdo narrativo dentro do mesmo corpus.
A compensação é complexidade e custo. Cada documento requer análise do agente antes que a fragmentação possa começar.
Quando usar: Diversas coleções de documentos onde a estratégia perfect varia significativamente.
Conclusão
O chunking determina quais informações seu sistema de recuperação pode encontrar e qual contexto seu LLM recebe para geração. Agora que você entende as diferentes técnicas de chunking, como você seleciona uma estratégia de chunking para seu aplicativo? Você pode fazer isso com base nas características do seu documento:
- Documentos curtos e independentes (FAQs, descrições de produtos): sem necessidade de agrupamento
- Documentos estruturados (Markdown, HTML, código): fragmentação baseada em documentos
- Texto não estruturado (artigos, relatórios): tente a fragmentação recursiva ou hierárquica se a fragmentação de tamanho fixo não der bons resultados
- Documentos complexos e de alto valor: fragmentação semântica ou adaptativa ou baseada em LLM
- Coleções heterogêneas: chunking agente
Considere também a janela de contexto do seu modelo de incorporação e os padrões de consulta típicos. Se os usuários fizerem perguntas factuais específicas, dê preferência a pedaços menores para maior precisão. Se as consultas exigirem a compreensão de um contexto mais amplo, use pedaços maiores.
Mais importante ainda, estabeleça métricas e teste. Acompanhe a precisão da recuperação, a exatidão das respostas e a satisfação do usuário em diferentes estratégias de agrupamento. Use consultas representativas com respostas corretas conhecidas. Meça se os pedaços corretos são recuperados e se o LLM gera respostas precisas a partir desses pedaços.
Estruturas como LangChain e LhamaIndex fornecem divisores pré-construídos para a maioria das estratégias. Para abordagens personalizadas, implemente a lógica diretamente para manter o controle e minimizar dependências. Feliz pedaço!