Conheça LangSmith Assistant – Polly (uma agente para agentes)

Sejamos honestos! Construir agentes de IA é empolgante, mas depurá-los nem tanto. À medida que ultrapassamos os limites da IA ​​de agência, a complexidade do nosso sistema dispara. Todos nós já estivemos lá olhando para um rastro com centenas de passos, tentando descobrir por que o agente teve alucinações ou escolheu a ferramenta errada. Integrado ao LangSmith, Polly é um assistente com tecnologia de IA projetado para ajudar os desenvolvedores a depurar, analisar e projetar agentes melhores. É uma metacamada de inteligência, ironicamente um agente para agentes. Este artigo aborda a configuração do Polly, seus recursos e como ele ajuda na criação de agentes melhores.

Por que precisamos de um agente para agentes?

A transição de cadeias LLM simples para agentes autônomos introduziu uma nova classe de desafios de depuração que a inspeção handbook não consegue mais resolver com eficiência. Langchain identificou que os agentes são fundamentalmente mais difíceis de projetar devido a três fatores:

1. Solicitações massivas do sistema: As instruções geralmente abrangem centenas ou milhares de linhas, tornando quase impossível identificar qual frase específica causou uma degradação do comportamento.
2. Rastreamentos de execução profundos: Quando um único agente é executado, ele gera milhares de pontos de dados em diversas etapas, criando um quantity de logs que é esmagador para uma revisão humana.
3. Estado de contexto longo: As conversas múltiplas podem durar horas ou dias, exigindo que um depurador entenda todo o histórico de interação para diagnosticar por que uma decisão foi tomada.

Polly resolve isso agindo como um parceiro que entende as arquiteturas dos agentes, permitindo que você ignore a verificação handbook de logs e, em vez disso, faça perguntas em linguagem pure sobre o desempenho do seu sistema.

Como configurar o Polly?

Como o Polly é um recurso incorporado do LangSmith, você não instala o Polly diretamente. Em vez disso, você habilita o tarcing LangSmith em seu aplicativo. Assim que os dados do seu agente estiverem fluindo para a plataforma, o Polly será ativado automaticamente.

Passo 1: Instale o LangSmith

Primeiro, certifique-se de ter o LangSmith SDK em seu ambiente. Execute o seguinte comando na linha de comando do seu sistema operacional:

pip set up –U langsmith 

Etapa 2: configurar variáveis ​​de ambiente

Obtenha sua chave de API no Lang Smith página de configuração e defina as seguintes variáveis ​​de ambiente. Isso informa ao seu aplicativo para começar a registrar rastreamentos na nuvem LangSmith.

import os 

# Allow tracing (required for Polly to see your information) 
os.environ("LANGSMITH_TRACING") = "true" 

# Set your API Key 
os.environ("LANGSMITH_API_KEY") = "ls__..." 

# Non-obligatory: Manage your traces into a particular mission 
os.environ("LANGSMITH_PROJECT") = "my-agent-production"

Etapa 3: execute seu agente

É isso, se você estiver usando LangChain, o rastreamento é automático. Se você estiver usando o SDK OpenAI envolva diretamente seu cliente para permitir visibilidade.

from openai import OpenAI 
from langsmith import wrappers 

# Wrap the OpenAI shopper to seize inputs/outputs routinely 
shopper = wrappers.wrap_openai(OpenAI()) 

# Run your agent as regular 
response = shopper.chat.completions.create( 
mannequin="gpt-4o", 
messages=({"position": "consumer", "content material": "Analyze the newest Q3 monetary report."}) 
)

Depois de executar as etapas acima, navegue até a visualização de rastreamento ou visualização de threads na UI do LangSmith. Você verá um ícone Polly no canto inferior direito.

Principais capacidades de Polly

Polly não é apenas um wrapper de chatbot. Está profundamente integrado à infraestrutura LangSmith para realizar três tarefas críticas:

Tarefa 1: depuração profunda de rastreamento

Na visualização Hint, Polly analisa execuções de agentes individuais para identificar modos de falha sutis que podem estar ocultos no meio de uma longa execução. Você pode fazer perguntas de diagnóstico específicas como:

• “O agente cometeu algum erro?”
• “Onde exatamente as coisas dão errado”
• “Por que o agente escolheu esta abordagem em vez daquela”

Polly não apenas revela informações. Ele entende os padrões de comportamento dos agentes e pode identificar problemas que você não perceberia.

Tarefa 2: análise de contexto em nível de thread

O estado de depuração é notoriamente difícil, especialmente quando um agente funciona bem por dez turnos e falha no décimo primeiro. Polly pode acessar informações de conversas inteiras, permitindo detectar padrões ao longo do tempo, resumir interações e identificar exatamente quando e por que um agente perdeu o controle do contexto crítico.

Você pode fazer perguntas como:

• “Resuma o que aconteceu em múltiplas interações”
• “Identificar padrões no comportamento do agente ao longo do tempo”
• “Identificar quando o agente perdeu o controle de um contexto importante”

Isso é especialmente poderoso para depurar problemas frustrantes em que o agente estava funcionando bem e, de repente, não estava mais. Polly consegue identificar exatamente onde e por que as coisas mudaram.

Tarefa 3: Engenharia de Immediate Automatizada

Talvez o recurso mais poderoso para os desenvolvedores seja a capacidade de Polly de atuar como um engenheiro especialista em prompts. O immediate do sistema é o cérebro de qualquer agente profundo, e Polly pode ajudar a iterá-lo. Você pode descrever o comportamento desejado em linguagem pure e o polly atualizará o immediate, definirá esquemas de saída estruturados, configurará definições de ferramentas e otimizará o comprimento do immediate sem perder instruções críticas.

Como funciona nos bastidores?

A inteligência da Polly é construída sobre a robusta infraestrutura de rastreamento da LangSmith, que captura tudo o que seu agente faz. Ele ingere três camadas de dados.

1. Executa: Etapas individuais como LLM chamadas e execuções de ferramentas
2. Vestígios: Uma única execução do seu agente, composta por uma árvore de execuções.
3. Tópicos: Uma conversa completa, contendo vários rastros.

Como o LangSmith já captura as entradas, saídas, latência e contagens de tokens para cada etapa, Polly tem informações perfeitas sobre o mundo do agente. Não é necessário adivinhar o que aconteceu.

Conclusão

Polly representa uma mudança significativa na forma como abordamos o ciclo de vida do desenvolvimento de IA. Reconhece que à medida que os nossos agentes se tornam mais autónomos e complexos, as ferramentas que utilizamos para os manter devem evoluir em paralelo. Ao transformar a depuração de uma pesquisa forense handbook por meio de logs em um diálogo de linguagem pure, o Polly permite que os desenvolvedores se concentrem menos na busca de erros e mais nas melhorias arquitetônicas. Em última análise, ter um parceiro inteligente que entende o estado do seu sistema não é apenas uma conveniência; está se tornando uma necessidade para projetar a próxima geração de agentes confiáveis ​​e de nível de produção.

Perguntas frequentes

Sou estagiário de ciência de dados na Analytics Vidhya, trabalhando apaixonadamente no desenvolvimento de soluções avançadas de IA, como aplicativos de IA generativos, grandes modelos de linguagem e ferramentas de IA de ponta que ampliam os limites da tecnologia. Minha função também envolve a criação de conteúdo educacional envolvente para os canais do Analytics Vidhya no YouTube, o desenvolvimento de cursos abrangentes que abrangem todo o espectro de aprendizado de máquina até IA generativa e a criação de blogs técnicos que conectam conceitos fundamentais com as mais recentes inovações em IA. Com isso, pretendo contribuir para a construção de sistemas inteligentes e compartilhar conhecimentos que inspirem e capacitem a comunidade de IA.