Estamos introduzindo novos recursos no SDK de agentes(abre em uma nova janela) que fornecem aos desenvolvedores uma infraestrutura padronizada que é fácil de começar e construída corretamente para modelos OpenAI: um equipamento nativo de modelo que permite que os agentes trabalhem em arquivos e ferramentas em um computador, além de execução de sandbox nativa para executar esse trabalho com segurança.
Por exemplo, os desenvolvedores podem fornecer a um agente um espaço de trabalho controlado, instruções explícitas e as ferramentas necessárias para inspecionar evidências:
Os desenvolvedores precisam de mais do que os melhores modelos para criar agentes úteis: eles precisam de sistemas que suportem como os agentes inspecionam arquivos, executam comandos, escrevem código e continuam trabalhando em muitas etapas.
Os sistemas que existem hoje apresentam compensações à medida que as equipes passam dos protótipos para a produção. As estruturas independentes de modelo são flexíveis, mas não utilizam totalmente os recursos dos modelos de fronteira; os SDKs do provedor de modelo podem estar mais próximos do modelo, mas muitas vezes não têm visibilidade suficiente do chicote; e APIs de agentes gerenciados podem simplificar a implantação, mas restringir onde os agentes são executados e como acessam dados confidenciais.
Aqui está o que alguns dos clientes que testaram o novo SDK conosco disseram:
“O Brokers SDK atualizado tornou viável a produção para automatizar um fluxo de trabalho de registros clínicos críticos que as abordagens anteriores não conseguiam lidar com confiabilidade suficiente. Para nós, a diferença não foi apenas extrair os metadados corretos, mas compreender corretamente os limites de cada encontro em registros longos e complexos. Como resultado, podemos entender mais rapidamente o que está acontecendo com cada paciente em uma determinada consulta, ajudando os membros com suas necessidades de cuidados e melhorando sua experiência conosco.”
— Rachael Burns, engenheira de equipe e líder de tecnologia de IA, Oscar Well being
Com o lançamento de hoje, o conjunto do Brokers SDK torna-se mais capaz para agentes que trabalham com documentos, arquivos e sistemas. Ele agora possui memória configurável, orquestração compatível com sandbox, ferramentas de sistema de arquivos semelhantes ao Codex e integrações padronizadas com primitivos que estão se tornando comuns em sistemas de agentes de fronteira.
O aproveitamento também ajuda os desenvolvedores a desbloquear mais capacidade de um modelo de fronteira, alinhando a execução com a forma como esses modelos apresentam melhor desempenho. Isso mantém os agentes mais próximos do padrão operacional pure do modelo, melhorando a confiabilidade e o desempenho em tarefas complexas, especialmente quando o trabalho é de longa duração ou coordenado por meio de um conjunto diversificado de ferramentas e sistemas.
Além disso, percebemos que cada produto é único e raramente cabe perfeitamente em um molde. Projetamos o Brokers SDK para oferecer suporte a essa diversidade. Os desenvolvedores obtêm um equipamento pronto para uso, mas flexível, facilitando a adaptação à sua própria pilha, incluindo uso de ferramentas, memória e ambiente sandbox.
O Brokers SDK atualizado oferece suporte nativo à execução de sandbox, para que os agentes possam executar em ambientes de computador controlados com os arquivos, ferramentas e dependências necessários para uma tarefa.
Muitos agentes úteis precisam de um espaço de trabalho onde possam ler e gravar arquivos, instalar dependências, executar código e usar ferramentas com segurança. O suporte nativo a sandbox oferece aos desenvolvedores essa camada de execução pronta para uso, em vez de forçá-los a montá-la sozinhos.
Os desenvolvedores podem trazer seu próprio sandbox ou usar suporte integrado para Blaxel, Cloudflare, Daytona, E2B, Modal, Runloop e Vercel.
Para tornar esses ambientes portáveis entre provedores, o SDK também introduz uma abstração de Manifesto para descrever o espaço de trabalho do agente. Os desenvolvedores podem montar arquivos locais, definir diretórios de saída e trazer dados de provedores de armazenamento, incluindo AWS S3, Google Cloud Storage, Azure Blob Storage e Cloudflare R2.
Isso oferece aos desenvolvedores uma maneira consistente de moldar o ambiente do agente, desde o protótipo native até a implantação em produção. Também fornece ao modelo um espaço de trabalho previsível: onde encontrar entradas, onde escrever saídas e como manter o trabalho organizado em uma tarefa de longa duração.
Os sistemas de agentes devem ser projetados assumindo tentativas imediatas de injeção e exfiltração. Separar o aproveitamento e a computação ajuda a manter as credenciais fora dos ambientes onde o código gerado pelo modelo é executado.
Ele também permite uma execução durável. Quando o estado do agente é externalizado, perder um contêiner sandbox não significa perder a execução. Com captura instantânea e reidratação integradas, o Brokers SDK pode restaurar o estado do agente em um novo contêiner e continuar a partir do último ponto de verificação se o ambiente unique falhar ou expirar.
Finalmente, torna os agentes mais escaláveis. As execuções de agentes podem usar um ou vários sandboxes, invocar sandboxes somente quando necessário, rotear subagentes para ambientes isolados e paralelizar o trabalho entre contêineres para uma execução mais rápida.
Esses novos recursos do Brokers SDK estão geralmente disponíveis para todos os clientes por meio da API e usam preços padrão da API, com base em tokens e uso de ferramentas.
À medida que continuamos a desenvolver o Brokers SDK, continuaremos expandindo o que os desenvolvedores podem construir com ele, tornando mais fácil trazer agentes mais capazes para a produção com menos infraestrutura personalizada, preservando ao mesmo tempo a flexibilidade e o controle que os desenvolvedores precisam para ajustar os agentes em seus próprios ambientes.
Os novos recursos de aproveitamento e sandbox serão lançados primeiro em Python, com suporte a TypeScript planejado para uma versão futura. Também estamos trabalhando para trazer recursos adicionais de agente, incluindo modo de código e subagentes, para Python e TypeScript.
Além disso, queremos ajudar a unir o ecossistema mais amplo de agentes ao longo do tempo, com suporte para mais provedores de sandbox, mais integrações e mais maneiras para os desenvolvedores conectarem o SDK às ferramentas e sistemas que já usam.