A segunda postagem do Construct Membership, nossa sessão semanal de construção ao vivo. Um repositório GitHub complementar pode ser encontrado aqui.
Sua caixa de entrada não é o problema. O problema é que você é a pessoa que outras pessoas estão esperando.
Algumas dessas mensagens precisam de você especificamente. A maioria deles precisa de uma resposta que você já deu seis vezes neste trimestre, ou do contexto que reside em um documento que você escreveu no ano passado, ou de uma decisão que alguém poderia tomar com a indicação certa. Você não pode dizer qual é qual até lê-los. Então os fios se acumulam. Você deixa cair alguns. Tudo o que você é responsável se transfer mais devagar por causa disso.
Há um padrão emergente para lidar com isso: um agente gêmeo digital que faz a triagem do seu recebimento, elabora suas respostas de primeira passagem e escala apenas as mensagens que realmente precisam de você. O padrão funciona. O difícil não é o agente. A parte difícil é enviá-lo sem vazar uma credencial para um banco de dados vetorial no primeiro dia.
Carson Gee, engenheiro de software program principal sênior da DataRobot, iniciou a primeira sessão do Construct Membership da DataRobot com o fato importante: ele tem centenas de mensagens não lidas. A sessão que se seguiu explicou como ele construiu um agente gêmeo digital para fazer a triagem deles.
Este publish é a receita. A versão resumida é que você pode criar um agente gêmeo digital na plataforma DataRobot em cerca de uma hora. A versão honesta é que os últimos 20 minutos são os que importam, porque é aí que a moderação, a observabilidade e a fronteira entre “demonstração” e “produção” são decididas.
CaaS enviando ping para Carson Gee para que ele saiba que precisa tomar uma decisão de engenharia.
Um gêmeo digital não substitui seu julgamento. É uma camada de triagem à sua frente. Carson o chamou de Carson-as-a-Service (CaaS) e faz quatro coisas.
O CaaS escuta todos os canais do Slack aos quais é adicionado, mas apenas em menções diretas. Quando alguém @menciona Carson, um fluxo de trabalho de agente categoriza a mensagem: isso precisa de Carson pessoalmente, pode ser respondido por escrito anterior ou pode esperar. Se precisar dele, ele elabora um briefing e lhe envia uma mensagem direta. Se não, responde em seu tom.
Tarefas agendadas orientadas por immediate que podem ser executadas em uma cadência personalizada.
O CaaS executa trabalhos programados de pesquisa profunda sobre os tópicos que está acompanhando. E mantém um banco de dados das páginas do Confluence de Carson, postagens de weblog e memórias salvas, para que as respostas pareçam com ele.
A assimetria é favorável. Uma hora de configuração recupera cerca de 30 minutos por dia de trabalho de triagem, indefinidamente, com a opção de continuar ajustando. O padrão generaliza entre funções. Funciona para o engenheiro que possui o rodízio de plantão, o gerente de produto que responde a todas as perguntas “isso está no roteiro”, o gerente cujo calendário está reservado pelas decisões de outras pessoas e o líder de suporte cuja caixa de entrada está cheia de perguntas que eles responderam antes. A forma comum é a mesma: muitos padrões repetidos de entrada, uma pequena fração que realmente precisa de você e nenhuma boa maneira de diferenciá-los rapidamente.
Tudo abaixo pressupõe que você tenha um Conta DataRobot. Você também precisará usar o Modelo de aplicativo Agentic Starter. Os modelos relacionados usados são de código aberto e estão vinculados abaixo.
Etapa 1: comece com o modelo de aplicativo Agentic Starter
O Modelo de aplicativo Agentic Starter fornece um servidor FastAPI, uma estrutura de implantação e um modelo de agente apoiado por LLM. Você pode bifurcá-lo ou acessá-lo diretamente na interface do DataRobot.
O gêmeo de Carson é, estruturalmente, o equipment inicial não modificado mais um aplicativo Slack, um banco de dados vetorial conectado a uma API de arquivos e um immediate de personalidade.
Etapa 2: adicionar o ouvinte do Slack
Use o Modelo de aplicativo DataRobot Slack para conectar o token do bot e o token do aplicativo. A única personalização que importa: filtrar o ouvinte do Slack para que o bot atue apenas em menções diretas. Sem isso, o bot registra todas as mensagens em todos os canais em que se encontra, o que é tanto um problema de observabilidade quanto de privacidade.
Etapa 3: monte uma base de conhecimento
Esta é a etapa que determine se o gêmeo se parece com você ou com um LLM genérico. Aponte a base de conhecimento para o conteúdo que você realmente criou: páginas do Confluence, rascunhos de weblog, notas de reuniões, os últimos seis meses de suas próprias mensagens longas no Slack. Carson usou um conector MCP para puxar seu espaço do Confluence para a base de conhecimento e, em seguida, colocou um mecanismo de “memórias” na parte superior para poder acrescentar um novo contexto por meio de uma chamada de ferramenta no próprio Slack.
A base de conhecimento é apoiada por um banco de dados vetorial DataRobot, que é anexado ao modelo LLM. Hoje, as atualizações nos arquivos subjacentes acionam uma reconstrução do banco de dados vetorial. Atualizações incrementais estão no roteiro. Enquanto isso, agrupe suas atualizações de conhecimento.
Etapa 4: escreva uma solicitação de personalidade
O immediate padrão do sistema produz um assistente genérico. Não é isso que você quer. A primeira versão do seu gêmeo será muito caprichosa, muito direta ou muito séria, e a segunda versão é aquela com quem as pessoas realmente querem conversar. Você só aprende a diferença implantando. A sugestão de Carson instrui explicitamente o modelo a ser “direto, com caráter” e inclui opiniões sobre tópicos técnicos que ele defende na vida actual. O seu também deveria.
Etapa 5: adicione uma proteção de PII antes de enviar
Esta é a etapa que o público ao vivo forçou na construção e é aquela que a maioria das equipes pula. Aqui está o que parece na prática.
DataRobot fornece um modelo international de detecção Presidio PII. Você pode encontrá-lo em Registro de modelo do DataRobot e implantar a partir daí. Em seguida, no modelo personalizado que respalda seu projeto LLM, abra o painel de avaliação e moderação e anexe o detector PII como modelo de moderação.
Defina o método de moderação para substituir (que anonimiza entidades detectadas como SSNs e números de cartão de crédito com espaços reservados entre colchetes) ou bloquear (o que causa um curto-circuito complete na resposta). Ajuste o limite de probabilidade com base em quão rigoroso você deseja que o modo de falha seja. Um limite de 0,5 é sensível o suficiente para detectar os vazamentos mais óbvios; limites mais baixos começarão a apresentar falsos positivos em mensagens benignas e farão com que o gêmeo se sinta quebrado.
Anexe a moderação ao modelo LLM Blueprint. Este é o mesmo painel de avaliação e moderação de antes, apenas anexado uma camada para que cada chamada do agente seja moderada. A IU gera um moderation_config.yaml nos ativos do modelo.
Copie esse YAML na pasta do agente em seu projeto native para que a proteção acompanhe sua implantação. A comparação inteligente no lado da implantação lida automaticamente com pequenas revisões; você só precisará reconectar a moderação manualmente se fizer uma alteração importante na configuração do LLM Blueprint.
Etapa 6: implantar seu agente gêmeo digital
Envie ao gêmeo algumas solicitações de teste: uma obviamente benigna, uma com um SSN falso, outra com um cartão de crédito falso. Confirme se a resposta moderada é renderizada corretamente no Slack e se o rastreamento mostra o disparo da moderação.
Se você colocar a proteção no LLM, verá a entrada bruta no rastreamento do agente e a saída moderada no recebimento de dados. Se você colocá-lo no agente, o rastreamento refletirá a entrada moderada de ponta a ponta. Decida qual deles sua análise de segurança deseja e documente-o.
A sessão foi agendada como uma demonstração de produtividade. Tornou-se um longo tour pela superfície de moderação e observabilidade que oferecemos aos clientes. Esse desvio é o ponto. O argumento da produtividade para um gêmeo digital não está em discussão. As restrições honestas ao envio são.
Três lições ao assistir ao jogo ao vivo, diante de um público que incluía engenheiros de segurança.
A lacuna entre “construí algo para mim” e “construí algo que posso defender para a segurança” é maior do que deveria ser. A primeira versão de qualquer gêmeo não terá as grades de proteção que a segunda versão necessita. Planeje a etapa de moderação. Não trate isso como polimento.
A observabilidade é um recurso de dois gumes para um agente que vive no Slack. Rastreamento é o que você deseja ao depurar um fluxo de trabalho de agente. Não é o que você deseja quando alguém acaba de colar uma credencial no bot. O padrão correto é a exibição redigida, apoiada por armazenamento de carga útil criptografada em repouso, com escopo definido por rastreamento por sensibilidade.
A direção de autocura é actual e vale a pena experimentar. O gêmeo de Carson grava suas próprias definições de agente na API de arquivos e as recarrega como variantes personalizadas, para que a versão do gêmeo falando com você possa ser ajustada para você. Isso ainda não está no equipment inicial. Está na próxima versão desta compilação.
O Construct Membership funciona semanalmente. Cada sessão leva um motorista voluntário, uma hora e uma ideia votada pelo público. O formato é deliberadamente não ensaiado: construímos ao vivo, a construção quebra ao vivo e consertamos ao vivo. Se você está desenvolvendo o DataRobot ou pensando em agentes prontos para empresas e quer inspiração, esta série é para isso.