No Cisco Reside Las Vegas deste ano, apresentamos o Coverage Studio, um assistente de IA no Cisco AI Protection que orienta os usuários na construção de políticas personalizadas para proteções adaptativas. O assistente orienta interativamente o usuário pelo processo de ponta a ponta no chat.
Insights – perguntas direcionadas sobre o significado da política, apoiadas por evidências dos dados do usuário – são sintetizadas pelo assistente e enviadas ao console de controle para que o usuário revise e aceite ou rejeite. O assistente integra o suggestions e reescreve a política, publicando a política refinada no console de guardrails adaptáveis do Cisco AI Protection para aplicação do tempo de execução.
Apresentamos o Coverage Studio pela primeira vez em um postagem anterior do weblog, disponível aqui. A força basic do Coverage Studio reside na sua complete personalização e capacidade de alinhar a política a qualquer domínio. Neste weblog, daremos uma olhada mais de perto no que torna essa flexibilidade possível.
Orquestração Multiagente
O Coverage Studio usa orquestração multiagente. O assistente atua como agente orquestrador e gerencia subagentes especializados. O agente orquestrador gera subagentes, fornecendo-lhes instruções direcionadas como “Investigar com foco em X” ou “Atualizar a política para restringir o caso limite Y”. O agente orquestrador tem uma visão geral e pode refletir sobre qual será o próximo passo superb. Ele contém todo o contexto operacional e histórico da sessão, incluindo o histórico do chat, quais insights foram apresentados ao usuário, como a política mudou ao longo do tempo e os resultados dos subagentes. O refinamento da política tem tudo a ver com os detalhes. As políticas descrevem definições detalhadas, casos extremos, condições limite e regras. O orquestrador pode sintetizar esses detalhes em itens de ação e delegar o trabalho.
A orquestração multiagente se beneficia da separação de interesses. Os agentes são ótimos no uso de ferramentas para realizar uma tarefa, mas à medida que a complexidade da tarefa aumenta, os resultados podem variar e o desempenho da tarefa pode ser prejudicado. O orquestrador delega e divide o trabalho em tarefas gerenciáveis atribuídas a subagentes.
Descoberta de insights
Os subagentes auxiliam o orquestrador na investigação de insights e na análise de dados. Os insights são questões de alto nível da política. A investigação de insights inclui a identificação de lacunas e ambiguidades na política, bem como o agrupamento de amostras rotuladas pela política em grupos que partilham um traço temático ou comportamental comum.
Por exemplo, um grupo de amostras pode ser rotulado com uma interpretação ampla de uma regra na política, fazendo com que amostras que não deveriam ser cobertas pela regra sejam sinalizadas como violações. Um perception permite que a regra infratora seja identificada e seu modo de falha seja diagnosticado. Sintetizar esses insights requer um conhecimento profundo no nível da amostra, familiarizando-se com exemplos comuns e casos extremos.
Se o orquestrador quiser entender quais tipos de amostras compõem um conjunto de dados e agrupar amostras em insights, ele usará subagentes. O subagente usará chamadas de ferramenta sucessivas para explorar metodicamente o conjunto de dados e, em seguida, sintetizar suas descobertas para o orquestrador. Uma análise extensiva em nível de amostra não seria possível sem subagentes. Cada amostra que um agente lê preenche sua janela de contexto.
A janela de contexto de um modelo contém todos os tokens ingeridos e gerados ao longo de seu tempo de vida, incluindo o histórico de chat, raciocínio interno, entradas e saídas de ferramentas. Quando a janela de contexto estiver cheia, ela precisará ser resumida e compactada para liberar o agente para mais trabalho.
A compactação preserva as ideias principais, mas detalhes importantes podem ser perdidos no processo. A delegação de tarefas aos subagentes preserva o orçamento de contexto do orquestrador. Todos os tokens gastos durante a execução da tarefa, incluindo a leitura de todas essas amostras, estão contidos na janela de contexto do subagente.
Otimização de políticas
Os insights revisados pelo usuário no console de controle são usados pelo agente orquestrador para atualizar a política. Os insights identificam as lacunas e ambiguidades nas especificações, bem como rastreiam grupos comportamentais comuns em relação às regras da política. Além de identificar um problema, os insights também propõem diretivas de rotulagem destinadas a resolver o problema identificado.
Mapear insights para mudanças concretas na política traz desafios únicos. Os documentos políticos são compostos por regras e especificações detalhadas para garantir que a rotulagem seja precisa e consistente. Em nosso trabalho anterior sobre políticas constitucionaisdescobrimos que os LLMs que leem uma política constitucional detalhada superaram os humanos que leem a mesma política.
O agente orquestrador precisa determinar o mapeamento superb desde as diretivas de insights até as mudanças na política detalhada. As regras e especificações políticas estão inter-relacionadas. As mudanças devem resolver o problema identificado pelo perception, sem regredir em outras amostras.
A orquestração multiagente agiliza esse processo. O agente orquestrador pode distribuir subagentes em paralelo para atualizar e verificar a política, em todos os insights. A execução paralela do agente acelera o que de outra forma seria uma operação muito mais demorada.
O cenário que as proteções adaptativas precisam proteger está evoluindo em velocidades vertiginosas: novas indústrias adotando IA, novos fluxos de trabalho multiagentes complexos, a evolução das habilidades e plug-ins dos agentes. Cada nova aplicação terá uma distribuição diferente que a política deverá descrever, cobrir e definir.
O Coverage Studio foi projetado para acompanhar o ritmo. Ao atualizar nosso conjunto de agentes, as melhorias podem ser integradas e implementadas perfeitamente. Continuaremos levando a orquestração multiagente ao limite, otimizando nossos agentes para manter a sua segurança.
Se você estiver interessado em ver o Cisco AI Protection em ação e construir poderosas proteções adaptativas no Coverage Studio, você pode solicitar uma demonstração com um especialista de nossa equipe aqui.