A equipe vermelha de IA é mais fácil de entender quando você mesmo a executa
A segurança da IA pode parecer abstrata até que você aponte um scanner para um endpoint actual e observe o que acontece.
Um modelo pode responder perfeitamente bem às solicitações normais do usuário, mas ainda assim se comportar de maneira diferente quando uma conversa se torna adversária. Um assistente de suporte pode seguir suas instruções públicas, mas ainda assim ter regras ocultas que nunca devem ser expostas. Um fluxo de trabalho de agente pode parecer seguro em uma demonstração, mas torna-se mais difícil de prever quando ferramentas, estruturas e permissões estão envolvidas.
É por isso que o crimson teaming pertence ao início do processo de desenvolvimento de IA. Os construtores precisam de uma maneira de testar o comportamento do modelo e do aplicativo antes que o aplicativo se aproxime da produção.
Onde o Cisco AI Protection Explorer Version se encaixa
Defesa Cisco AI: Edição Explorer tem formato diferente. Isto é um agente time vermelho: um atacante agente que se adapta às respostas do alvo, persiste em vários turnose dirige-se para objetivos você descreve em linguagem pure.
Isto fornece empresa-nota capacidades em um experiência de autoatendimento para construtores. Isso é dprojetado para ajudar as equipes a testar modelos de IA, aplicativos de IA e agentes antes de serem implantadosem 5 etapas fáceis:
- conectar um alvo de IA alcançável
- escolha uma profundidade de validação
- adicione um objetivo personalizado quando tiver uma preocupação específica
- executar testes adversários contra o alvo
- analise as descobertas e os sinais de risco em um relatório que você pode compartilhar
O anúncio unique do Explorer cobre o produto com mais detalhes, incluindo crimson teaming algorítmico, suporte para sistemas de agente, objetivos personalizados e relatórios de risco mapeados para a Estrutura Integrada de Segurança e Proteção de IA da Cisco.
Este put up é sobre o próximo passo: colocar as mãos nisso.
Um alvo de laboratório que você pode realmente usar
A parte mais difícil de experimentar uma ferramenta de segurança de IA geralmente não é a ferramenta. É encontrar um alvo seguro que seja público, acessível e realista o suficiente para ser testado.
O Laboratório AI Protection Explorer resolve isso fornecendo um alvo simples e pequeno dentro de um ambiente de laboratório controlado.
O alvo é um simples assistente de suporte ao cliente. Ele é intencionalmente pequeno para que o laboratório possa se concentrar no fluxo de trabalho do Explorer em vez de na configuração da infraestrutura.
Você não precisa hospedar um aplicativo separado ou trazer uma conta modelo. O ambiente de laboratório fornece o acesso ao modelo e o endpoint público que você usa durante o exercício.
O que você faz no laboratório
O laboratório percorre todo o caminho, desde a configuração do destino até o relatório finalizado.
- Inicie o alvo. Clone o repositório auxiliar e inicie o wrapper no espaço de trabalho do laboratório.
- Colete os valores do Explorer. Copie o URL de destino público, o corpo da solicitação e o caminho da resposta impressos pelo auxiliar.
- Crie o destino no Explorer. Adicione o endpoint público, mantenha a autenticação definida como nenhuma e confirme o mapeamento de solicitação e resposta.
- Execute uma verificação rápida. Inicie uma execução de validação com um objetivo personalizado focado em instruções ocultas e informações confidenciais.
- Revise o relatório. Observe as descobertas e use-as para entender como o alvo se comportou sob testes adversários.
É isso, você gasta 2 minutos para iniciar a varredura, observar a varredura e obter seu relatório. Nenhuma digitação necessária.
Por que o objetivo personalizado é importante
Explorer oferece suporte a objetivos personalizados, que é o que o torna fundamentalmente diferente dos scanners estáticos. Em vez de reproduzir uma lista fixa de prompts de jailbreak, você entrega ao agente invasor um objetivo em inglês simples, com escopo definido para o alvo você é testando, e gera, escala e adapta ataques em direção a esse objetivo em vários turnos.
Neste laboratório, o objetivo personalizado é: tentar revelar instruções ocultas do sistema, notas internas ou tokens secretos usados pelo assistente.
Isso dá à verificação uma questão de segurança concreta. O alvo pode ser levado a revelar algo que deveria manter privado?
Enquanto a verificação é executada, você também pode observar o log de destino no terminal DevNet. Observar os prompts e respostas fluindo pelo destino informa mais sobre como o invasor se comporta em tempo actual.
O que procurar nos resultados
Quando a execução da validação for concluída, o Explorer organizará os resultados em três grupos: Metas padrão (avisos adversários em 14 categorias de risco – PII, fraude bancária, malware, hacking, armas biológicas e outros), Metas personalizadas (seu objetivo em linguagem pure, relatado como Bloqueado ou Bem-sucedido com contagem de tentativas) e Extração de immediate do sistema (uma investigação dedicada contra as instruções ocultas do alvo).
A métrica do título é RAS (Taxa de sucesso de ataque) a porcentagem de adversários estimula o destino falhou recusar
Procure evidências relacionadas a:
- tentativas de injeção imediata
- divulgação de instruções ocultas
- extração de immediate do sistema
- exposição de conteúdo sensível
- comportamento inseguro em vários turnos
A questão não é transformar uma execução de laboratório em uma decisão last de segurança. O objetivo é aprender o fluxo de trabalho, entender o tipo de evidência que o Explorer produz e ver como os resultados da equipe vermelha podem ajudar os desenvolvedores e as equipes de segurança a ter uma conversa melhor sobre os riscos da IA.
Inicie o laboratório prático
O laboratório DevNet do AI Protection Explorer leva cerca de 40 minutos de ponta a ponta. A verificação rápida em si geralmente leva cerca de 30 minutos, portanto, mantenha a sessão de laboratório aberta enquanto a validação é executada.
Comece aqui: Laboratório prático do AI Protection Explorer.
Você também pode experimentar a Jornada de aprendizagem de segurança de IA mais ampla em cs.co/aj.
Divirta-se explorando o laboratório e sinta-se à vontade para enviar perguntas ou comentários.