Introdução
(“SoftBank”) integrou Modelo Basis-sec-1.1-8B-Instruct da Cisco Basis AI em seu fluxo de trabalho de triagem do Safety Operations Heart (SOC), permitindo automação completa da detecção de software program suspeito, verificação dinâmica de políticas e ações correspondentes. O modelo Basis-sec-1.1-8B-Instruct desempenha um papel essential ao categorizar nomes de software program em 17 categorias diferentes para aplicação de políticas, permitindo efetivamente a automação do fluxo de trabalho de ponta a ponta.
Neste weblog, explicamos como o modelo Basis-sec-1.1-8B-Instruct se encaixa no processo de triagem do SoftBank e como alcançamos alta precisão na categorização de software program.
O fluxo de trabalho de triagem automatizada
Figura 1: Fluxo de trabalho de detecção de arquivos suspeitos no SoftBank.
A detecção de software program suspeito é um caso de uso comum em operações de segurança. No SoftBank, as categorias de software program são definidas com base nas capacidades e riscos de segurança. Uma vez determinada uma categoria, e dependendo da rede onde o software program é detectado, as políticas relevantes da empresa são aplicadas e as ações apropriadas são tomadas.
Anteriormente, a categorização de arquivos, a verificação de políticas e as ações de resposta eram executadas manualmente pelos analistas, o que é um processo demorado e trabalhoso. Para permitir que os analistas se concentrem em investigações de maior prioridade, o SoftBank decidiu automatizar o fluxo de trabalho usando estruturas de automação e grandes modelos de linguagem (LLMs).
As estruturas de automação simplificaram as verificações de políticas e as ações de resposta. No entanto, automatizar a categorização de software program foi um desafio devido ao grande número de softwares possíveis, às funcionalidades sobrepostas e às regras de categorização específicas da organização. Como resultado, a categorização tornou-se a peça last necessária para esta assistência automatizada aos analistas humanos.
Modelo Basis AI para categorização
Para resolver o desafio de categorização, o SoftBank escolheu LLMs por seu conhecimento geral de software program e capacidade de seguir instruções. Devido aos requisitos de privacidade de dados, os LLMs baseados na nuvem não eram uma opção. Basis-sec-1.1-8B-Instruct se destacou como um modelo de código aberto que pode ser implantado localmente. Seu tamanho compacto reduz os custos operacionais e seu pré-treinamento específico de segurança permite que ele supere modelos semelhantes de código aberto de uso geral em tarefas de segurança.
Para categorização, o modelo recebe um nome de software program como entrada e seleciona uma das 17 categorias de saída. O principal desafio reside na sobreposição de definições de categorias e software program com múltiplas funcionalidades. Além disso, para garantir uma integração tranquila do fluxo de trabalho, a saída do modelo deve ser estritamente formatada apenas como o nome da categoria.
Otimização de saída
Para enfrentar esses desafios, a equipe de IA da Cisco Basis colaborou estreitamente com o SoftBank no ajuste imediato para garantir resultados de modelos estáveis e precisos.
Otimização 1: Formatação de Saída
Primeiro, alguns exemplos de cenas foram anexados ao last do immediate para orientar o modelo sobre a formatação correta da saída. A última parte do immediate foi formatada da seguinte forma:
# Exemplos
Entrada: SOFTWARE_1
Saída: CAT_001
Entrada: SOFTWARE_2
Saída: CAT_005
Entrada: SOFTWARE_3
Saída: CAT_011
#Agora é a sua vez:
Entrada:
Saída:
Esses exemplos rápidos, combinados com prompts do sistema que definem regras de saída e incluem validação, garantem que o modelo produza consistentemente uma categoria válida para cada entrada. Também integramos a validação de saída ao fluxo de trabalho; se o modelo não retornar um nome de categoria válido, o processo de inferência será executado novamente até que uma saída correta seja obtida. Essa combinação de engenharia imediata e validação de saída nos permite obter resultados de categorização estáveis e bem formatados.
Otimização 2: descrição da categoria
Em seguida, incorporamos regras de categorização — baseadas na lógica do analista e em dados históricos — na solicitação para esclarecer o escopo de cada categoria. No entanto, alguma sobreposição ocorre naturalmente entre as categorias.
Por exemplo, “Transferência de arquivos”, “Compartilhamento de arquivos” e “Serviço de Web proibido” são regidos por regras diferentes. Embora softwares de armazenamento em nuvem como o OneDrive devam ser categorizados como “Serviço de Web Proibido”, o modelo muitas vezes o classifica erroneamente como “Compartilhamento de Arquivos” devido à sua funcionalidade de compartilhamento. Existem ambigüidades semelhantes entre pares como “Captura de pacotes e verificação de vulnerabilidades” e “Serviço de servidor e transferência de arquivos”. Para melhorar o desempenho do modelo, identificamos esses erros de classificação comuns e adicionamos orientações descritivas para ajudar o modelo a distingui-los.
Por exemplo, adicionamos a seguinte lógica de raciocínio para as categorias “Captura de Pacotes” e “Verificação de Vulnerabilidades”:
Confirmação para casos ambíguos (avaliar em ordem):
1. Ele gera relatórios de vulnerabilidade ou informações de CVE? → Sim: verificação de vulnerabilidades / Não: prossiga para o próximo.
2. O objetivo principal é a interceptação, gravação ou visualização de pacotes? → Sim: Captura de Pacotes / Não: Prossiga para o próximo.
3. O objetivo principal é monitoramento de rede ou monitoramento de largura de banda? → Sim: Captura de Pacotes / Não: Prossiga para o próximo.
4. O objetivo principal é descobrir ou diagnosticar vulnerabilidades no alvo? → Sim: verificação de vulnerabilidades/Não: CAT_001.
Ao longo deste processo, mantivemos o immediate conciso para evitar confusão e garantir uma categorização confiável.
Otimização 3: Pré-processamento e Pós-processamento
A 17ª categoria, “Indeterminado”, foi projetada para capturar software program que não se enquadra nas outras 16 categorias. Durante os testes, observamos que o modelo frequentemente atribuía à força uma categoria ao software program que deveria ter sido marcada como “Indeterminado”. Na produção, esses erros de classificação resultam em falsos positivos, pois a categoria “Indeterminado” não aciona nenhuma regra específica.
Embora o ajuste imediato tenha reduzido muitas dessas instâncias, alguns casos específicos da organização permaneceram onde arquivos potencialmente confidenciais foram sinalizados incorretamente como benignos. Para mitigar isso, implementamos a lista de permissões como uma etapa de pré-processamento e adicionamos pós-processamento para filtrar ainda mais os falsos positivos.
Resultados da categorização
Os testes foram conduzidos em um conjunto de dados selecionado de detecções históricas e categorias anotadas por humanos. Para evitar overfitting, expandimos o conjunto de dados com nomes de software program comuns e rótulos de verdade verificados manualmente.
Usando essas 17 categorias, o modelo Basis-sec-1.1-8B-Instruct alcançou 80,75% de precisão, o que é comparável ao desempenho de LLMs baseados em nuvem na mesma tarefa. Quando combinado com nosso sistema baseado em regras e as novas etapas de pré/pós-processamento, a precisão geral do fluxo de trabalho atingiu 90%, tornando-o altamente eficaz para operações diárias.
Conclusões
A adoção do SoftBank do Modelo de IA da Cisco Basis demonstra que, embora os LLMs sejam frequentemente usados para resumo e análise, eles também podem lidar eficazmente com tarefas de categorização sem retreinamento ou ajuste fino que consome muitos recursos. Essa abordagem mostra que, ao identificar cuidadosamente quais tarefas de fluxo de trabalho realmente exigem IA generativa, as organizações podem reduzir as demandas computacionais e melhorar a confiabilidade, ao mesmo tempo em que atingem as metas de automação, em comparação com a dependência whole de fluxos de trabalho baseados em LLM.
Olhando para o futuro, o SoftBank planeja estender essa abordagem além da detecção de arquivos suspeitos para automatizar também as respostas do sistema de detecção de intrusões (IDS). Dado que a automação do IDS envolverá o tratamento de informações confidenciais relacionadas à rede e à segurança, os recursos de privacidade e segurança de dados do modelo Basis AI o tornam particularmente adequado para esses futuros fluxos de trabalho de operações de segurança.
Depoimentos de clientes
“Por meio de nosso PoV conjunto com a Cisco, confirmamos que o modelo Cisco Basis AI pode ajudar a agilizar uma etapa importante em nosso fluxo de trabalho de triagem SOC: categorização de software program. Seu modelo de implantação native atende aos nossos requisitos de privacidade de dados, e o PoV demonstrou precisão prática, incluindo mais de 85% de precisão no nível de ação do fluxo de trabalho, com melhorias adicionais esperadas por meio de pré-processamento e controles baseados em políticas. Essa abordagem pode ajudar nossos analistas a reduzir o esforço de triagem handbook e alocar mais atenção a investigações de segurança de maior prioridade.”
–Hajime Uematsu, Diretor do Departamento de Verificação de Segurança, SoftBank Corp.