Em nosso anterior Segurança de IA dinâmica weblog e o subjacente Documento CAMLIS 2025descrevemos uma plataforma de lançamento criada para colocar novas proteções em produção sem interromper os fluxos de trabalho dos clientes. Essa plataforma é um requisito para sistemas de segurança porque a constante evolução e adaptação dos adversários exigem um ciclo de resposta semelhante de fornecedores como a Cisco.
A rápida rotatividade do modelo de detecção cria possíveis interrupções downstream para os clientes, que de repente, e sem saber, começam a usar uma versão mais recente do modelo que se comporta de maneira diferente da iteração anterior. Uma variável importante entre as implantações é a agressão do modelo: o modelo mais novo é melhor, mas também é implantado de forma mais agressiva, interrompendo fluxos de trabalho que pareciam bons apenas algumas horas atrás.
Preservar o nível de agressividade entre os lançamentos é algo em que nos concentramos durante cada atualização do modelo. Se um cliente escolher uma camada de bloqueio que sinaliza cerca de 1 em 1.000 solicitações, um retreinamento de modelo não deve transformar isso silenciosamente em 1 em 200 ou 1 em 20.000. O detector pode melhorar por baixo, mas o orçamento de falsos positivos do cliente deve permanecer o mesmo.
Diferentes utilizadores a jusante também operam em diferentes pontos dessa compensação. Um SOC executando bloqueio agressivo está longe de ser uma ferramenta que apenas enriquece logs, portanto, não é suficiente preservar um limite entre as versões. Toda a gama de pontos de funcionamento, desde muito agressivos até muito conservadores, tem de ter o mesmo significado de uma versão de modelo para outra.
Este é um problema comum para qualquer pessoa que implemente modelos de detecção, por isso estamos abrindo o código-fonte de nossa solução para calibração de FPR que pode ser aplicada antes do lançamento de um modelo para minimizar an opportunity de interrupção do cliente. O método funciona offline em pontuações benignas e envia um artefato sklearn native junto com o modelo. O código está em github.com/cisco-ai-defense/fpr-model-calibratione o artigo que descreve os detalhes técnicos pode ser baixado aqui.
Por que a taxa de falsos positivos é o contrato certo
A taxa de falsos positivos (FPR) é a fração do tráfego benigno que seria sinalizado em um limite. Para um limite de pontuação do modelo, o FPR estima quanta atividade legítima o limite interromperá na produção.
A calibração FPR difere da calibração de probabilidade, que estima Pr(ataque | pontuação). Para muitos modelos de segurança, essa probabilidade depende de uma distribuição de ataques que é rara, adversária e muda rapidamente. Os invasores mudam de tática quando os detectores melhoram. A classe positiva que um modelo vê durante o treinamento é, portanto, um registro de ataques passados, e não uma amostra estável de ataques futuros.
A calibração do FPR depende apenas do tráfego benigno. Em muitos ambientes de segurança de produção, o tráfego benigno é mais abundante, mais fácil de medir e está diretamente ligado a danos falsos positivos. Se a pontuação calibrada indicar que uma solicitação é um evento benigno de 1 em 1.000, a equipe do produto poderá raciocinar sobre o quantity de alertas sem precisar saber a prevalência do ataque de amanhã.
O que significa uma pontuação calibrada
O calibrador mapeia as pontuações brutas do modelo em um contrato de pontuação fixa. O contrato de pontuação calibrada mapeia níveis operacionais comuns para atingir FPRs:
A escala é logarítmica porque as decisões de produção FPR são logarítmicas. Passar de 1% para 0,1% e de 0,1% para 0,01% representa reduções de dez vezes nos alertas benignos. Um eixo de pontuação linear comprimiria a região de baixo FPR coberta pelos níveis operacionais 0,50, 0,70 e 0,85.
Com o contrato de pontuação em vigor, os limites da política permanecem estáveis durante os lançamentos de modelos. Uma política pode bloquear às 0,50, alertar às 0,30 e enriquecer os logs às 0,10. Quando a equipe modelo envia uma nova versão do detector, ela envia um novo calibrador com ela. Os limites da política mantêm o seu significado de FPR, mesmo que as pontuações brutas do modelo abaixo tenham mudado.
Quantos dados são suficientes?
Uma pegadinha comum ao estimar o desempenho de modelos de detecção é a quantidade de dados que você realmente precisa para calibrar adequadamente, ou mesmo medir, um modelo. Embora os ataques possam parecer estar em toda parte nos conjuntos de testes públicos, na prática eles são muito raros, geralmente abaixo de 0,1% do tráfego. Nessas taxas, o modelo tem que ser extremamente preciso para manter a taxa de falsos positivos prática, e calibrá-lo requer muito mais dados benignos do que seria de esperar.
Uma regra prática de aproximação regular fornece cerca de 16 / p amostras benignas para mais ou menos 50% de precisão relativa com 95% de confiança, onde p é o FPR alvo. Para pontos operacionais comuns, as contagens aproximadas de amostras são:
O tamanho da amostra domina o erro de baixo FPR na prática, e dados mais benignos são o único caminho para estimativas mais rigorosas.
Validação em um benchmark público
Validamos o método no benchmark público de detecção de fraude de cartão de crédito (284.807 transações, 492 casos de fraude), ajustando o calibrador em um subconjunto benigno retido:
A conclusão é simples: desde que a distribuição benigna permaneça razoavelmente constante entre a calibração e a produção, um modelo pode ser calibrado com muita precisão.
O que muda para as equipes de produto
Uma liberação calibrada por FPR inclui o detector, o calibrador e a veiculação da pontuação calibrada ou limites brutos derivados do calibrador. Os limites da política mantêm o seu significado de FPR, os clientes mantêm o seu orçamento falso-positivo e o modelo pode melhorar por baixo.
O mesmo contrato também facilita a comparação das pontuações dos detectores entre categorias. Se um detector de injeção imediata e um detector de vazamento de dados emitem uma pontuação calibrada de 0,50, cada pontuação significa a mesma coisa sobre raridade benigna. As políticas compostas ainda necessitam da sua própria medição do FPR, mas os seus contributos já não misturam escalas de pontuação bruta não relacionadas.
Começando
Ajuste o calibrador com fit_calibration_pipeline:
de fpr_model_calibração importar fit_calibration_pipeline
importar joblib
pipeline = fit_calibration_pipeline(benign_scores, n_knots=10.000)
joblib.dump(pipeline, “calibração.pkl”)
A inferência de produção chama o pipeline sklearn serializado:
pipeline = joblib.load(“calibração.pkl”)
calibrado = pipeline.predict(raw_scores.reshape(-1, 1))
A calibração FPR fornece aos lançamentos de modelos um contrato de pontuação estável sem substituir novos dados benignos, monitoramento de desvios ou avaliação da qualidade de detecção. Para sistemas de segurança que são treinados novamente sob pressão adversária, esse contrato permite que os detectores melhorem, enquanto os limites da política mantêm seu significado de FPR.
O hyperlink para o repositório GitHub de código aberto pode ser encontrado aqui:
https://github.com/cisco-ai-defense/fpr-model-calibration
e a pré-impressão:
https://arxiv.org/abs/2607.05481