Resumo:Nós propomos o robustez certificada assimétrica problema, que requer robustez certificada para apenas uma classe e reflete cenários adversários do mundo actual. Essa configuração focada nos permite introduzir classificadores de características convexas, que produzem raios certificados determinísticos e de forma fechada na ordem de milissegundos.
Figura 1. Ilustração de classificadores convexos de características e sua certificação para entradas de classe sensível. Esta arquitetura compõe um mapa de características Lipschitz-contínuo $varphi$ com uma função convexa aprendida $g$. Como $g$ é convexo, ele é globalmente subaproximado por seu plano tangente em $varphi(x)$, produzindo bolas de norma certificadas no espaço de características. Lipschitzness de $varphi$ então produz certificados apropriadamente escalonados no espaço de entrada authentic.
Apesar de seu uso generalizado, os classificadores de aprendizado profundo são extremamente vulneráveis a exemplos adversariais: pequenas perturbações de imagem imperceptíveis ao ser humano que enganam os modelos de aprendizado de máquina para classificar incorretamente a entrada modificada. Essa fraqueza prejudica severamente a confiabilidade dos processos críticos de segurança que incorporam o aprendizado de máquina. Muitas defesas empíricas contra perturbações adversas foram propostas — muitas vezes apenas para serem derrotadas mais tarde por estratégias de ataque mais fortes. Portanto, focamos em classificadores certificavelmente robustosque fornecem uma garantia matemática de que sua previsão permanecerá constante para uma bola de norma $ell_p$ em torno de uma entrada.
Métodos convencionais de robustez certificada incorrem em uma série de desvantagens, incluindo não determinismo, execução lenta, escalabilidade ruim e certificação contra apenas uma norma de ataque. Argumentamos que essas questões podem ser abordadas refinando o problema de robustez certificada para que fique mais alinhado com configurações adversárias práticas.
O Problema de Robustez Certificada Assimétrica
Classificadores robustos certificáveis atuais produzem certificados para entradas pertencentes a qualquer classe. Para muitas aplicações adversariais do mundo actual, isso é desnecessariamente amplo. Considere o caso ilustrativo de alguém compondo um e-mail de golpe de phishing enquanto tenta evitar filtros de spam. Esse adversário sempre tentará enganar o filtro de spam, fazendo-o pensar que seu e-mail de spam é benigno — nunca o contrário. Em outras palavras, o invasor está apenas tentando induzir falsos negativos do classificador. Configurações semelhantes incluem detecção de malware, sinalização de notícias falsas, detecção de bots de mídia social, filtragem de reivindicações de seguro médico, detecção de fraude financeira, detecção de websites de phishing e muito mais.
Figura 2. Robustez assimétrica na filtragem de e-mail. Configurações adversariais práticas geralmente exigem robustez certificada para apenas uma classe.
Todas essas aplicações envolvem uma configuração de classificação binária com uma classe sensível que um adversário está tentando evitar (por exemplo, a classe “e-mail de spam”). Isso motiva o problema de robustez certificada assimétricaque visa fornecer previsões robustas e certificadas para entradas na classe sensível, mantendo uma alta precisão limpa para todas as outras entradas. Fornecemos uma declaração de problema mais formal no texto principal.
Classificadores convexos de características
Nós propomos redes neurais convexas de características para abordar o problema de robustez assimétrica. Esta arquitetura compõe um mapa de características Lipschitz-contínuo simples ${varphi: mathbb{R}^d to mathbb{R}^q}$ com uma Rede Neural Convexa de Entrada (ICNN) aprendida ${g: mathbb{R}^q to mathbb{R}}$ (Figura 1). ICNNs impõem convexidade do logit de entrada para o logit de saída compondo não linearidades ReLU com matrizes de peso não negativas. Como uma região de decisão ICNN binária consiste em um conjunto convexo e seu complemento, adicionamos o mapa de características pré-composto $varphi$ para permitir regiões de decisão não convexas.
Classificadores convexos de recursos permitem o cálculo rápido de raios certificados de classe sensível para todas as normas $ell_p$. Usando o fato de que funções convexas são globalmente subaproximadas por qualquer plano tangente, podemos obter um raio certificado no espaço de recursos intermediário. Esse raio é então propagado para o espaço de entrada por Lipschitzness. A configuração assimétrica aqui é crítica, pois essa arquitetura produz apenas certificados para a classe logit positiva $g(varphi(x)) > 0$.
A fórmula de raio certificada da norma $ell_p$ resultante é particularmente elegante:
(r_p(x) = frac{ cor{azul}{g(varphi(x))} } { mathrm{Lábio}_p(varphi) cor{vermelho}{| nabla g(varphi(x)) | _{p,*}}}.)
Os termos não constantes são facilmente interpretáveis: o raio é dimensionado proporcionalmente ao confiança do classificador e inversamente ao sensibilidade do classificador. Avaliamos esses certificados em uma variedade de conjuntos de dados, obtendo certificados $ell_1$ competitivos e certificados $ell_2$ e $ell_{infty}$ comparáveis, apesar de outros métodos geralmente serem adaptados para uma norma específica e exigirem ordens de magnitude a mais de tempo de execução.
Figura 3. Raios certificados de classe sensível no conjunto de dados CIFAR-10 gatos vs cães para a norma $ell_1$. Os tempos de execução à direita são calculados em média sobre $ell_1$, $ell_2$ e $ell_{infty}$-raios (observe a escala logarítmica).
Nossos certificados são válidos para qualquer $ell_p$-norma e são de forma fechada e determinísticos, exigindo apenas uma passagem para frente e para trás por entrada. Eles são computáveis na ordem de milissegundos e escalam bem com o tamanho da rede. Para comparação, métodos atuais de última geração, como suavização aleatória e propagação de limite de intervalo, normalmente levam vários segundos para certificar até mesmo redes pequenas. Métodos de suavização aleatória também são inerentemente não determinísticos, com certificados que são válidos apenas com alta probabilidade.
Promessa teórica
Embora os resultados iniciais sejam promissores, nosso trabalho teórico sugere que há um potencial significativo inexplorado em ICNNs, mesmo sem um mapa de características. Apesar de ICNNs binários serem restritos ao aprendizado de regiões de decisão convexas, provamos que existe um ICNN que atinge precisão de treinamento perfeita no conjunto de dados CIFAR-10 cats-vs-dogs.
Fato. Existe um classificador convexo de entrada que atinge precisão de treinamento perfeita para o conjunto de dados CIFAR-10 gatos versus cães.
No entanto, nossa arquitetura atinge apenas $73,4%$ de precisão de treinamento sem um mapa de recursos. Embora o desempenho do treinamento não implique generalização do conjunto de testes, esse resultado sugere que as ICNNs são, pelo menos teoricamente, capazes de atingir o paradigma moderno de aprendizado de máquina de overfitting para o conjunto de dados de treinamento. Portanto, colocamos o seguinte problema aberto para o campo.
Problema aberto. Aprenda um classificador convexo de entrada que atinge precisão de treinamento perfeita para o conjunto de dados CIFAR-10 gatos versus cães.
Conclusão
Esperamos que a estrutura de robustez assimétrica encourage novas arquiteturas que sejam certificáveis neste cenário mais focado. Nosso classificador de características convexas é uma dessas arquiteturas e fornece raios certificados determinísticos e rápidos para qualquer $ell_p$-norma. Também colocamos o problema aberto de sobreajuste do conjunto de dados de treinamento CIFAR-10 gatos vs cães com um ICNN, o que mostramos ser teoricamente possível.
Este publish é baseado no seguinte artigo:
Robustez assimétrica certificada por meio de redes neurais convexas de características
Samuel Pfrommer,
Brendon G. Anderson,
Julien Piet,
Somayeh Sojoudi,
37ª Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS 2023).
Mais detalhes estão disponíveis em arXiv e GitHub. Se nosso artigo inspirar seu trabalho, considere citá-lo com:
@inproceedings{
pfrommer2023asymmetric,
title={Uneven Licensed Robustness through Function-Convex Neural Networks},
creator={Samuel Pfrommer and Brendon G. Anderson and Julien Piet and Somayeh Sojoudi},
booktitle={Thirty-seventh Convention on Neural Info Processing Methods},
12 months={2023}
}