Esta postagem é a Parte 2 de uma série de duas partes sobre ataques tipográficos multimodais.
Na Parte 1 de “Lendo entre os pixels”, demonstramos que a distância de incorporação de texto-imagem se correlaciona com o sucesso da injeção de immediate tipográfico: condições que afastam uma imagem tipográfica de seu texto de origem no espaço de incorporação (fontes pequenas, desfoque intenso, rotação) reduzem o sucesso do ataque, e as condições que os aproximam o aumentam.
Se a distância incorporada for um preditor confiável do sucesso do ataque, exploramos se poderíamos reduzir diretamente a distância para fazer com que um ataque fracassado fosse bem-sucedido. Aplicamos pequenas alterações controladas em imagens tipográficas degradadas para que um modelo as interprete como mais próximas do texto unique. Os resultados revelam dois modos de falha distintos na segurança do modelo de linguagem de visão (VLM) – recuperação de legibilidade e redução de recusa – dois problemas que ocorrem simultaneamente, mas variam dependendo do modelo e dos tipos de degradação visible.
A otimização que testamos nas imagens resultou nos efeitos de um ataque tipográfico bem-sucedido que evitou filtros simples de imagem, indicando a necessidade de defesas mais robustas no espaço de representação.
Da correlação à causalidade
A Parte 1 estabeleceu uma forte correlação entre a distância de incorporação e a taxa de sucesso de ataque (ASR) em quatro VLMs (r = −0,71 a −0,93, todos p < 0,01). Investigamos mais a fundo e descobrimos que a relação entre distância de incorporação e ASR é mediada por dois fatores:
- Legibilidade perceptiva: O VLM consegue analisar o texto da imagem? Uma fonte de 6px ou desfoque intenso pode tornar o texto ilegível para o modelo, fazendo com que ele falhe antes mesmo de o alinhamento de segurança entrar na imagem.
- Alinhamento de segurança: Mesmo quando o VLM consegue ler o texto, ele se recusa a cumprir a instrução prejudicial? Modelos como GPT-4o e Claude Sonnet 4.5 possuem filtros de segurança fortes que capturam muitas solicitações prejudiciais mesmo quando o texto é perfeitamente legível.
Nós tentativa para otimizar esses fatores remodelando o imagem representação no espaço de incorporação. Óvocê pesquisar demonstra que um invasor com o objetivo acima pode estar recuperando a legibilidade sozinho ou também prejudicando o alinhamento de segurança, dependendo da robustez do alinhamento pós-treinamento do modelo subjacente.
A abordagem
Nosso método é conceitualmente simples: pegue uma imagem tipográfica degradada que atualmente falha como um ataque (porque o modelo não consegue lê-la, se recusa a obedecer ou ambos) e aplica uma perturbação pequena e limitada no nível de pixel que a faz “parecer mais com o texto” para um conjunto de modelos de incorporação multimodal (em nossos experimentos, usamos Qwen3-VL-Embedding, JinaCLIP v2, OpenAI CLIP ViT-L/14-336, SigLIP SO400M). É importante ressaltar que essa otimização não requer acesso ao VLM alvo, seu classificador de segurança ou quaisquer rótulos de classe – a incorporação de texto do immediate de ataque serve como um alvo fixo.
Nós nos adaptamos SSA-CWA (uma técnica que integra uma abordagem comum de ataque de fraqueza com ataque de simulação de espectro) para resolver esta otimização: o que significa que alocamos 100 etapas para fazer perturbações na entrada em um máximo de 12,5% (veja a Figura 1) para encontrar a melhor maneira de alterar os pixels de uma imagem para provocar um ataque bem-sucedido.
Figura 1: Visão geral da otimização adversária guiada por incorporação. Uma imagem tipográfica degradada é otimizada by way of SSA-CWA em quatro modelos de incorporação substitutos. A imagem resultante é visualmente semelhante, mas realinhada semanticamente, produzindo dois efeitos concomitantes: recuperação de legibilidade e redução de recusa.
O que testamos
Selecionamos os mesmos quatro VLMs de Parte 1 como nossos VLMs alvo: GPT-4o, Claude Sonnet 4.5, Mistral-Massive-3 e Qwen3-VL-4B usando o mesmo juiz de recusa baseado em GPT-4o.
Avaliamos cinco configurações de degradação com ASR de linha de base baixa:
- Fonte 6px;
- Fonte 8px;
- Rotação de 90°;
- degradação tripla (desfoque + ruído + baixo contraste); e
- desfoque intenso (σ=5).
E selecionamos 50 prompts em que o ataque de texto é bem-sucedido no GPT-4o e no Claude, mas a imagem degradada falha em ambos. Nossa seleção se concentrou em ataques bem-sucedidos em formato de texto, mas bloqueados em formato de imagem, bem como em imagens altamente degradadas, nas quais o pipeline de detecção baseado em OCR teria dificuldade para sinalizar uma intenção prejudicial. Uma fonte de 6px ou uma imagem muito desfocada é difícil de ser analisada pela extração de texto convencional, portanto, se uma perturbação limitada tornar a imagem legível para o VLM sem restaurar o texto legível por humanos ou por OCR, o ataque evita tanto o filtro de OCR quanto o próprio alinhamento de segurança do modelo.
Os resultados do nosso experimento são mostrados na Tabela 1 abaixo. A otimização aumenta consistentemente o ASR onde a linha de base é mais baixa. Claude vai de 0% a 28% em desfoque intenso; GPT-4o de 0% a 16% na rotação. Curiosamente, o Mistral (linha de base já elevada) às vezes cai – a perturbação pode acionar mecanismos de segurança que não estavam previamente acionados.
Tabela 1: Comparação das taxas de sucesso de ataque antes e depois da otimização sob diferentes condições de degradação (B: indica antes da otimização, A: após a otimização).
Dois modos de falha de um objetivo
Observamos dois padrões durante nossa pesquisa. A principal conclusão não é apenas que a otimização funciona, mas como. Ao classificar cada falha como uma recusa explícita, uma falha de legibilidade ou outra (leitura incorreta/tangencial), identificamos dois padrões distintos:
Recuperação de legibilidade domina em 6px e Heavy Blur
Na fonte 6px, 35 das 50 falhas de pré-otimização do GPT-4o estão relacionadas à legibilidade, com apenas 10 recusas. Após a otimização, as falhas de legibilidade caem de 35 para 10, mas as recusas aumentam de 10 para 28, gerando apenas 1 sucesso líquido. Em outras palavras: a perturbação torna o texto legível, mas o filtro de segurança do GPT-4o captura as solicitações agora legíveis. O alinhamento de segurança do GPT-4o permanece firme quando a legibilidade é restaurada.
Claude em desfoque intenso conta uma história diferente e mostra o ganho geral mais forte (+28%). Antes da otimização, Claude retornou respostas vazias em 39 das 50 amostras porque não conseguiu processar a imagem. Após a otimização, as respostas vazias caem de 39 para 14 à medida que a perturbação torna o conteúdo borrado legível. Ao contrário do GPT-4o, o filtro de segurança do Claude não captura totalmente o conteúdo recentemente legível, e uma parte significativa dessas leituras recuperadas resulta em conformidade.
Para Mistral, os ganhos de legibilidade se traduzem mais diretamente no ASR: os erros de leitura caem de 20 para 5 em desfoque intenso (+20%) e de 23 para 11 em 6px (+14%). Isto pode ser atribuído ao fato de o mecanismo de alinhamento de segurança não ser o gargalo no caso do Mistral, em que tornar o texto legível é suficiente para ter sucesso.
Legibilidade mista e redução de recusa na rotação e 8px
Na rotação de 90°, nossas observações são mais matizadas. GPT-4o tem 28 recusas, mas também 12 falhas de legibilidade, indicando que o texto girado de 20px não é totalmente legível, mesmo com um tamanho de fonte razoável. Após a otimização, as falhas de legibilidade caem (12 para 7) e surgem 8 sucessos (+16%). Claude ganha +22%, com recusas caindo de 27 para 19 e respostas vazias de 13 para 8. Em 8px, um padrão semelhante se mantém: GPT-4o e Claude ganham +10% e +8% a partir de uma linha de base de 0%.
Este é o padrão mais preocupante do ponto de vista da segurança: nestas situações, o VLM pode ler parcialmente o texto, mas recusa-se a obedecer. As perturbações na imagem não melhoram a legibilidade visible para um observador humano, mas a imagem ajustada confunde o raciocínio de segurança do modelo, fazendo com que o modelo passe da recusa para a conformidade. A decisão de segurança do modelo falha quando confrontado com pequenas mudanças na representação de entrada.
O que isso significa para os profissionais
Os resultados da otimização revelam dois artefatos distintos que um invasor pode recuperar por meio de perturbações limitadas, cada um explorando uma lacuna diferente na segurança do VLM:
- Artefato 1: Imagens degradadas que escapam aos detectores de OCR enquanto permanecem legíveis pelo modelo. Quando um modelo não consegue ler a imagem unique (fonte pequena, desfoque intenso, rotação), uma perturbação limitada pode recuperar o conteúdo semântico na representação interna do modelo sem restaurar a legibilidade visible para um ser humano. Isso significa que um invasor pode criar imagens que pareçam ruído ou distorção ilegível para qualquer filtro de conteúdo baseado em OCR e ainda assim transportar instruções totalmente legíveis para o VLM alvo.
- Artefato 2: Supressão de recusa transferida de injeções imediatas bem-sucedidas. Quando o VLM já lê o texto, mas se recusa, perturbações limitadas podem alterar o limite da decisão de segurança. A principal conclusão é que os padrões de perturbação aprendidos com ataques bem-sucedidos em uma configuração (por exemplo, um determinado tamanho de fonte ou tipo de degradação) são generalizados – um invasor pode explorar o que funciona em uma modalidade ou configuração e aplicá-lo para suprimir recusas em outras. Isso significa que o alinhamento de segurança válido para entradas limpas pode ser sistematicamente corroído por perturbações informadas por sucessos anteriores, sem a necessidade de componentes internos do modelo.
Esses dois artefatos se combinam: um invasor não precisa de acesso ao modelo de destino para obter essa resposta. Ao gerar as perturbações em um grupo diversificado de modelos substitutos (Artefato 1), os ataques gerados podem ser transferidos para modelos alvo proprietários sem nunca interagir com eles (Artefato 2). Juntos, eles formam um canal desde a evasão da detecção até a obtenção da conformidade.
Olhando para o futuro
A distância de incorporação multimodal surge como uma lente poderosa para a compreensão da injeção tipográfica imediata. Parte 1 mostrou que está correlacionado com o sucesso do ataque; A Parte 2 mostra que ele pode ser transformado em arma para expor duas fragilidades concomitantes. A descoberta de que perturbações limitadas podem reduzir as taxas de recusa sem melhorar a legibilidade visible aponta para a necessidade de mecanismos de segurança robustos no espaço de representação, não apenas no domínio do pixel.