No início de 2024, um impressionante caso de fraude de Deepfake em Hong Kong trouxe as vulnerabilidades do engano orientado pela IA para alívio acentuado. Um funcionário das finanças foi enganado durante uma videochamada pelo que parecia ser o CFO-mas period, de fato, um sofisticado DeepFake gerado pela AI. Convencido da autenticidade da chamada, o funcionário fez 15 transferências totalizando mais de US $ 25 milhões Para contas bancárias fraudulentas antes de perceber que period uma farsa.
Esse incidente exemplifica mais do que apenas truques tecnológicos – sinaliza como a confiança no que vemos e ouvimos pode ser armada, especialmente à medida que a IA se torna mais profundamente integrada às ferramentas corporativas e fluxos de trabalho. De LLMs incorporados em sistemas corporativos a agentes autônomos diagnosticando e até reparando problemas em ambientes ao vivo, a IA está transitando da novidade para a necessidade. No entanto, à medida que evolui, o mesmo acontece com as lacunas em nossas estruturas de segurança tradicionais-projetadas para código estático e escrito por humanos-revelando o quão despreparados somos para sistemas que geram, adaptam e se comportam de maneiras imprevisíveis.
Além da mentalidade CVE
As práticas de codificação segura tradicionais giram em torno de vulnerabilidades conhecidas e ciclos de patches. Ai altera a equação. Uma linha de código pode ser gerada em tempo actual por um modelo, moldado por instruções ou dados manipulados – criando novas categorias imprevisíveis de risco, como injeção imediata ou comportamento emergente fora das taxonomias tradicionais.
Um estudo de Veracode 2025 descobriu que 45% de todo o código gerado pela IA continha vulnerabilidadescom falhas comuns como defesas fracas contra XSS e injeção de log. (Alguns idiomas tiveram um desempenho mais ruim que outros. Mais de 70% do código Java gerado pela IA teve um problema de segurança, por exemplo.) Outro estudo 2025 mostrou que o refinamento repetido pode piorar as coisas: após apenas cinco iterações, as vulnerabilidades críticas aumentaram por 37,6%.
Para acompanhar o ritmo, estruturas como o OWASP High 10 para LLMS surgiram, catalogando riscos específicos da IA, como vazamento de dados, negação de serviço do modelo e injeção imediata. Eles destacam como as taxonomias de segurança atuais ficam aquém – e por que precisamos de novas abordagens que modelem as superfícies de ameaças da IA, compartilhem incidentes e refinem iterativamente as estruturas de risco para refletir como o código é criado e influenciado pela IA.
Mais fácil para adversários
Talvez a mudança mais alarmante seja como a IA reduz a barreira à atividade maliciosa. O que antes exigiu um profundo conhecimento técnico agora pode ser feito por qualquer pessoa com um aviso inteligente: gerar scripts, lançar campanhas de phishing ou manipular modelos. AI não apenas amplia a superfície do ataque; Isso torna mais fácil e mais barato que os invasores tenham sucesso sem nunca escrever o código.
Em 2025, os pesquisadores revelaram o PromptLocker, o primeiro ransomware de IA. Embora apenas uma prova de conceito, mostrou como roubo e criptografia poderiam ser automatizados com um LLM native a um custo notavelmente baixo: sobre US $ 0,70 por ataque completo usando APIs comerciais– e essencialmente gratuito com modelos de código aberto. Esse tipo de acessibilidade pode tornar o ransomware mais barato, mais rápido e mais escalável do que nunca.
Essa democratização da ofensa significa que os defensores devem se preparar para ataques mais frequentes, mais variados e mais criativos. O Matriz de ameaça ml adversafundada por Ram Shankar Siva Kumar durante seu tempo na Microsoft, ajuda a enumerar ameaças ao aprendizado de máquina e oferecendo uma maneira estruturada de antecipar esses riscos em evolução. (Ele estará discutindo a dificuldade de proteger os sistemas de IA de adversários em O próximo Superream de Segurança de O’Reilly.)
Silos e lacunas de habilidade
Desenvolvedores, cientistas de dados e equipes de segurança ainda trabalham em silos, cada um com diferentes incentivos. Os líderes empresariais pressionam a rápida adoção da IA para permanecerem competitivos, enquanto os líderes de segurança alertam que a movimentação de falhas catastróficas de arriscar muito rapidamente no próprio código.
Essas tensões são amplificadas por uma lacuna de habilidades ampliadas: a maioria dos desenvolvedores não tem treinamento em segurança de IA e muitos profissionais de segurança não entendem completamente como os LLMs funcionam. Como resultado, as correções antigas de retalhos parecem cada vez mais inadequadas quando os modelos estão escrevendo e executando o código por conta própria.
A ascensão da “codificação da vibração” – apenas nas sugestões de LLM sem revisão – captura essa mudança. Ele acelera o desenvolvimento, mas introduz vulnerabilidades ocultas, deixando os desenvolvedores e os defensores lutando para gerenciar novos riscos.
De evitar a resiliência
A adoção da IA não vai parar. O desafio é passar de evitar a resiliência. Estruturas como Estrutura de risco da IA da Databricks (DASF) e o Estrutura de gerenciamento de riscos da AI NIST Forneça orientação prática sobre a incorporação de governança e segurança diretamente nos oleodutos de IA, ajudando as organizações a ir além das defesas advert hoc em direção à resiliência sistemática. O objetivo não é eliminar o risco, mas permitir a inovação, mantendo a confiança no código AI ajuda a produzir.
Transparência e responsabilidade
A pesquisa mostra que o código gerado pela IA geralmente é mais simples e mais repetitivo, mas também mais vulnerávelcom riscos como credenciais codificadas e explorações de travessia de caminho. Sem ferramentas de observabilidade, como logs imediatos, rastreamento de proveniência e trilhas de auditoria, os desenvolvedores não podem garantir confiabilidade ou responsabilidade. Em outras palavras, é mais provável que o código gerado pela IA introduza vulnerabilidades de segurança de alto risco.
A opacidade da IA agrava o problema: uma função pode parecer “trabalhar”, mas oculta vulnerabilidades difíceis de rastrear ou explicar. Sem explicação e salvaguardas, a autonomia rapidamente se torna uma receita para sistemas inseguros. Ferramentas como Mitre Atlas Pode ajudar no mapeamento de táticas adversárias contra os modelos de IA, oferecendo aos defensores uma maneira estruturada de antecipar e contra -ameaças.
Olhando para o futuro
Garantir o código na idade da IA requer mais do que corrigir – significa quebrar silos, fechar lacunas de habilidades e incorporar a resiliência a todos os estágios do desenvolvimento. Os riscos podem parecer familiares, mas a IA os escala dramaticamente. Estruturas como a estrutura de risco de IA (DASF) da Databricks e a estrutura de gerenciamento de riscos da AI NIST fornecem estruturas para governança e transparência, enquanto o Mitre Atlas mapeia táticas adversárias e estudos de caso de ataque do mundo actual, dando aos defensores uma maneira estruturada para antecipar e atenuar ameaças aos sistemas de IA.
As escolhas que fazemos agora determinarão se a IA se torna um parceiro de confiança – ou um atalho que nos deixa expostos.