O acidente flash é provavelmente o exemplo mais conhecido dos perigos levantados pelos agentes-sistemas automatizados que têm o poder de tomar ações no mundo actual, sem a supervisão humana. Esse poder é a fonte de seu valor; Os agentes que sobrecarregaram o acidente flash, por exemplo, poderiam negociar muito mais rápido do que qualquer humano. Mas é também por isso que eles podem causar tanta travessura. “O grande paradoxo dos agentes é que a mesma coisa que os torna úteis – que eles são capazes de realizar uma série de tarefas – envolvendo o controle do distribuições”, diz Iason Gabriel, cientista sênior de pesquisa do Google DeepMind, que se concentra na ética da IA.
“Se continuarmos no caminho atual … estamos basicamente interpretando a roleta russa com a humanidade”.
Yoshua Bengio, Professor de Ciência da Computação, Universidade de Montreal
Os agentes já estão por toda parte – e estão há muitas décadas. Seu termostato é um agente: ele liga ou desliga automaticamente o aquecedor para manter sua casa a uma temperatura específica. O mesmo acontece com o software program antivírus e os bandos. Como comerciantes de alta frequência, que são programados para comprar ou vender em resposta às condições do mercado, esses agentes são todos construídos para realizar tarefas específicas, seguindo regras prescritas. Até agentes mais sofisticados, como Siri e carros autônomos, seguem regras pré-escritas ao executar muitas de suas ações.
Mas nos últimos meses, uma nova classe de agentes chegou em cena: os construídos usando grandes modelos de idiomas. O operador, um agente do OpenAI, pode navegar autonomamente em um navegador para encomendar mantimentos ou fazer reservas de jantar. Sistemas como Claude Code e Cursor’s Chat Recurso podem modificar as bases de código inteiras com um único comando. Manusum agente viral do efeito de borboleta startup chinês, pode construir e implantar websites com pouca supervisão humana. Qualquer ação que possa ser capturada por texto – desde jogar um videogame usando comandos escritos para executar uma conta de mídia social – está potencialmente dentro do alcance desse tipo de sistema.
Os agentes da LLM ainda não têm muito histórico, mas, para ouvir os CEOs dizer, eles transformarão a economia – e em breve. O CEO da Openai, Sam Altman, diz que os agentes podem “Junte -se à força de trabalho” Este ano, e o CEO da Salesforce, Marc Benioff, está promovendo agressivamente Agente poweruma plataforma que permite que as empresas adaptem os agentes a seus próprios propósitos. O Departamento de Defesa dos EUA assinou recentemente um contrato com a Scale AI para projetar e testar agentes para uso militar.
Os estudiosos também estão levando os agentes a sério. “Os agentes são a próxima fronteira”, diz Daybreak Tune, professor de engenharia elétrica e ciência da computação na Universidade da Califórnia, Berkeley. Mas, ela diz, “para que realmente nos beneficiemos da IA, para realmente (use -o para) resolver problemas complexos, precisamos descobrir como fazê -los funcionar com segurança e segurança”.
Patrick Leger
Isso é uma tarefa difícil. Como o Chatbot LLMS, os agentes podem ser caóticos e imprevisíveis. Em um futuro próximo, um agente com acesso à sua conta bancária pode ajudá -lo a gerenciar seu orçamento, mas também pode gastar todas as suas economias ou vazar suas informações para um hacker. Um agente que gerencia suas contas de mídia social pode aliviar parte da labuta de manter uma presença on -line, mas também pode disseminar falsidades ou falar abusos em outros usuários.
Yoshua Bengio, professor de ciência da computação da Universidade de Montreal e um dos chamados “padrinhos da IA”, está entre os preocupados com esses riscos. O que o preocupa acima de tudo, porém, é a possibilidade de que os LLMs possam desenvolver suas próprias prioridades e intenções-e depois agir sobre eles, usando suas habilidades no mundo actual. Um LLM preso em uma janela de bate -papo não pode fazer muito sem assistência humana. Mas um poderoso agente de IA poderia potencialmente se duplicar, substituir salvaguardas ou impedir que seja desligado. A partir daí, pode fazer o que quisesse.
A partir de agora, não há uma maneira infalível de garantir que os agentes atuem como seus desenvolvedores pretendem ou impedir que atores maliciosos os usam. E embora pesquisadores como o Bengio estejam trabalhando duro para desenvolver novos mecanismos de segurança, eles podem não ser capazes de acompanhar a rápida expansão dos poderes dos agentes. “Se continuarmos no caminho atual da construção de sistemas agênticos”, diz Bengio, “estamos basicamente interpretando a roleta russa com a humanidade”.