Um immediate parece aparentemente simples. Um usuário digita uma pergunta em um assistente de IA, pressiona Enter e uma resposta aparece. Mas por trás dessa interação está um sistema distribuído que abrange redes, mecanismos de políticas, processamento de CPU, infraestrutura de GPU, malhas de alto desempenho e streaming em tempo actual.
Para engenheiros de rede, compreender esta jornada está se tornando cada vez mais importante porque a movimentação de dados é agora o principal gargalo para o desempenho da GPU. Um novo white paper da Cisco, “Um dia na vida de um immediate”, desconstrói o ciclo de vida distribuído de um immediate de IA e o papel crítico e evolutivo da rede na inferência de IA.
Inferência de IA como fluxo distribuído
A inferência de IA é frequentemente discutida como um problema de GPU ou modelo: tamanho do modelo, capacidade do acelerador, largura de banda da memória e velocidade de geração de token. Essas dimensões são enormemente importantes. Mas eles são apenas parte do quadro. Cada solicitação de IA também deve ser autenticada, roteada, enfileirada, colocada, transportada, processada e devolvida ao usuário, geralmente em vários domínios de rede e de computação.
Nesse sentido, um immediate se comporta como um fluxo distribuído. Ele atravessa a Web e as redes corporativas e passa por gateways de API e camadas de roteamento de modelo. Em seguida, ele entra em clusters de inferência, onde CPUs e escalonadores o preparam para execução. Para modelos grandes, um immediate pode acionar a comunicação através de um segundo domínio de rede – a estrutura da GPU – com base em tecnologias como NVLink, InfiniBand ou RDMA sobre Ethernet.
Confiança em dois tecidos interconectados
A inferência de IA depende de duas estruturas interconectadas, mas muito diferentes.
A primeira é a rede de solicitação, que compreende conectividade IP norte-sul, protocolos de transporte, gateways, roteamento, segurança e política. A segunda é a malha leste-oeste de alto desempenho que permite a execução distribuída entre GPUs. Compreender a fronteira entre esses domínios e como suas características de desempenho diferem é essencial para analisar o desempenho, a escalabilidade, a confiabilidade e o posicionamento da carga de trabalho.
Hoje, a latência de inferência é causada principalmente pela atividade da GPU – especialmente enfileiramento de solicitações e prompts de processamento. Mas esse equilíbrio está mudando.
Os sistemas de inferência estão se tornando mais rápidos. A latência entre tokens está caindo. No entanto, os aplicativos de IA de agência estão se tornando mais comunicativos, com uma única tarefa do usuário potencialmente desencadeando dezenas ou centenas de interações sequenciais entre agentes, modelos, ferramentas e fontes de dados. Um novo estudar prevê que a adoção de aplicações de IA de agência aumentará o crescimento do tráfego empresarial em 9x até 2035, impulsionado pela execução autônoma de tarefas e fluxos de trabalho com muitas inferências.
À medida que a parte computacional de cada interação de inferência se torna mais rápida, o native físico ou lógico onde um modelo de IA é implantado e executado (por exemplo, em um knowledge middle central em nuvem, em um website de borda regional ou mais próximo do usuário remaining) tem mais consequências. Um modelo rápido que está distante ainda pode parecer lento devido à latência da rede. Portanto, posicionar estrategicamente o modelo para minimizar essa distância – entre o modelo, o usuário e os dados que ele precisa acessar – é essential.
Isto tem implicações diretas para prestadores de serviços, empresas e arquitetos de infraestrutura. A inferência de IA está sendo cada vez mais distribuída em fábricas centralizadas de IA, locais regionais, áreas metropolitanas e ambientes de borda. A topologia da rede, a latência, a residência dos dados, a confiabilidade e a direção inteligente do tráfego estão se tornando parte do próprio design do aplicativo de IA.
Aprofunde-se no novo white paper
Um novo white paper da Cisco, “Um dia na vida de um immediate”, analisa mais de perto os impactos da inferência de IA na rede e as estratégias para que os provedores de serviços mudem a arquitetura de rede para melhor atender essa nova classe de aplicativos. Os tópicos incluem:
- Por que um immediate deve ser entendido como um fluxo distribuído em vez de uma simples solicitação a um modelo
- As funções da rede de solicitação, plano de controle de inferência, pilha de serviços de CPU e estrutura de GPU
- Como o tempo para o primeiro token e a latência entre tokens moldam a experiência do usuário
- Por que a IA agente muda o papel da latência da rede
- Por que a inferência distribuída e a proximidade serão cada vez mais importantes
- O que esta evolução significa para engenheiros de rede e prestadores de serviços
A inferência de IA é um problema de rede
A transição para serviços orientados por IA está a criar novas questões sobre onde a inferência deve ser executada, como deve ser ligada e como as redes devem evoluir para apoiar experiências de agentes responsivas e fiáveis. À medida que o {hardware} de inferência melhora e a latência entre tokens diminui, a latência da rede se torna a próxima fronteira, especialmente em fluxos de trabalho de agente, onde dezenas de interações LLM se encadeiam, tornando o posicionamento e a conectividade tão críticos quanto a computação.
A inferência de IA não é mais apenas um problema de computação; é um problema de rede, e as decisões de infraestrutura tomadas hoje definirão as experiências de IA de amanhã.
Convidamos você a ler “Um Dia na Vida de um Immediate” e participar da conversa conosco. Esteja você projetando infraestrutura de IA, operando redes ou explorando novas oportunidades para provedores de serviços, gostaríamos de receber suas perspectivas e a oportunidade de discutir o que essa mudança significa na prática. Clique aqui ler “Um dia na vida de um immediate.”
Recursos adicionais
Relatório/weblog/infográfico O Impacto da IA na WAN