33
As empresas de telecomunicações estão explorando a grade de IA da NVIDIA, mas a implantação de GPU de ponta carece de uma forte latência ou custo hoje; apenas casos de uso de IA física justificam isso, com implementação gradual esperada em futuras redes 6G.
A difusão da IA nas redes de telecomunicações continua com o anúncio da NVIDIA sobre um conceito de grade de IA, bem como os anúncios recentes das empresas de telecomunicações sobre a adoção da infraestrutura de IA, inclusive da T-Cell US, Comcast, SoftBank e outros. Para aplicações de missão crítica, a geração de tokens provavelmente precisará ocorrer na extremidade mais distante da rede para aproveitar a baixa latência, especialmente para aplicações físicas de IA, como robótica, carros conectados e outros casos de uso quase em tempo actual.
A T-Cell argumentou que a IA física começa com redes inteligentes e a NVIDIA disse que as empresas de telecomunicações estão em uma posição preferrred para se tornarem um componente-chave deste novo conceito de rede de IA. Naturalmente, a empresa que mais se beneficiará com sua realização será a NVIDIA, que forneceria tanto {hardware} quanto software program. O gráfico abaixo é a interpretação da NVIDIA da grade de IA, que supostamente já está sendo construída pelas empresas de telecomunicações.
O argumento para menor latência é fraco
Um argumento forte, se não o mais forte, para a implantação de GPUs na borda próxima/longe da rede é a latência, que é necessária para aplicativos que exigem atuação e controle quase em “tempo actual”. O exemplo compartilhado no GTC mostrou um agente chatbot com ida e volta de 2.000 ms, versus o mesmo com latência de 400 ms – o que, de fato, faz uma diferença significativa na experiência do usuário.
Mas a latência da rede normalmente não contribui muito para a métrica mais importante do ‘tempo para o primeiro token’ (TTFT). Em um exemplo típico, a latência do “tempo de ida e volta” (RTT) da rede pode chegar a 100 ms, mas outros parâmetros de latência serão aplicados, independentemente da posição do servidor de inferência, incluindo resolução de DNS e estabelecimento de túnel. Para um immediate de tamanho médio de 1.000 tokens, um pré-preenchimento típico pode levar 160 ms, enquanto a fase de decodificação pode levar vários segundos para ser concluída.
Mover o servidor de inferência para mais perto do usuário closing provavelmente não fará nenhuma diferença materials na experiência do usuário. Simplesmente não é financeiramente viável hoje ou nos próximos dois ou três anos implantar servidores em todo o país para reduzir ainda mais esta latência. A implantação de servidores no native da célula é ainda mais complicada, pois a base endereçável de assinantes e a área geográfica conectada por meio de um único native restringiriam ainda mais o caso de negócios, exceto para casos de uso de valor muito alto e altamente críticos.
A discussão muda completamente se o caso de uso se tornar IA física, com o orçamento de latência caindo para cerca de 10 ms. Nestes casos, a inferência na nuvem torna-se insustentável e a inferência precisa de se deslocar para a borda da rede: uma latência de 100 ms para um carro autónomo a mover-se a 100 km/h significaria que o carro ficaria cego durante 2,8 metros. O mesmo pode ser dito da vigilância por vídeo, dos robôs de entrega de drones e de uma série de outras aplicações.
Mas a questão é: qual é o custo de uma rede de IA distribuída – especificamente, digamos, para a T-Cell nos EUA?
Quantificando o TCO para RAN habilitada para GPU
A T-Cell US disse no GTC que os tokens cinéticos serão uma grande oportunidade para as empresas de telecomunicações em todo o mundo e para que possam aproveitar suas vantagens imobiliárias, precisarão de sistemas AI-RAN e GPUs em sua rede. Se assumirmos que a T-Cell US opera cerca de 13.000 locais de células em telhados nos EUA e que começa a adaptá-los com servidores AI-RAN (neste caso, um servidor NVIDIA ARC-1, custando US$ 60.000, para alimentar três células), e que conclui esta implantação com 100% de cobertura de GPU em telhados em 2035 – então o custo cumulativo whole será de US$ 3,7 bilhões, incluindo implantação, resfriamento e outros custos auxiliares.
O Gráfico 1 abaixo ilustra o TCO anual para este exemplo de implantação.
Distribuído ao longo de nove anos, o investimento para implementar uma rede de IA torna-se mais gerível, assumindo que as receitas aumentam em conformidade. Além disso, a estimativa de 3,7 mil milhões de dólares não é um detalhe no universo da NVIDIA, mas as empresas de telecomunicações e os seus investidores precisarão de um forte argumento comercial para gastar este montante – especialmente quando isto se destina à implementação de uma rede de rádio de nova geração.
Atualmente, não há justificativa para a implantação de GPUs nas células, o que significa que a inferência de IA provavelmente começará a ser implantada centralmente e, então, gradualmente se espalhará pelas células. Na verdade, os servidores de inferência de IA provavelmente serão implantados em locais de rede central que normalmente têm menos de 10 em um país e depois serão gradualmente distribuídos quando surgir a necessidade de menor latência.
Muitos casos de uso, incluindo vigilância por vídeo, direção autônoma, robótica de entrega de última milha, óculos inteligentes e aplicações AR/VR representam os cenários onde a inferência de borda não é opcional, mas arquitetonicamente necessária. As implantações iniciais da rede de IA provavelmente prepararão a rede de telecomunicações para o futuro, permitindo atualizações incrementais à medida que a adoção desses casos de uso se amplia. As empresas de telecomunicações que compreenderem isto o mais cedo estabelecerão as bases para o 6G e solidificarão a sua posição no superciclo da IA.