A ascensão dos modelos menores e mais baratos de IA está se aproximando da IA da borda, mas as empresas de telecomunicações devem pesar a colocação e o ROI cuidadosamente em meio a investimentos em infraestrutura crescentes apenas para tornar as redes de IA capazes.
Eficiência da borda – Modelos menores e implantações de borda reduzem o uso de energia e permitem aplicativos mais amplos de IA além do suporte básico.
Cálculo de custo – As empresas de telecomunicações enfrentam perguntas difíceis sobre custos de treinamento, uso de energia e o valor actual da solução de problemas específicos com a IA.
Dependência da rede – O sucesso e a escalabilidade das cargas de trabalho da IA dependem da infraestrutura e capacidade de rede subjacentes.
Nota: Este artigo é continuado de uma entrada anterior, disponível aquie é retirado de um relatório editorial mais longo, que é gratuito para obtain – e disponível aquiou clicando na imagem na parte inferior. Um webinar atendente no mesmo tópico está disponível para assistir sob demanda aqui.
Bem-vindo voltar.
Outro efeito-chave desse raio de encolhimento de IA direcionado ao domínio é que, por necessidade, também explode esses modelos até a borda. Ambos os resultados – modelos menores, modelos mais próximos – significam uso de energia mais otimizado na pegada da IA. Fatih Nar em Pink Hat reflete sobre o momento profundo em janeiro, quando a startup chinesa Deepseek apresentou seu sistema R1-um modelo de grande idioma de código aberto desenvolvido por uma fração do custo de seus colegas ocidentais.
Ele tinha R1 correndo em seu computador de mesa, diz ele. “O momento profundo é que os grandes modelos de idiomas agora podem ser treinados e implantados muito mais baratos, para que eles possam ser aplicados em diferentes casos de uso de maneiras mais escaláveis. Onde antes exigia milhões de dólares, mesmo apenas para inferência, agora estamos falando sobre a mistura de especialistas e distribui a borda a um custo menor-que empurra o apoio básico ao cliente.”
Então, o que vai onde – no limite (No entanto, isso é definido)? “Depende do modelo”, explica ele. “Você não vai executar um modelo de llama de 200 bilhões de parâmetros no limite. Esses grandes modelos de linguagem-os gigantescos, com um trilhão de parâmetros-são executados na nuvem central. Mas os pequenos modelos, como o Deepseek R1, com sete bilhões de parâmetros, serão executados no seu laptop computer. E, se você pode executá-los lá, a borda é muito mais forte.”
Por um lado, a indústria de IA está avançando rapidamente com o desenvolvimento e implantação de modelos-principalmente porque as unidades de processamento gráfico (GPUs), os motores de nível de chip para essa revolução da IA, são mais baratos. O que está de acordo com o paradoxo de Jevon, que diz que maior eficiência (desempenho por dólar) leva a um maior consumo-e que rapidamente se tornou a explicação da turbulência da Deepseek nos mercados financeiros em janeiro.
Por outro lado, há questões importantes sobre o custo e o valor dos aplicativos de IA, que o setor de telecomunicações ainda está tentando resolver. “Há um custo difícil de treinar e usar modelos grandes e um custo suave do consumo de energia. Você não usa um modelo de idioma grande para adicionar dois e dois, certo? Isso seria louco e um desperdício terrível. Portanto, embora essa tecnologia seja capaz, também pode ser totalmente a ferramenta errada para o trabalho”, diz Robern Curran, da Appledore Analysis.
“Os telcos têm massas de informação, o que faz sentido se alimentar em um modelo de IA. Mas estão tentando resolver um problema que acontece uma vez por ano ou uma vez por hora? E qual é o valor para resolvê -lo? É por que não somos invadidos por robôs – porque são bons em algumas coisas e que podem ser que os humanos.
Esses são cálculos paralelos, é claro, sobre onde colocar modelos e cargas de trabalho, e como racionalizar sua colocação caso a caso em um scorecard de ROI-até que haja experiência e confiança suficientes para compor um plano solto para escalar implantações nas operações industriais. É o mesmo matemática Com toda disciplina tecnológica-desde a sensação de IoT até a criação de sentidos da IA, através de todas as considerações de arestas/arestas públicas/privadas arquitetônicas que acompanham.
Mas as somas ficam mais nítidas à medida que os investimentos ficam mais íngremes. Porque em algum momento, alguém espera um retorno a montante em algum lugar. “Temos uma cadeia de suprimentos de IA massivamente liderada por suprimentos, construindo infraestrutura na esperança de que essas coisas sejam úteis. Bilhões e bilhões estão em novos knowledge facilities apenas para a IA. Esses custos precisam ser recuperados, mais cedo ou mais tarde”, diz Curran. Também existem cálculos mais sutis – pessoais para cada transportadora.
Pink Hat tem um excelente artigo (veja Satisfação é tudo que você precisasobre Médio) na colocação de cargas de trabalho de telecomunicações em uma arquitetura híbrida de IA. Em resumo, recomenda uma abordagem em camadas: modelos críticos de IA do host e processamento de dados em knowledge facilities centralizados para alta disponibilidade, implante modelos leves na borda da rede para reduzir o uso de latência e largura de banda e aproveitar a infraestrutura existente a cada passo. Ele também fala (é claro) sobre manter o cliente em mente e navegar em um ‘modelo de maturidade da IA’.
Mas deve ser digerido separadamente. Aqui, Nar conta uma história sobre como o CTO de uma televisão sem nome telefonou para ele no último trimestre para perguntar o que fazer com um cluster de US $ 30 milhões na GPU da NVIDIA. “’O que? Você comprou um cluster sem saber o que fazer com ele? E ele disse: ‘Sim, bem, eu tive a oportunidade’. Mas não se trata apenas das GPUs; É sobre o tecido da rede por baixo. Porque um cluster que requer terabytes por segundo não será executado na Gigabit Ethernet.
“Temos modelos e aceleradores de IA fantásticos, mas eles se sentam em uma pilha TCP/IP projetada na década de 1960. As pessoas tentaram melhorá -la com o software program, mas está sujeito à mesma física. Até a velocidade da luz que se restringe. A sede que a rede é a fibra escura e a fibra dos EUA; a BT usa Copper em Londres de Londres. das maiores passagens de fibra. ”
Tudo isso torna as redes de telecomunicações, com fio e sem fio, críticas para o sucesso das implantações de IA, à medida que suas capacidades e limitações afetam o desempenho, a escalabilidade e o custo. A capacidade de dimensionar as cargas de trabalho de IA depende muito da capacidade do tecido de rede subjacente, especialmente ao considerar as altas demandas de taxa de transferência de dados dos modelos de IA na borda. Mas para as empresas de telecomunicações, há outra oportunidade – de ‘apoiar a IA’, de acordo com o cabeçalho authentic.
Continua…
