Akamai Anunciou o lançamento da Akamai Cloud Inference, uma nova solução que fornece ferramentas para os desenvolvedores criarem e executar aplicativos de IA no limite.
De acordo com a Akamai, aproximar as cargas de trabalho de dados dos usuários finais com essa ferramenta pode resultar em 3x melhor taxa de transferência e reduzir a latência em até 2,5x.
“Treinar um LLM é como criar um mapa, exigindo que você colete dados, analise as rotas de terreno e trama”, disse Adam Karon, diretor de operações e gerente geral do grupo de tecnologia em nuvem da Akamai. “É lento e intensivo em recursos, mas uma vez construído, é altamente útil. A inferência de IA é como usar um GPS, aplicar instantaneamente esse conhecimento, recalcular em tempo actual e se adaptar às mudanças para levá-lo aonde você precisa ir. A inferência é a próxima fronteira para a IA”.
A Akamai Cloud Inference oferece uma variedade de tipos de computação, de CPUs clássicas a GPUs a VPUs ASIC personalizadas. Oferece integrações com o ecossistema de AI da NVIDIA, alavancando tecnologias como Triton, Tao Toolkit, Tensorrt e NVFlare.
Devido a uma parceria com Dados vastosa solução também fornece acesso a dados em tempo actual para que os desenvolvedores possam acelerar tarefas relacionadas à inferência. A solução também oferece armazenamento de objetos altamente escaláveis e integração com fornecedores de banco de dados vetoriais como AIVE e Milvus.
“Com essa pilha de gerenciamento de dados, a Akamai armazena com segurança dados de modelos e artefatos de treinamento para fornecer inferência de baixa latência em escala world”, escreveu a empresa em seu anúncio.
Ele também oferece recursos para o contêiner cargas de trabalho de IA, o que é importante para permitir a autocaling baseada na demanda, a resiliência aprimorada de aplicativos e a portabilidade híbrida/multicloud.
E, finalmente, a plataforma também inclui recursos WebAssembly para simplificar como os desenvolvedores criam aplicativos de IA.
“Enquanto o levantamento pesado dos LLMs de treinamento continuará ocorrendo em grandes information facilities de hiperescala, o trabalho acionável de inferir ocorrerá na borda, onde a plataforma Akamai se construiu nos últimos duas décadas e meio se torna very important para o futuro da IA e nos diferencia de todos os outros fornecedores de nuvem do mercado”, disse Karon.