Holding de investimento multinacional japonesa, SoftBanklançou o Infrinia AI Cloud OS, uma pilha de software program personalizada para knowledge facilities de IA. Projetado pela equipe Infrinia da empresa, o Infrinia AI Cloud OS permite que os operadores de knowledge heart forneçam Kubernetes como serviço (KaaS) em configurações multilocatários e ofereçam inferência como serviço (Inf-aaS). Portanto, os clientes podem acessar LLMs por meio de APIs simples que podem ser adicionadas diretamente às ofertas de nuvem de GPU existentes de uma operadora.
O Infrinia Cloud OS atende às crescentes demandas globais
Espera-se que a pilha de software program reduza o custo complete de propriedade (TCO) e simplifique as complexidades do dia a dia, especialmente quando comparada com opções desenvolvidas internamente e pilhas personalizadas. Em última análise, o Infrinia Cloud OS promete acelerar as implantações de serviços em nuvem GPU, suportando simultaneamente cada estágio do ciclo de vida da IA, desde modelos de treinamento até o uso em tempo actual.
Inicialmente, o SoftBank planeja incorporar o Infrinia Cloud OS em suas ofertas existentes de GPU em nuvem antes de implantar a pilha de software program globalmente em knowledge facilities e plataformas em nuvem no exterior no futuro.
A demanda por IA alimentada por GPU tem aumentado rapidamente em muitos setores, desde ciência e robótica até IA generativa. À medida que as necessidades complexas dos usuários também crescem, isso coloca demanda nos provedores de serviços em nuvem de GPU.
Alguns usuários exigem sistemas totalmente gerenciados com “servidores bare-metal de GPU abstratos”, enquanto outros precisam de inferência de IA acessível, sem ter que depender diretamente do gerenciamento de GPU. Outros buscam configurações mais avançadas onde o treinamento do modelo de IA seja centralizado e a inferência seja implementada na borda.
O Infrinia AI Cloud OS foi projetado para enfrentar esses desafios, maximizando o desempenho da GPU e facilitando o gerenciamento e a implantação de serviços em nuvem da GPU.
Habilidades do Infrinia Cloud OS
Com seus recursos KaaS, a pilha de software program mais recente do SoftBank é capaz de automatizar todas as camadas da infraestrutura subjacente, desde configurações de servidor de baixo nível até armazenamento, rede e o próprio Kubernetes.
Ele também pode reconfigurar conexões de {hardware} e memória conforme necessário, permitindo que clusters de GPU sejam produzidos, ajustados ou removidos rapidamente para atender a diferentes cargas de trabalho de IA. A alocação automatizada de nós, baseada na proximidade das GPUs e dos domínios NVIDIA NVLink, ajuda a reduzir atrasos e melhora a largura de banda de GPU para GPU para cargas de trabalho distribuídas e em maior escala. O componente Inf-aaS da Infrinia foi projetado para que os usuários possam implementar facilmente cargas de trabalho de inferência, permitindo acesso mais rápido e escalável à inferência de modelos de IA por meio de serviços gerenciados.
Ao simplificar as complexidades operacionais e diminuir o TCO, o Infrinia AI Cloud OS está posicionado para acelerar a adoção da infraestrutura de IA baseada em GPU em diferentes setores em todo o mundo.
(Fonte da imagem: “SoftBank.” por MIKI Yoshihito. (#mikiyoshihito) está licenciado sob CC BY 2.0.)
Quer aprender mais sobre Cloud Computing com os líderes do setor? Confira Segurança cibernética e exposição de nuvem acontecendo em Amsterdã, Califórnia e Londres. O evento abrangente faz parte TechEx e co-localizado com outros eventos de tecnologia líderes. Clique aqui para mais informações.
CloudTech Information é desenvolvido por Mídia TechForge. Discover outros eventos e webinars de tecnologia empresarial futuros aqui.