SambaNova e Intel ampliaram sua colaboração com uma solução de {hardware} heterogênea que “combina GPUs para pré-preenchimento, processadores Intel Xeon 6 como CPUs host e de ‘ação’ e SambaNova RDUs (unidades de fluxo de dados reconfiguráveis) para decodificação”, de acordo com um comunicado à imprensa.
Ao atribuir cada etapa a um {hardware} adequado a cada uma, as empresas reivindicam respostas de IA mais rápidas e de maior qualidade, poderosas o suficiente para cargas de trabalho de agente escalonadas.
Rodrigo Liang, CEO e cofundador da SambaNova Techniques disse: “A Agentic AI está entrando em produção – e o padrão vencedor que estamos vendo são GPUs para iniciar o trabalho, Intel Xeon 6 para executá-lo e RDUs SambaNova para concluí-lo rapidamente. Juntamente com a Intel, estamos oferecendo aos clientes um modelo que eles podem implantar em knowledge facilities refrigerados a ar existentes, com cobertura x86 para os agentes de codificação e ferramentas que eles já usam hoje.”
De acordo com Kevork Kechichian, vice-presidente executivo e gerente geral do Grupo de Knowledge Heart da Intel, as futuras cargas de trabalho “exigirão uma combinação heterogênea de computação. O ecossistema de software program do knowledge heart é construído em x86 e roda em Xeon”.
Banghua Zhu, cofundador e CTO da startup de infraestrutura de IA, RadixArk, disse: “A inferência de produção está se movendo em direção a {hardware} heterogêneo – nenhum tipo de chip é best para cada estágio de um fluxo de trabalho de agente”.
A arquitetura foi projetada em conjunto pelas duas empresas, construída em torno dos processadores Intel Xeon 6 e RDUs SambaNova. O SN50 RDU, o processador de inferência de IA de quinta geração da SambaNova, foi projetado para “transformar a economia simbólica da inferência”, fornecendo “decodificação de alto rendimento e baixa latência para modelos de linguagem grandes”, afirma a empresa. O chip Xeon 6 fornece largura de banda de memória, aceleradores integrados e densidade de pista PCIe.
Os testes da SambaNova descobriram que os processadores Intel Xeon 6 tiveram desempenho até 50% mais rápido do que as CPUs de servidor baseadas em Arm e forneceram um desempenho mais rápido em até 70% em operações de banco de dados vetoriais, afirma.
O Xeon 6 atua como CPU host e plano de controle do sistema, gerenciando a coordenação de tarefas de agente, execução de ferramentas e API, comportamento em nível de sistema e distribuição de carga de trabalho. Ele também reúne e executa código e confirma se as ações propostas podem ser consideradas confiáveis.
As arquiteturas atuais somente de GPU precisam de knowledge facilities especializados, refrigeração líquida e infraestrutura de energia personalizada. As instalações geram grandes quantidades de calor e consomem enormes quantidades de energia. Em contrapartida, a solução SambaNova e Intel funcionará em knowledge facilities “padrão”, sem necessidade de atualizações de infraestrutura.
(Fonte da imagem: Pixabay, em licença.)
Quer aprender mais sobre Cloud Computing com os líderes do setor? Confira Segurança cibernética e exposição de nuvem acontecendo em Amsterdã, Califórnia e Londres. O evento abrangente faz parte TechEx e co-localizado com outros eventos de tecnologia líderes. Clique aqui para mais informações.
CloudTech Information é desenvolvido por Mídia TechForge. Discover outros eventos e webinars de tecnologia empresarial futuros aqui.