A Weka hoje retirou o seu mais recente produto, o NeuralMesh, que é uma re-imaginação de seu sistema de arquivos distribuído, projetado para lidar com as necessidades de armazenamento e atendimento em expansão-bem como os requisitos mais apertados de latência e resiliência-das implantações de IA da empresa de hoje.
Weka descreveu o NeuralMesh como “uma arquitetura baseada em malha totalmente em contêineres que conecta perfeitamente os serviços de dados, armazenamento, computação e IA”. Ele foi projetado para suportar as necessidades de dados de implantações de IA em larga escala, como fábricas de IA e armazéns de token, particularmente para cargas de trabalho emergentes de agentes de IA que utilizam as mais recentes técnicas de raciocínio, informou a empresa.
Essas cargas de trabalho agênticas têm requisitos diferentes dos sistemas tradicionais de IA, incluindo a necessidade de tempos de resposta mais rápidos e um fluxo de trabalho geral diferente que não se baseia nos dados, mas nas demandas de serviço. Sem os tipos de mudanças que a Weka incorporou ao NeuralMesh, as arquiteturas de dados tradicionais sobrecarregarão as organizações com fluxos de trabalho de IA agênticos lentos e ineficientes.
Liran Zvibel é o CEO e cofundador de Weka
“Essa nova geração de carga de trabalho de IA é completamente diferente do que vimos antes”, disse Liran Zvibel, co -fundador e CEO da Weka, em um vídeo postado no website de sua empresa. “Os sistemas tradicionais de armazenamento de alto desempenho estão atingindo o ponto de ruptura. O que costumava funcionar muito bem no HPC herdado agora cria gargalos. As GPUs caras estão inativas esperando por dados ou calculando desnecessariamente os mesmos tokens repetidamente.”
Com o NeuralMesh, a Weka está desenvolvendo uma nova camada de infraestrutura de dados que é orientada a serviços, modular e composta, disse Zvibel. “Pense nisso como um tecido definido por software program que interconecta os serviços de dados, computação e IA em qualquer ambiente com extrema precisão e eficiência”.
Do ponto de vista arquitetônico, NeuralMesh tem cinco componentes. Eles incluem Core, que fornece o ambiente de armazenamento definido por software program basic; Acelerar, que cria caminhos diretos entre dados e aplicativos e distribui metadados em todo o cluster; Implantar, que garante que o sistema possa ser executado em qualquer lugar, desde máquinas virtuais e steel nu até nuvens e sistemas no native; Observe, que fornece gerenciamento e monitoramento do sistema; e serviços corporativos, que fornecem segurança, controle de acesso e proteção de dados.
Segundo Weka, o NeuralMesh adota conceitos de agrupamento de computadores e malha de dados. Ele utiliza vários caminhos paralelos entre aplicativos e dados e distribui dados e metadados “inteligentemente”, disse a empresa. Ele funciona com clusters executando CPUs, GPUs e TPUs, executando no Prem, na nuvem ou em qualquer lugar.
Os tempos de acesso a dados no NeuralMesh são medidos em microssegundos, em vez de milissegundos, afirmou a empresa. A nova oferta “adapta dinamicamente as necessidades variáveis dos fluxos de trabalho da IA” através do uso de microsserviços que lidam com várias funções, como acesso a dados, metadados, auditoria, observabilidade e comunicação de protocolo. Esses microsserviços funcionam de forma independente e são coordenados através de APIs.
Weka afirmou que o NeuralMesh realmente fica mais rápido e mais resiliente à medida que os dados e as cargas de trabalho da IA aumentam, afirma a empresa. Ele alcança esse feito em parte devido às rotinas de striping de dados que ele usa para proteger os dados. À medida que o número de nós em um cluster NeuralMesh aumenta, os dados são listrados de maneira mais ampla para mais nós, reduzindo as probabilities de perda de dados. No que diz respeito à escalabilidade, o NeuralMesh pode aumentar de petabytes a exabytes de armazenamento.
“Quase todas as camadas do Information Middle modernas adotaram uma arquitetura orientada a serviços”, o diretor de produtos da Weka, Ajay Singh, escreveu em um weblog. “A computação é entregue através de contêineres e funções sem servidor. As redes são gerenciadas por plataformas definidas por software program e malhas de serviço. Observabilidade, identidade, segurança e até a IA Inference Pipelines são executados como serviços modulares e escalonáveis. Os bancos de dados e as camadas de cache são oferecidas como os sistemas de tempo.
Itens relacionados:
Weka mantém as GPUs alimentadas com novos aparelhos rápidos
Arquiteturas de dados herdados que impedem a Genai, o relatório Weka encontra
Como capitalizar o armazenamento definido pelo software program, de forma segura e compatível