As GPUs têm um desejo insaciável por dados e manter esses processadores alimentados pode ser um desafio. Essa é uma das grandes razões pelas quais a WEKA lançou uma nova linha de dispositivos de armazenamento de dados na semana passada que pode mover dados a até 18 milhões de IOPS e servir 720 GB de dados por segundo.
As GPUs mais recentes da Nvidia pode ingerir dados da memória em velocidades incríveis, até 2 TB de dados por segundo para o A100 e 3,35 TB por segundo para o H100. Esse tipo de largura de banda de memória, usando o padrão HBM3 mais recente, é necessário para treinar os maiores modelos de linguagem de grande porte (LLMs) e executar outras cargas de trabalho científicas.
Manter os barramentos PCI saturados com dados é elementary para utilizar toda a capacidade das GPUs e isso requer uma infraestrutura de armazenamento de dados capaz de acompanhar. O pessoal da WEKA dizem que fizeram isso com a nova linha WEKApod de dispositivos de armazenamento de dados lançada na semana passada.
A empresa está oferecendo duas versões do WEKApod, incluindo o Prime e o Nitro. Ambas as famílias começam com clusters de oito servidores baseados em rack e cerca de meio petabyte de dados, e podem ser dimensionadas para suportar centenas de servidores e vários petabytes de dados.
A linha Prime de WEKApods é baseada na tecnologia PCIe Gen4 e conectores Ethernet ou Infiniband de 200 Gb. Ele começa com 3,6 milhões de IOPS e 120 GB por segundo de taxa de transferência de leitura e vai até 12 milhões de IOPS e 320 GB de taxa de transferência de leitura.
Especificações do WEKApod
A linha Nitro é baseada na tecnologia PCIe Gen5 e conectores Ethernet ou Infiniband de 400 Gb. Tanto o Nitro 150 quanto o Nitro 180 são avaliados em 18 milhões de IOPS de largura de banda e podem atingir velocidades de leitura de dados de 720 GB por segundo e velocidades de gravação de dados de 186 GB por segundo.
As cargas de trabalho de IA empresarial exigem alto desempenho tanto para leitura quanto para gravação de dados, afirma Colin Gallagher, vice-presidente de advertising and marketing de produtos da WEKA.
“Vários de nossos concorrentes têm afirmado ultimamente ser a melhor infraestrutura de dados para IA”, Gallagher diz em um vídeo no web site da WEKA. “Mas, para fazer isso, eles citam seletivamente um único número, geralmente um para leitura de dados, e deixam outros de fora. Para cargas de trabalho modernas de IA, um número de dados de desempenho é enganoso.”
Isso ocorre porque, nos pipelines de dados de IA, há uma interação necessária entre a leitura e a gravação de dados à medida que as cargas de trabalho de IA mudam, diz ele.
“Inicialmente, os dados são ingeridos de diversas fontes para treinamento, carregados na memória, pré-processados e gravados novamente”, diz Gallagher. “Durante o treinamento, ele é lido continuamente para atualizar os parâmetros do modelo, pontos de verificação de vários tamanhos são salvos e os resultados são gravados para avaliação. Após o treinamento, o modelo gera resultados que são escritos para análise ou uso posterior.”
Os WEKAPods utilizam o sistema de arquivos WekaFS, o sistema de arquivos paralelos de alta velocidade da empresa, que suporta uma variedade de protocolos. Os dispositivos suportam GPUDirect Storage (GDS), um protocolo baseado em RDMA desenvolvido pela Nvidia, para melhorar a largura de banda e reduzir a latência entre a NIC do servidor e a memória da GPU.
WekaFS tem suporte complete para GDS e foi validado pela Nvidia incluindo uma arquitetura de referência, diz WEKA. WEKApod Nitro também é certificado para Nvidia DGX SuperPOD.
A WEKA afirma que seus novos dispositivos incluem uma série de recursos empresariais, como suporte para vários protocolos (FS, SMB, S3, POSIX, GDS e CSI); criptografia; backup/recuperação; instantâneo; e mecanismos de proteção de dados.
Especificamente para proteção de dados, ela afirma que usa um esquema patenteado de codificação de proteção de dados distribuída para proteger contra perda de dados causada por falhas de servidor. A empresa afirma que oferece escalabilidade e durabilidade da codificação de eliminação, “mas sem perda de desempenho”.
“A adoção acelerada de aplicações generativas de IA e geração de recuperação aumentada multimodal permeou a empresa mais rápido do que qualquer um poderia ter previsto, impulsionando a necessidade de soluções de infraestrutura de dados acessíveis, de alto desempenho e flexíveis que forneçam latência extremamente baixa e reduzam drasticamente o custo por tokens gerados e pode ser dimensionado para atender às necessidades atuais e futuras das organizações à medida que suas iniciativas de IA evoluem”, disse o diretor de produtos da WEKA, Nilesh Patel, em um comunicado de imprensa. “WEKApod Nitro e WEKApod Prime oferecem flexibilidade e opções incomparáveis, ao mesmo tempo em que oferecem desempenho, eficiência energética e valor excepcionais para acelerar seus projetos de IA em qualquer lugar e em qualquer lugar onde eles precisem que sejam executados.”
Itens relacionados:
Arquiteturas de dados legadas que impedem a GenAI, conclui o relatório WEKA