Nossos clientes contam com a infraestrutura de IA do Azure para desenvolver soluções inovadoras baseadas em IA, e é por isso que estamos fornecendo hoje novos clusters de supercomputação de IA baseados em nuvem, criados com máquinas virtuais (VMs) da série Azure ND H200 v5.
A necessidade de infraestruturas escaláveis e de alto desempenho continua a crescer exponencialmente à medida que o panorama da IA avança. Nossos clientes contam com a infraestrutura de IA do Azure para desenvolver soluções inovadoras baseadas em IA, e é por isso que estamos fornecendo hoje novos clusters de supercomputação de IA baseados em nuvem, criados com máquinas virtuais (VMs) da série Azure ND H200 v5. Essas VMs agora estão disponíveis para o público geral e foram adaptadas para lidar com a crescente complexidade das cargas de trabalho avançadas de IA, desde o treinamento de modelo básico até a inferência generativa. A escala, a eficiência e o desempenho aprimorado de nossas VMs ND H200 v5 já estão impulsionando a adoção por parte dos clientes e dos serviços de IA da Microsoft, como o Azure Machine Studying e o Azure OpenAI Service.
“Estamos entusiasmados em adotar as novas VMs H200 do Azure. Vimos que o H200 oferece melhor desempenho com esforço mínimo de portabilidade. Estamos ansiosos para usar essas VMs para acelerar nossa pesquisa, melhorar a experiência do ChatGPT e promover nossa missão.” —Trevor Cai, chefe de infraestrutura, OpenAI.
As VMs Azure ND H200 v5 são arquitetadas com a abordagem de sistemas da Microsoft para melhorar a eficiência e o desempenho e apresentam oito GPUs NVIDIA H200 Tensor Core. Especificamente, eles abordam a lacuna devido ao crescimento das GPUs em capacidade computacional bruta a uma taxa muito mais rápida do que a memória anexada e a largura de banda da memória. As VMs da série Azure ND H200 v5 oferecem um aumento de 76% na memória de alta largura de banda (HBM) para 141 GB e um aumento de 43% na largura de banda HBM para 4,8 TB/s em relação à geração anterior de VMs Azure ND H100 v5. Esse aumento na largura de banda do HBM permite que as GPUs acessem os parâmetros do modelo com mais rapidez, ajudando a reduzir a latência geral do aplicativo, que é uma métrica crítica para aplicativos em tempo actual, como agentes interativos. As VMs ND H200 V5 também podem acomodar Giant Language Fashions (LLMs) mais complexos na memória de uma única VM, melhorando o desempenho, ajudando os usuários a evitar a sobrecarga da execução de trabalhos distribuídos em várias VMs.
O design de nossos clusters de supercomputação H200 também permite um gerenciamento mais eficiente da memória GPU para pesos de modelo, cache de valor-chave e tamanhos de lote, todos os quais impactam diretamente o rendimento, a latência e a economia em cargas de trabalho de inferência de IA generativa baseadas em LLM. Com sua maior capacidade HBM, a VM ND H200 v5 pode suportar tamanhos de lote maiores, gerando melhor utilização e rendimento de GPU em comparação com a série ND H100 v5 para cargas de trabalho de inferência em modelos de linguagem pequena (SLMs) e LLMs. Nos primeiros testes, observamos um aumento de até 35% na taxa de transferência com VMs ND H200 v5 em comparação com a série ND H100 v5 para cargas de trabalho de inferência executando o modelo LLAMA 3.1 405B (com tamanho mundial 8, comprimento de entrada 128, comprimento de saída 8 e lote máximo tamanhos – 32 para H100 e 96 para H200). Para obter mais detalhes sobre os benchmarks de computação de alto desempenho do Azure, por favor leia mais aqui ou visite nosso Guia de benchmarking de IA no repositório GitHub do Azure para obter mais detalhes.
As VMs ND H200 v5 vêm pré-integradas com Azure Batch, Azure Kubernetes Service, Azure OpenAI Service e Azure Machine Studying para ajudar as empresas a começarem imediatamente. Por favor visite aqui para documentação técnica mais detalhada das novas VMs Azure ND H200 v5.