Novas instâncias P5en do Amazon EC2 com GPUs NVIDIA H200 Tensor Core e rede EFAv3


Novas instâncias P5en do Amazon EC2 com GPUs NVIDIA H200 Tensor Core e rede EFAv3

Hoje, estamos anunciando a disponibilidade geral de Instâncias P5en do Amazon Elastic Compute Cloud (Amazon EC2)equipado com GPUs NVIDIA H200 Tensor Core e processadores escaláveis ​​Intel Xeon de 4ª geração personalizados com uma frequência turbo de todos os núcleos de 3,2 GHz (frequência turbo máxima de 3,8 GHz) disponível apenas na AWS. Esses processadores oferecem largura de banda de memória 50% maior e taxa de transferência até quatro vezes maior entre CPU e GPU com PCIe Gen5, o que ajuda a aumentar o desempenho para treinamento de aprendizado de máquina (ML) e cargas de trabalho de inferência.

P5en, com até 3200 Gbps de terceira geração de Adaptador de tecido elástico (EFAv3) usando o Nitro v5, mostra uma melhoria de até 35% na latência em comparação com o P5 que usa a geração anterior de EFA e Nitro. Isso ajuda a melhorar o desempenho das comunicações coletivas para cargas de trabalho de treinamento distribuídas, como aprendizagem profunda, IA generativa, processamento de dados em tempo actuale computação de alto desempenho (HPC).

Aqui estão as especificações para instâncias P5en:

Tamanho da instânciavCPUsMemória (GiB)GPU (H200)Largura de banda da rede (Gbps)GPU ponto a ponto (GB/s)Armazenamento de instâncias (TB)Largura de banda EBS (Gbps)
p5en.48xgrande1922048832009008×3,84100

No dia 9 de setembro, introduziu instâncias P5e do Amazon EC2equipado com 8 GPUs NVIDIA H200 com 1.128 GB de memória GPU de alta largura de banda, processadores AMD EPYC de 3ª geração, 2 TiB de memória de sistema e 30 TB de armazenamento NVMe native. Essas instâncias fornecem até 3.200 Gbps de largura de banda de rede agregada com EFAv2 e suportam GPUDirect RDMA, permitindo menor latência e desempenho de expansão eficiente, ignorando a CPU para comunicação entre nós.

Com as instâncias P5en, você pode aumentar a eficiência geral em uma ampla variedade de aplicativos acelerados por GPU, reduzindo ainda mais a inferência e a latência da rede. As instâncias P5en aumentam o desempenho do armazenamento native em até duas vezes e Amazon Elastic Block Retailer (Amazon EBS) largura de banda em até 25% em comparação com instâncias P5, o que melhorará ainda mais o desempenho da latência de inferência para aqueles que usam armazenamento native para armazenar pesos de modelos em cache.

A transferência de dados entre CPUs e GPUs pode ser demorada, especialmente para grandes conjuntos de dados ou cargas de trabalho que exigem trocas frequentes de dados. Com o PCIe Gen 5 fornecendo largura de banda até quatro vezes maior entre CPU e GPU em comparação com instâncias P5e e P5e, você pode melhorar ainda mais a latência para treinamento de modelo, ajuste fino e execução de inferência para tarefas complexas. modelos de linguagem grande (LLMs) e multimodal modelos de fundação (FMs)e aplicativos HPC com uso intensivo de memória, como simulações, descobertas farmacêuticas, previsão do tempo e modelagem financeira.

Conceitos básicos das instâncias P5en do Amazon EC2
Você pode usar instâncias P5en do EC2 disponíveis nas regiões da AWS Leste dos EUA (Ohio), Oeste dos EUA (Oregon) e Ásia-Pacífico (Tóquio) por meio de Blocos de capacidade EC2 para MLOpções de compra , On Demand e Plano de Poupança.

Quero apresentar como usar instâncias P5en com reserva de capacidade como opção. Para reservar seus blocos de capacidade EC2, escolha Reservas de Capacidade no Console Amazon EC2 na região da AWS Leste dos EUA (Ohio).

Selecione Compre blocos de capacidade para ML e, em seguida, escolha sua capacidade complete e especifique por quanto tempo você precisa do bloco de capacidade EC2 para p5en.48xgrande instâncias. O número complete de dias que você pode reservar blocos de capacidade do EC2 é de 1 a 14, 21 ou 28 dias. Os Blocos de Capacidade EC2 podem ser adquiridos com até 8 semanas de antecedência.

Quando você seleciona Encontre blocos de capacidadea AWS retornará a oferta de menor preço disponível que atenda às suas especificações no intervalo de datas especificado. Depois de revisar os detalhes, tags e informações de preço complete dos blocos de capacidade do EC2, escolha Comprar.

Agora, seu bloco de capacidade EC2 será agendado com sucesso. O preço complete de um bloco de capacidade EC2 é cobrado antecipadamente e o preço não muda após a compra. O pagamento será cobrado em sua conta dentro de 12 horas após a compra dos Blocos de Capacidade EC2. Para saber mais, visite Blocos de capacidade para ML no Guia do usuário do Amazon EC2.

Para executar instâncias dentro do seu bloco de capacidade adquirido, você pode usar Console de gerenciamento da AWS, Interface de linha de comando da AWS (AWS CLI) ou SDKs da AWS.

Aqui está um exemplo de comando AWS CLI para executar 16 instâncias P5en para maximizar os benefícios do EFAv3. Esta configuração fornece até 3.200 Gbps de largura de banda de rede EFA e até 800 Gbps de largura de banda de rede IP com oito endereços IP privados:

$ aws ec2 run-instances --image-id ami-abc12345 
  --instance-type p5en.48xlarge 
  --count 16 
  --key-name MyKeyPair 
  --instance-market-options MarketType="capacity-block" 
  --capacity-reservation-specification CapacityReservationTarget={CapacityReservationId=cr-a1234567}
--network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=1,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=2,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=3,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=4,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=5,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=6,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=7,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=8,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=9,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=10,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=11,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=12,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=13,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=14,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=15,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=16,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=17,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=18,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=19,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=20,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=21,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=22,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=23,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=24,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=25,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=26,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=27,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=28,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa" 
"NetworkCardIndex=29,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=30,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" 
"NetworkCardIndex=31,DeviceIndex=1,Teams=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only"
...

Ao iniciar instâncias P5en, você pode usar AMIs de aprendizado profundo da AWS (DLAMI) para oferecer suporte a instâncias EC2 P5en. A DLAMI fornece aos profissionais e pesquisadores de ML a infraestrutura e as ferramentas para criar rapidamente aplicativos de ML escalonáveis, seguros e distribuídos em ambientes pré-configurados.

Você pode executar aplicativos de ML em contêineres em instâncias P5en com Contêineres de aprendizado profundo da AWS usando bibliotecas para Amazon Elastic Container Service (Amazon ECS) ou Serviço Amazon Elastic Kubernetes (Amazon EKS).

Para acesso rápido a grandes conjuntos de dados, você pode usar até 30 TB de armazenamento SSD NVMe native ou armazenamento econômico praticamente ilimitado com Serviço de armazenamento simples da Amazon (Amazon S3). Você também pode usar Amazon FSx para Lustre sistemas de arquivos em instâncias P5en para que você possa acessar dados com centenas de GB/s de taxa de transferência e milhões de operações de entrada/saída por segundo (IOPS) necessárias para aprendizado profundo em grande escala e cargas de trabalho de HPC.

Agora disponível
As instâncias P5en do Amazon EC2 estão disponíveis hoje nas regiões da AWS Leste dos EUA (Ohio), Oeste dos EUA (Oregon) e Ásia-Pacífico (Tóquio) e Zona native Leste dos EUA (Atlanta) us-east-1-atl-2a por meio de blocos de capacidade do EC2 para opções de compra de ML, On Demand e Financial savings Plan. Para mais informações, visite o Página de preços do Amazon EC2.

Experimente as instâncias P5en do Amazon EC2 no Console Amazon EC2. Para saber mais, consulte Página da instância P5 do Amazon EC2 e envie comentários para AWS re:Publish para EC2 ou por meio de seus contatos habituais do AWS Assist.

Channy



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *