 |
Hoje, estamos anunciando a disponibilidade geral de Amazon Elastic Compute Cloud (Amazon EC2) Ultraservers P6E-GB200Acelerado pela NVIDIA GB200 NVL72 para oferecer o maior desempenho da GPU para treinamento e inferência de IA. Amazon EC2 Ultraservers Conecte várias instâncias do EC2 usando uma interconecção dedicada, de alta largura de banda e de baixa latência nessas instâncias.
O Nvidia Grace Blackwell Superchips conecta duas GPUs do NVIDIA Blackwell Tensor Core de alto desempenho e uma CPU NVIDIA GRACE baseada na arquitetura do ARM usando a interconexão NVIDIA NVLink-C2C. Cada Grace Blackwell Superchip oferece 10 petaflops de computação FP8 (sem escarsidade) e até 372 GB de memória HBM3E. Com a arquitetura SuperChip, a GPU e a CPU são colocadas em um módulo de computação, aumentando significativamente a largura de banda entre a GPU e a CPU em comparação com a geração atual Instâncias EC2 P5en.
Com os ultrassores de EC2 P6E-GB200, você pode acessar até 72 GPUs NVIDIA Blackwell dentro de um domínio NVLink para usar 360 petaflops de computação FP8 (sem esparsidade) e 13,4 TB de alta largura de banda whole (HBM3E). Alimentado pelo Sistema Nitro da AWSOs ultrassores de P6E-GB200 são implantados em ultraclusters EC2 para escalar de maneira segura e confiável para dezenas de milhares de GPUs.
Os Ultraservers EC2 P6E-GB200 entregam até 28,8 Tbps do whole Adaptador de tecido elástico (EFAV4) Rede. O EFA também é acoplado ao NVIDIA GPUDIRECT RDMA para permitir a comunicação GPU para GPU de baixa latência entre servidores com o desvio do sistema operacional.
Especificações de Ultraservers EC2 P6E-GB200
Os ultrassoms EC2 P6E-GB200 estão disponíveis em tamanhos que variam de 36 a 72 GPUs sob NVLink. Aqui estão as especificações para o EC2 P6E-GB200 Ultraservers:
| Tipo de ultrassom | GPUs | GPU Memória (GB) | vcpus | Memória da instância (Gib) | Armazenamento de instância (TB) | Largura de banda de rede EFA agregada (GBPS) | Largura de banda EBS (GBPS) |
| U-P6E-GB200X36 | 36 | 6660 | 1296 | 8640 | 202.5 | 14400 | 540 |
| U-P6E-GB200X72 | 72 | 13320 | 2592 | 17280 | 405 | 28800 | 1080 |
Os ultrassores de P6E-GB200 são ideais para as cargas de trabalho de IA intensivas em computação e memória, como treinamento e inferência de modelos de fronteira, incluindo mistura de modelos de especialistas e modelos de raciocínio, na escala de trilhões de parâmetros.
Você pode construir agêntico e AI generativa Aplicativos, incluindo respostas de perguntas, geração de código, geração de vídeo e imagem, reconhecimento de fala e muito mais.
Ultraservers P6E-GB200 em ação
Você pode usar os ultrassonos do EC2 P6E-GB200 na zona native de Dallas através Blocos de capacidade EC2 para ML. A zona native de Dallas (us-east-1-dfw-2a) é uma extensão da região dos EUA leste (N. Virgínia).
Para reservar seus blocos de capacidade EC2, escolha Reservas de capacidade no Console do Amazon EC2. Você pode selecionar Blocos de capacidade de compra para ML e depois escolha sua capacidade whole e especifique quanto tempo você precisa do bloco de capacidade EC2 para U-P6E-GB200X36 ou U-P6E-GB200X72 Ultraservers.
Depois que o bloco de capacidade é agendado com sucesso, ele é cobrado antecipadamente e seu preço não muda após a compra. O pagamento será cobrado em sua conta dentro de 12 horas após a compra dos blocos de capacidade EC2. Para saber mais, visite Blocos de capacidade para ML No guia do usuário do Amazon EC2.
Para executar instâncias no seu bloco de capacidade comprado, você pode usar Console de gerenciamento da AWSAssim, Interface da linha de comando da AWS (AWS CLI) ou AWS SDKS. No lado do software program, você pode começar com o AWS Deep Studying Amis. Essas imagens são pré -configuradas com as estruturas e ferramentas que você provavelmente já conhece e usa: Pytorch, Jax e muito mais.
Você também pode integrar os ultrassonos do EC2 P6E-GB200 com vários serviços gerenciados da AWS. Por exemplo:
- Amazon Sagemaker Hyperpod Fornece infraestrutura gerenciada e resiliente que lida automaticamente no provisionamento e gerenciamento de ultrassores de P6E-GB200, substituindo instâncias defeituosas por capacidade de reposição pré-configurada no mesmo domínio NVLink para manter o desempenho.
- Amazon Elastic Kubernetes Companies (Amazon EKS) Permite que um grupo de nós gerenciado abrange vários ultrassores P6E-GB200 como nós, automatizando seu provisionamento e gerenciamento do ciclo de vida nos clusters Kubernetes. Você pode usar o roteamento de topologia EKS para os ultrassonos de P6E-GB200, permitindo a colocação perfect de componentes fortemente acoplados de cargas de trabalho distribuídas nas instâncias conectadas ao NVLink de um único ultraserver.
- Amazon FSX para brilho Os sistemas de arquivos fornecem acesso a dados para os ultrassores de p6e-gb200 nas centenas de GB/s de taxa de transferência e milhões de operações de entrada/saída por segundo (IOPS) necessárias para cargas de trabalho de HPC e IA em larga escala. Para acesso rápido a conjuntos de dados grandes, você pode usar até 405 TB de armazenamento native NVME SSD ou armazenamento econômico praticamente ilimitado com Amazon Easy Storage Service (Amazon S3).
Agora disponível
Amazon EC2 P6E-GB200 Ultraservers está disponível hoje na zona native de Dallas (us-east-1-dfw-2a) através Blocos de capacidade EC2 para ML. Para mais informações, visite o Página de preços do Amazon EC2.
Experimente o Amazon EC2 P6E-GB200 Ultraservers Console do Amazon EC2. Para saber mais, visite o Página de instâncias do Amazon EC2 P6E e enviar suggestions para AWS RE: POST para EC2 ou através de seus contatos habituais de suporte da AWS.
– Canal