 |
Hoje, estamos anunciando a disponibilidade geral de Amazon Elastic Compute Cloud (Amazon EC2) Instâncias G7e que oferecem desempenho econômico para cargas de trabalho de inferência de IA generativas e o mais alto desempenho para cargas de trabalho gráficas.
As instâncias G7e são aceleradas pelas GPUs NVIDIA RTX PRO 6000 Blackwell Server Version e são adequadas para uma ampla variedade de cargas de trabalho habilitadas para GPU, incluindo cargas de trabalho de computação espacial e científica. As instâncias G7e oferecem desempenho de inferência até 2,3 vezes maior do que Instâncias G6e.
Melhorias feitas em comparação com antecessores:
- GPU NVIDIA RTX PRO 6000 Blackwell — As GPUs NVIDIA RTX PRO 6000 Blackwell Server Version oferecem duas vezes mais memória de GPU e 1,85 vezes mais largura de banda de memória de GPU em comparação com instâncias G6e. Ao usar a maior memória de GPU oferecida pelas instâncias G7e, você pode executar modelos de tamanho médio com até 70B de parâmetros com precisão de FP8 em uma única GPU.
- NVIDIA GPUDirect P2P — Para modelos que são grandes demais para caber na memória de uma única GPU, você pode dividir o modelo ou os cálculos em várias GPUs. As instâncias G7e reduzem a latência de suas cargas de trabalho multi-GPU com suporte para NVIDIA GPUDirect P2P, que permite a comunicação direta entre GPUs por meio da interconexão PCIe. Essas instâncias oferecem a menor latência ponto a ponto para GPUs no mesmo change PCIe. Além disso, as instâncias G7e oferecem até quatro vezes mais largura de banda entre GPUs em comparação com as GPUs L40s apresentadas nas instâncias G6e, aumentando o desempenho de cargas de trabalho multi-GPU. Essas melhorias significam que você pode executar inferência para modelos maiores em várias GPUs, oferecendo até 768 GB de memória de GPU em um único nó.
- Rede — As instâncias G7e oferecem quatro vezes mais largura de banda de rede em comparação com as instâncias G6e, o que significa que você pode usar a instância para cargas de trabalho de vários nós em pequena escala. Além disso, as instâncias multi-GPU G7e suportam NVIDIA GPUDirect Distant Direct Reminiscence Entry (RDMA) com Adaptador de tecido elástico (EFA)o que reduz a latência da comunicação remota de GPU para GPU para cargas de trabalho de vários nós. Esses tamanhos de instância também suportam NVIDIA GPUDirectStorage com Amazon FSx para Lustreo que aumenta a taxa de transferência em até 1,2 Tbps para as instâncias em comparação com as instâncias G6e, o que significa que você pode carregar seus modelos rapidamente.
Especificações do EC2 G7e
As instâncias G7e apresentam até 8 GPUs NVIDIA RTX PRO 6000 Blackwell Server Version com até 768 GB de memória whole de GPU (96 GB de memória por GPU) e processadores Intel Emerald Rapids. Eles também suportam até 192 vCPUs, até 1.600 Gbps de largura de banda de rede, até 2.048 GiB de memória de sistema e até 15,2 TB de armazenamento SSD NVMe native.
Aqui estão as especificações:
| Nome da instância | GPU | Memória GPU (GB) | vCPUs | Memória (GiB) | Armazenamento (TB) | Largura de banda EBS (Gbps) | Largura de banda da rede (Gbps) |
| g7e.2xgrande | 1 | 96 | 8 | 64 | 1,9×1 | Até 5 | 50 |
| g7e.4xgrande | 1 | 96 | 16 | 128 | 1,9×1 | 8 | 50 |
| g7e.8xgrande | 1 | 96 | 32 | 256 | 1,9×1 | 16 | 100 |
| g7e.12xgrande | 2 | 192 | 48 | 512 | 3,8×1 | 25 | 400 |
| g7e.24xgrande | 4 | 384 | 96 | 1024 | 3,8 x 2 | 50 | 800 |
| g7e.48xgrande | 8 | 768 | 192 | 2048 | 3,8×4 | 100 | 1600 |
Para começar a usar instâncias G7e, você pode usar o AMIs de aprendizado profundo da AWS (DLAMI) para suas cargas de trabalho de aprendizado de máquina (ML). Para executar instâncias, você pode usar Console de gerenciamento da AWS, Interface de linha de comando da AWS (AWS CLI) ou SDKs da AWS. Para uma experiência gerenciada, você pode usar instâncias G7e com Amazon Elastic Container Service (Amazon ECS), Serviço Amazon Elastic Kubernetes (Amazon EKS). Suporte para IA do Amazon SageMaker também chegará em breve.
Agora disponível
As instâncias G7e do Amazon EC2 estão disponíveis hoje no Leste dos EUA (Norte da Virgínia) e no Leste dos EUA (Ohio) Regiões da AWS. Para disponibilidade regional e um roteiro futuro, pesquise o tipo de instância na seção CloudFormação guia de recursos de Capacidades da AWS por região.
As instâncias podem ser adquiridas como Instâncias sob demanda, Plano de Poupançae Instâncias spot. As instâncias G7e também estão disponíveis em Instâncias Dedicadas e Anfitriões Dedicados. Para saber mais, visite o Página de preços do Amazon EC2.
Experimente as instâncias G7e no Console Amazon EC2. Para saber mais, visite o Página de instâncias G7e do Amazon EC2 e envie comentários para AWS re:Publish para EC2 ou por meio de seus contatos habituais do AWS Help.
– Channy