Anunciando a expansão regional das instâncias G7e na inferência de IA do SageMaker
Temos o prazer de anunciar a disponibilidade das instâncias G7e do Amazon EC2 na Ásia-Pacífico (Seul), Europa (Londres) e Ásia-Pacífico (Tóquio) na inferência de IA do Amazon SageMaker. As instâncias G7e apresentam até 8 GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition com 96 GB de memória por GPU, processadores Intel Xeon de 5ª geração e até 1.600 Gbps de largura de banda de rede Elastic Fabric Adapter, oferecendo desempenho de inferência de até 2,3 vezes em comparação às instâncias G6e da geração anterior.
Com a expansão dessa região, agora você pode implantar endpoints de inferência em instâncias G7e mais próximas de seus usuários finais na Ásia e na Europa, reduzindo a latência para cargas de trabalho generativas de IA. As instâncias G7e fornecem até 768 GB de memória total de GPU em uma única instância, permitindo que você forneça modelos de linguagem de médio a grande porte de até 70 B de parâmetros com precisão de FP8 sem configurações de vários nós. Essas instâncias são adequadas para cargas de trabalho de inferência LLM, geração de imagens e vídeos, computação espacial e computação científica que exigem alta capacidade de memória de GPU e largura de banda.
As instâncias G7e para inferência de IA do SageMaker agora estão disponíveis na Ásia-Pacífico (Seul), Europa (Londres) e Ásia-Pacífico (Tóquio), além das regiões anteriormente suportadas. Para obter informações sobre os preços dessas instâncias, acesse a página de preços.