Amazon SageMaker HyperPod já oferece suporte às instâncias G7e e r5d.16xlarge
O Amazon SageMaker HyperPod agora oferece suporte às instâncias G7e e r5d.16xlarge. O SageMaker HyperPod é uma infraestrutura criada especificamente para desenvolver, treinar e implantar modelos de base em grande escala. Ele oferece um ambiente resiliente e de alta performance, com tolerância a falhas integrada, recuperação automatizada de clusters e bibliotecas otimizadas para treinamento distribuído, o que reduz o trabalho pesado indiferenciado de gerenciar uma infraestrutura de IA/ML em grande escala.
As instâncias G7e são equipadas com GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition e oferecem performance de inferência até 2,3 vezes melhor do que as instâncias G6e, o que permite processar mais solicitações por segundo e reduzir a latência. Com até 768 GB de memória total de GPU, as instâncias G7e permitem implantar modelos de linguagem maiores ou executar vários modelos em um único endpoint. Você pode usar essas instâncias para implantar LLMs, IA agêntica, IA generativa multimodal e modelos de IA física. As instâncias G7e também são ideais para ajuste fino ou treinamento de baixo custo em nó único para modelos de PLN, modelos de visão computacional e modelos menores de IA generativa, com até 1,27 vezes mais TFLOPs e até 4 vezes mais largura de banda de GPU para GPU em comparação com as G6e. Além disso, o HyperPod agora também oferece suporte à instância r5d.16xlarge. A instância r5d.16xlarge oferece 64 vCPUs, 512 GB de memória e 5 unidades de armazenamento de instância SSD NVMe de 600 GB, equipada com processadores Intel Xeon Platinum da série 8000, que fornecem uma frequência turbo sustentada de até 3,1 GHz em todos os núcleos. Essa instância é ideal para pré-processamento de dados de treinamento distribuído, especialmente com frameworks como Ray, para engenharia de atributos em grande escala e para execução de serviços de orquestração que exigem muita memória junto com a computação em GPU.
As instâncias G7e estão disponíveis nas regiões Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Ásia-Pacífico (Tóquio) e Oeste dos EUA (Oregon). A instância r5d.16xlarge está disponível em todas as regiões que oferecem o Amazon SageMaker HyperPod.