Amazon SageMaker HyperPod 現在支援 G7e 和 r5d.16xlarge 執行個體

張貼日期: 2026年4月27日

Amazon SageMaker HyperPod 現在支援 G7e 和 r5d.16xlarge 執行個體。SageMaker HyperPod 是專門建置的基礎架構，可用於大規模開發、訓練和部署基礎模型。該服務可提供一種彈性和效能表現良好的環境，具備內建的容錯能力、自動化叢集還原和最佳化的分散式訓練程式庫，從而減少千篇一律又繁重的大規模 AI/ML 基礎架構管理工作。 

G7e 執行個體採用 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 技術，與 G6e 執行個體相比，能夠提供高達 2.3 倍的推論效能，可讓您在每秒處理更多請求的同時降低延遲。G7e 執行個體擁有高達 768 GB 的總 GPU 記憶體，使您得以部署更大型的語言模型，或在單一端點上執行多個模型。您能夠使用這些執行個體來部署 LLM、代理式 AI、多模態生成式 AI 和實體 AI 模型。G7e 執行個體也非常適合用於具成本效益的單節點 NLP 微調或訓練、電腦視覺和較小型的生成式 AI 模型，與 G6e 相比，TFLOP 高達 1.27 倍，且 GPU 之間的頻寬高達 4 倍。此外，HyperPod 現在還支援 r5d.16xlarge。r5d.16xlarge 執行個體提供 64 個 vCPU、512 GB 記憶體和 5 x 600 GB NVMe SSD 執行個體儲存空間，採用 Intel Xeon Platinum 8000 系列處理器，具備高達 3.1 GHz 的持續性全核心 Turbo 頻率。此執行個體非常適合用於分散式訓練的資料預先處理，尤其是 Ray 等架構、大規模特徵工程，以及在執行記憶體需求較高的協調服務與 GPU 運算時使用。

G7e 執行個體適用於美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、亞太地區 (東京) 和美國西部 (奧勒岡)，而 r5d.16xlarge 適用於提供 Amazon SageMaker HyperPod 的所有區域。