Amazon SageMaker AI 宣佈推出適用於推論作業的 P5e 和 G6e 執行個體

張貼日期: 2024年12月11日

我們很高興宣佈 Amazon SageMaker 上的推論最佳化 G6e 執行個體 (採用 NVIDIA L40S Tensor Core GPU 技術) 和 P5e 執行個體 (採用 NVIDIA H200 Tensor Core GPU 技術) 正式上市。

ml.p5e.48xlarge 執行個體搭載 8 顆 NVIDIA H200 GPU (總共提供 1128 GB 的高頻寬 GPU 記憶體)、30 TB 本機 NVMe SSD 儲存裝置、192 顆 vCPU 和 2 TiB 的系統記憶體，能夠提供卓越的效能，適用於運算密集型 AI 推論工作負載，例如具有 1000 億以上參數的大型語言模型、多模態基礎模型、合成資料生成和複雜的生成式 AI 應用程式 (包括問題解答、程式碼生成、影片和影像生成)。

ml.g6e 執行個體搭載 8 顆 NVIDIA L40S Tensor Core GPU (每個 GPU 具備 48 GB 記憶體) 和第三代 AMD EPYC 處理器，與 ml.g5 執行個體相比，可提供高達 2.5 倍的效能。客戶能夠使用 ml.g6e 執行個體，針對具備多達 130 億個參數的大型語言模型 (LLM) 執行 AI 推論和擴散模型，以生成影像、影片和音訊。

ml.p5e 和 ml.g6e 執行個體現在正式適用於美國東部 (俄亥俄) 和美國西部 (奧勒岡) 區域的 SageMaker。若要開始使用，您只需要透過 AWS Service Quotas 請求提高限制即可。如需這些執行個體的定價資訊，請瀏覽我們的定價頁面。如需使用 SageMaker 部署模型的詳細資訊，請參閱此處的概述，以及此處的文件。若要進一步了解這些執行個體的更多資訊，請瀏覽 P5e 和 G6e 產品頁面。