Amazon SageMaker HyperPod 可加快開放式權重模型的部署速度

張貼日期: 2025年7月10日

Amazon SageMaker HyperPod 現在支援將來自 Amazon SageMaker JumpStart 的開放式權重基礎模型，以及將您自有的、來自 Amazon S3 和 Amazon FSx 的經微調模型，直接部署到 Amazon SageMaker HyperPod。這可讓您在相同的 HyperPod 運算資源上順暢地訓練、微調和部署模型，從而在整個模型生命週期中最大限度地提高資源使用率

只需短短幾個步驟，您就可以選擇來自 SageMaker JumpStart 的開放式權重基礎模型，並快速地將其部署到您的 SageMaker HyperPod 叢集上。SageMaker 會自動佈建基礎設施、在您的叢集上部署該模型、啟用自動擴展，並設定 SageMaker 端點。隨著模型端點上的流量發生變化，SageMaker 會透過 HyperPod 任務治理功能將運算資源向上擴展和縮減規模，並自動將指標發佈到 HyperPod 可觀測性儀表板，以讓您完整了解模型的效能。

您可以在有提供 HyperPod 的所有 AWS 區域中部署來自 SageMaker JumpStart 的模型：美國東部 (維吉尼亞北部)、美國西部 (加利佛尼亞北部)、美國西部 (奧勒岡)、亞太地區 (孟買)、亞太地區 (新加坡)、亞太地區 (雪梨) 和亞太地區 (東京)、歐洲 (法蘭克福)、歐洲 (愛爾蘭)、歐洲 (倫敦)、歐洲 (斯德哥爾摩) 和南美洲 (聖保羅)。

若要進一步了解，請瀏覽 SageMaker HyperPod 網頁、部落格和文件。