Amazon SageMaker AI 推論現在支援即時端點的 GPU 分割功能

張貼日期: 2026年10月30日

Amazon SageMaker AI 推論現在支援 GPU 分割功能，讓您可以在單一 GPU 上執行多個模型，而不必為每個模型專用整顆加速器。SageMaker AI 運用 NVIDIA Multi-Instance GPU (MIG) 技術，將一顆 GPU 分割成最多七個隔離的分割區，每個分割區各有自己的記憶體與運算資源。以往，提供小型及中型模型 (例如微調變體、嵌入模型、重新排序器和分類器) 的客戶，必須為每個模型配置整顆加速器，因此一個執行個體所能託管的模型數量不會超過其 GPU 數量，而且還需為模型永遠用不到的 GPU 容量付費。

透過 GPU 分割，您可以自行決定如何劃分端點後方的 GPU，並將每個模型放在大小合適的分割區上。如此一來，多個模型便可共用一顆加速器，並透過硬體強制隔離，讓忙碌的模型無法佔用相鄰模型的記憶體或輸送量。為工作負載選擇適切的加速器規模，還能讓您改用較新的執行個體世代；否則這些執行個體的容量會超出單一模型所需。您在建立託管推論元件的端點時設定 GPU 分割，之後仍可依名稱調用每個模型，因此應用程式程式碼無須變更。

GPU 分割功能適用於美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、亞太地區 (新加坡)、亞太地區 (東京)、歐洲 (法蘭克福) 及歐洲 (愛爾蘭) 的 P4d、P5、G7 及 G7e 執行個體。如需了解詳情，請造訪 Amazon SageMaker AI 部署頁面，並參閱 Amazon SageMaker AI 開發人員指南。