Amazon SageMaker HyperPod 現在支援用於生成式 AI 任務的 NVIDIA 多執行個體 GPU (MIG)

張貼日期: 2025年11月24日

Amazon SageMaker HyperPod 現在支援 NVIDIA 多執行個體 GPU (MIG) 技術，使管理員得以將單一 GPU 分割成多個隔離式 GPU。此功能能夠讓管理員在 GPU 分割區上同時執行各種小型生成式 AI (GenAI) 任務，同時維持效能和任務隔離狀態，最大限度地提高資源使用率。

管理員可以選擇 SageMaker HyperPod 主控台上易於使用的組態設定，或是選擇自訂設定方法以啟用精細的硬體隔離資源，從而滿足不需要完整 GPU 容量的特定任務需求。他們還可以分配運算配額，以確保在團隊之間公平和有效率地分配 GPU 分割區。透過 GPU 分割區的即時效能指標和資源使用率監控儀表板，管理員能夠獲得用於最佳化資源配置所需的可見性。資料科學家現在能夠透過排程輕量的推論工作，並在 GPU 分割區上平行執行互動式筆記本，從而減少等待完整 GPU 可用性的時間，加速產品上市時間。

此功能目前在下列 AWS 區域適用於使用 EKS 協調器的 Amazon SageMaker HyperPod 叢集：美國西部 (奧勒岡)、美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、加拿大 (中部)、南美洲 (聖保羅)、歐洲 (斯德哥爾摩)、歐洲 (西班牙)、歐洲 (愛爾蘭)、歐洲 (法蘭克福)、歐洲 (倫敦)、亞太地區 (孟買)、亞太區域 (雅加達)、亞太區域 (墨爾本)、亞太地區 (東京)、亞太地區 (雪梨)、亞太地區 (首爾)、亞太地區 (新加坡)。

若要進一步了解，請前往 SageMaker HyperPod 網頁，並瀏覽 SageMaker HyperPod 文件。