Amazon SageMaker 筆記本執行個體現已支援以 Trainium1 和 Inferentia 2 為基礎的執行個體

張貼日期: 2024年11月15日

我們很高興在 SageMaker 筆記本執行個體上正式推出以 Trainium1 和 Inferentia2 為基礎的 EC2 執行個體。

採用 AWS Trainium 晶片技術的 Amazon EC2 Trn1 執行個體，以及採用 AWS Inferentia 晶片技術的 Inf2 執行個體，均是專為高效能深度學習訓練而打造，與同類 Amazon EC2 執行個體相比，可節省高達 50% 的訓練成本。與同類 Amazon EC2 執行個體相比，Trn1 執行個體在訓練 100B+ 參數生成式 AI 模型如大型語言模型 (LLM) 和潛在擴散方面，可節省更多成本。Inf2 執行個體提供適用於生成式 AI 的低成本、高效能推論，其中包括 LLM 和視覺轉換器。您可以在各種應用情境中使用 Trn1 和 Inf2 執行個體，例如文字摘要、程式碼產生、問題解答、影像和影片產生、建議，以及詐騙偵測。

適用於 SageMaker 筆記本執行個體的 Amazon EC2 Trn1 執行個體現已在 AWS 美國東部 (維吉尼亞北部和俄亥俄) 和美國西部 (奧勒岡) 區域提供。適用於 SageMaker NBI 的 Amazon EC2 Trn1n 執行個體現已在 AWS 美國東部 (維吉尼亞北部和俄亥俄) 提供。適用於 SageMaker NBI 的 Amazon EC2 Inf2 執行個體現已在 AWS 美國西部 (奧勒岡)、AWS 美國東部 (維吉尼亞北部和俄亥俄)、AWS 歐洲 (愛爾蘭)、AWS 歐洲 (法蘭克福)、AWS 亞太地區 (東京)、AWS 亞太地區 (雪梨)、AWS 亞太地區 (孟買)、AWS 歐洲 (倫敦)、AWS 亞太地區 (新加坡)、AWS 歐洲 (斯德哥爾摩)、AWS 歐洲 (巴黎) 和 AWS 南美洲 (聖保羅) 提供。

如需有關設定和使用 SageMaker 筆記本執行個體的說明，請參閱開發人員指南。