張貼日期: Sep 3, 2019

Amazon SageMaker 客戶現在可使用較小的 Amazon FSx for Lustre 檔案系統作為資料來源以訓練機器學習模型。今天之前,可建立的最小 FSx for Lustre 檔案系統是 3.6 TB。對於小於這個大小的訓練集,客戶現在可建立並使用最小可達 1.2 TB 的檔案系統。

Amazon FSx for Lustre 是處理 Amazon S3 資料的高效能檔案系統,已針對機器學習、分析和高效能運算等工作負載進行優化。

使用 FSx for Lustre,客戶可以加速 Amazon SageMaker 訓練任務。2019 年 8 月 27 日宣布支援 Amazon FSx for Lustre 之前,Amazon SageMaker 在使用檔案輸入模式時,要在訓練任務開始時以透明的方式從 Amazon S3 下載完整的訓練集到本機檔案儲存。現在有了 Amazon FSx for Lustre,客戶可省去最初的 Amazon S3 下載時間,加快檔案模式訓練任務的速度。與 Amazon S3 連結時,Amazon FSx for Lustre 檔案系統會在首次存取物件時從 Amazon S3 自動複製物件到檔案系統。使用相同的 Amazon FSx for Lustre 檔案系統還能重複使用相同資料集上執行的 Amazon SageMaker 訓練任務,無須重複下載通用的物件。支援較小的檔案系統之後,Amazon FSx for Lustre 現在可用在更多的機器學習工作負載。

較小的 Amazon FSx for Lustre 檔案系統現在可在以下 AWS 區域使用:美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、美國西部 (加利佛尼亞北部)、歐洲 (愛爾蘭)、歐洲 (法蘭克福) 和亞太區域 (東京)。如需有關區域可用性的詳細資料,請查看 AWS 區域表。 

請瀏覽文件了解詳細資訊,以及閱讀部落格文章了解如何使用該功能。