張貼日期: Nov 5, 2018

Amazon SageMaker 隨附的內建演算法,現在支援 CSV 格式資料集的管道模式這不但可將從 Amazon Simple Storage Service (S3) 串流資料到 SageMaker 的速度加快多達 40%,還能訓練機器學習 (ML) 模型。這項新的增強功能除了可將管道模式的效能優勢延伸到今年初推出的 protobuf recordIO 格式,還能延伸到 CSV 格式的訓練資料集。

Amazon SageMaker 支援兩種傳輸訓練資料的方式:檔案模式與管道模式。使用檔案模式時,訓練資料會先下載至連接到訓練執行個體的加密 EBS 磁碟區,然後再開始訓練模型。使用管道模式時,資料則是在執行過程中直接串流到訓練演算法。此種方法不僅可加快訓練任務,需要的磁碟空間也較少,還能降低在 Amazon SageMaker 上訓練 ML 模型的整體成本。

目前提供 Amazon SageMaker 的所有 AWS 區域都可使用 CSV 格式管道模式支援。 您可以在這篇部落格文章閱讀其他詳細資訊。