張貼日期: Jan 24, 2019

Amazon SageMaker 批次轉換現在支援使用 TFRecord 格式做為支援的 SplitType,以便使用 TFRecord 邊界來分割資料集。這項發布增加了支援的格式,包括 RecordIO、CSV 和 Text。

Amazon SageMaker 是一項全受管服務,可讓所有開發人員和資料科學家快速輕鬆地建立、訓練及部署機器學習模型。批次轉換是 SageMaker 的一項主要功能,可讓您在批次資料執行預測。

TFRecord 是標準 TensorFlow 資料格式。這是記錄導向的二進位檔案格式,可有效率地執行大型資料集的儲存和處理。有了這個增強功能,現在可以很輕鬆地存放一系列二進位記錄,而且在使用 SageMaker 批次轉換處理大型資料集時也很實用。要在執行批次轉換任務時使用 TFRecord,只要選擇 TFRecord 做為 SplitType,就能使用 TFRecord 邊界分割資料集。此外,您可以將 BatchStrategy 指定為 MultiRecord,批次處理單一請求的多個記錄。

提供 Amazon SageMaker 的所有 AWS 區域現在都已正式推出 TFRecord 支援。要進一步了解,請參閱文件範本範例