為什麼我的 AWS Glue ETL 作業會重新處理資料,即使已啟用作業書籤?

1 分的閱讀內容
0

我為 AWS Glue 任務啟用了作業書籤,但作業仍在重新處理資料。

解決方法

以下是即使已啟用作業書籤,擷取、轉換和載入 (ETL) 作業也可能會重新處理資料的一些常見原因:

  • 您有多個具有作業書籤的並行作業,且最大並行未設定為 1。
  • job.init() 物件遺失。
  • job.commit() 物件遺失。
  • transformation_ctx 參數遺失。
  • 資料表的主索引鍵不是按順序排列(僅 JDBC 連線)。
  • 上次執行作業後,來源資料已修改。

如需這些問題的詳細資訊,請參閱錯誤: 啟用作業書籤後,作業正在重新處理資料。


相關資訊

使用作業書籤追蹤已處理的資料

AWS 官方
AWS 官方已更新 1 年前