ジョブブックマークが有効になっている場合でも、AWS Glue ETL ジョブがデータを再処理するのはなぜですか?

所要時間1分
0

AWS Glue ジョブのジョブブックマークを有効にしましたが、ジョブはまだデータを再処理しています。

解決方法

ジョブブックマークが有効になっていても、抽出、変換、ロード (ETL) ジョブがデータを再処理する一般的な理由を次に示します。

  • ジョブブックマークを持つ複数の同時ジョブがあり、最大同時実行数は 1 に設定されていない。
  • job.init() オブジェクトが見つからない。
  • job.commit() オブジェクトが見つからない。
  • transformation_ctx パラメータが見つからない。
  • テーブルのプライマリキーが順番に並べられていない (JDBC 接続のみ)。
  • 前回のジョブ実行後にソースデータが変更された。

これらの各問題の詳細については、「エラー: ジョブのブックマークが有効なときにジョブがデータを再処理しています」をご参照ください。


関連情報

ジョブブックマークを使用して処理されたデータの追跡

AWS公式
AWS公式更新しました 1年前