投稿日: Oct 22, 2019
本日より、Glue Spark ETL ジョブのジョブブックマークを以前のジョブ実行に巻き戻すことができます。AWS Glue は、ジョブの実行による状態情報を保存することで ETL ジョブの以前の実行中に処理されたデータを追跡します。この保持された状態情報はジョブのブックマークと呼ばれます。
以前は、ジョブブックマークをリセットすることしかできなかったため、後続のジョブ実行では、以前のジョブ実行で処理されたすべてのデータが再処理されていました。今回、ジョブのブックマークを以前のジョブ実行に巻き戻すことで、データのバックフィルシナリオをより適切にサポートできるようになりました。その結果、後続のジョブ実行ではブックマークされたジョブ実行からのデータだけが再処理されます。
この機能は、AWS GovCloud (米国東部) および AWS GovCloud (米国西部) を除いて、AWS Glue が利用可能なすべての AWS リージョンで利用できます。
この機能の詳細については、こちらのドキュメントをご覧ください。