为什么即使启用了作业书签,我的 AWS Glue ETL 作业也要重新处理数据?
上次更新日期:2022 年 11 月 10 日
我为 AWS Glue 作业启用了作业书签,但该作业仍在重新处理数据。
解决方法
以下是在启用作业书签后,提取、转换和加载 (ETL) 作业可能会重新处理数据的一些常见原因:
- 您有多个带有作业书签的并发作业,最大并发率未设置为 1。
- job.init() 对象缺失。
- job.commit() 对象缺失。
- formation_ctx 参数缺失。
- 表的主键未按顺序排列(仅限 JDBC 连接)。
- 上次作业运行后,源数据已被修改。
有关上述各个问题的详细信息,请参阅错误:启用作业书签后,作业在重新处理数据。