작업 북마크가 활성화되어 있어도 AWS Glue ETL 작업이 데이터를 재처리하는 이유는 무엇입니까?
최종 업데이트 날짜: 2022년 11월 10일
AWS Glue 작업에 대한 작업 북마크를 활성화했지만 작업이 여전히 데이터를 재처리하고 있습니다.
해결 방법
작업 북마크가 활성화되어 있어도 ETL(추출, 변환 및 로드) 작업이 데이터를 재처리하는 몇 가지 일반적인 이유는 다음과 같습니다.
- 작업 책갈피가 있는 동시 작업이 여러 개 있고 최대 동시성이 1로 설정되어 있지 않습니다.
- job.init() 객체가 누락되었습니다.
- job.commit() 객체가 누락되었습니다.
- transformation_ctx 파라미터가 누락되었습니다.
- 테이블의 기본 키가 순처적으로 정렬되어 있지 않습니다(JDBC 연결만 해당).
- 마지막 작업을 실행한 후 소스 데이터가 수정되었습니다.
이러한 각 문제에 대한 자세한 내용은 오류: 작업 북마크가 활성화된 경우 작업이 데이터를 재처리하는 중을 참조하세요.