작업 북마크가 활성화되어 있어도 AWS Glue ETL 작업이 데이터를 재처리하는 이유는 무엇입니까?

최종 업데이트 날짜: 2021년 2월 16일

AWS Glue 작업에 대한 작업 북마크를 활성화했지만 작업이 여전히 데이터를 재처리하고 있습니다.

해결 방법

작업 북마크가 활성화되어 있어도 ETL(추출, 변환 및 로드) 작업이 데이터를 재처리하는 몇 가지 일반적인 이유는 다음과 같습니다.

  • 작업 책갈피가 있는 동시 작업이 여러 개 있고 최대 동시성이 1로 설정되어 있지 않습니다.
  • job.init() 객체가 누락되었습니다.
  • job.commit() 객체가 누락되었습니다.
  • transformation_ctx 파라미터가 누락되었습니다.
  • 테이블의 기본 키가 순처적으로 정렬되어 있지 않습니다(JDBC 연결만 해당).
  • 마지막 작업을 실행한 후 소스 데이터가 수정되었습니다.

이러한 각 문제에 대한 자세한 내용은 오류: 작업 북마크가 활성화된 경우 작업이 데이터를 재처리하는 중을 참조하세요.


이 문서가 도움이 되었나요?


결제 또는 기술 지원이 필요합니까?