크롤러 실행이 완료될 때 AWS Glue 워크플로를 사용하여 작업을 자동으로 시작하려면 어떻게 해야 합니까?

2분 분량

크롤러 실행이 완료될 때 AWS Glue 워크플로를 사용하여 작업을 자동으로 시작하려고 합니다.

간략한 설명

크롤러 실행이 완료될 때 작업을 시작하려면 AWS Glue 워크플로와 두 개의 트리거(크롤러와 작업용 트리거 각 1개)를 생성합니다. 이 방법을 사용하려면 AWS Glue 콘솔의 워크플로 페이지에서 크롤러를 시작해야 합니다.

참고: AWS Lambda 함수와 Amazon EventBridge 규칙을 사용하여 작업 실행을 자동화할 수도 있습니다. 이 옵션을 선택하면 Lambda 함수가 항상 켜져 있습니다. 이 함수는 기능 시작 위치나 시기와 관계없이 크롤러를 모니터링합니다. 자세한 내용은 크롤러 실행이 완료될 때 Lambda 함수를 사용하여 AWS Glue 작업을 자동으로 시작하려면 어떻게 해야 합니까?를 참조하십시오.

다음 단계를 수행하기 전에 다음이 있는지 확인해야 합니다.

AWS Glue 추출, 변환 및 로드(ETL) 작업
AWS Glue 크롤러
AWSGlueServiceRole 정책이 연결된 AWS Glue에 대한 AWS Identity and Access Management(IAM) 역할

AWS Glue 콘솔을 엽니다.
탐색 창에서 [Workflows(워크플로)]를 선택한 다음 [Add workflow(워크플로 추가)]를 선택합니다.
워크플로의 이름을 입력한 다음 [Add workflow(워크플로 추가)]를 선택합니다. 새 워크플로가 워크플로 페이지의 목록에 나타납니다.

워크플로 페이지에서 새 워크플로를 선택한 다음 [Graph(그래프)] 탭을 선택합니다.
[Add trigger(트리거 추가)]를 선택한 다음 [Add new(새로 추가)] 탭을 선택합니다. [Trigger type(트리거 유형)]에서 [On demand(온디맨드)]를 선택합니다.
[Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
그래프에서 [Add node(노드 추가)]를 선택합니다.
[Crawlers(크롤러)] 탭에서 크롤러를 선택한 다음 [Add(추가)]를 선택합니다.

그래프 위의 작업(Action) 메뉴에서 트리거 추가(Add **trigger)**를 선택합니다.
새로 추가(Add new) 탭을 선택한 후 다음 옵션을 선택합니다. **트리거 유형(Trigger type)**에 **이벤트(Event)**를 선택합니다. **트리거 로직(Trigger logic)**에서 **시청한 모든 이벤트 다음에 시작(Start after ALL watched event)**을 선택합니다.
[Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
그래프에서 방금 생성한 작업 트리거의 왼쪽에서 [Add node(노드 추가)]를 선택합니다.
[Crawlers(크롤러)] 탭에서 크롤러를 선택한 다음 [Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
그래프에서 방금 생성한 작업 트리거의 오른쪽에서 [Add node(노드 추가)]를 선택합니다.
[Jobs(작업)] 탭에서 크롤러 실행이 완료될 때 시작하려는 작업을 선택한 다음 [Add(추가)]를 선택합니다.

[Actions(작업)] 메뉴에서 [Add workflow(워크플로 추가)] 버튼 옆에 있는 [Run(실행)]을 선택합니다. [마지막 실행 상태(Last run status)] 열이 [**실행 중(Running)**으로 변경됩니다.
[Graph(그래프)] 탭을 확인하여 워크플로의 상태를 확인합니다. 또는 해당 크롤러 또는 작업을 열어 실행 중인지 확인합니다.