크롤러 실행이 완료될 때 AWS Glue 워크플로를 사용하여 작업을 자동으로 시작하려면 어떻게 해야 합니까?

최종 업데이트 날짜: 2020년 3월 13일

크롤러 실행이 완료될 때 AWS Glue 워크플로를 사용하여 작업을 자동으로 시작하려고 합니다. 어떻게 해야 합니까?

간략한 설명

크롤러 실행이 완료될 때 작업을 시작하려면 AWS Glue 워크플로와 두 개의 트리거(크롤러와 작업용 트리거 각 1개)를 생성합니다. 이 방법을 사용하려면 AWS Glue 콘솔의 워크플로 페이지에서 크롤러를 시작해야 합니다.

참고: AWS Lambda 함수와 Amazon CloudWatch Events 규칙을 사용하여 작업 실행을 자동화할 수도 있습니다. 이 옵션을 선택하면 Lambda 함수가 항상 켜져 있습니다. 시작 위치나 시기와 관계없이 크롤러를 모니터링합니다. 자세한 내용은 크롤러 실행이 완료될 때 Lambda 함수를 사용하여 AWS Glue 작업을 자동으로 시작하려면 어떻게 해야 합니까?를 참조하십시오.

​해결 방법

다음 단계를 수행하기 전에 다음이 있는지 확인해야 합니다.

  • AWS Glue ETL(추출, 변환 및 로드)작업
  • AWS Glue 크롤러
  • AWSGlueServiceRole 정책이 연결된 AWS Glue에 대한 AWS Identity and Access Management(IAM) 역할

워크플로 생성

  1. [AWS Glue console(AWS Glue 콘솔)]을 엽니다.
  2. 탐색 창에서 [Workflows(워크플로)]를 선택한 다음 [Add workflow(워크플로 추가)]를 선택합니다.
  3. 워크플로의 이름을 입력한 다음 [Add workflow(워크플로 추가)]를 선택합니다. 새 워크플로가 워크플로 페이지의 목록에 나타납니다.

크롤러에 대한 트리거 생성

  1. 워크플로 페이지에서 새 워크플로를 선택한 다음 [Graph(그래프)] 탭을 선택합니다.
  2. [Add trigger(트리거 추가)]를 선택한 다음 [Add new(새로 추가)] 탭을 선택합니다. [Trigger type(트리거 유형)]에서 [On demand(온디맨드)]를 선택합니다.
  3. [Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
  4. 그래프에서 [Add node(노드 추가)]를 선택합니다.
  5. [Crawlers(크롤러)] 탭에서 크롤러를 선택한 다음 [Add(추가)]를 선택합니다.

AWS Glue 작업에 대한 트리거 생성

  1. 그래프 위의 [Action(작업)] 메뉴에서 [Add trigger(트리거 추가)]를 선택합니다.
  2. [Add new(새로 추가)] 탭을 선택한 후 다음 옵션을 선택합니다. [Trigger type(트리거 유형)]에 [Event(이벤트)]를 선택합니다. [Trigger logic(트리거 로직)]에서 [Start after ALL watched event(시청한 모든 이벤트 다음에 시작)]를 선택합니다.
  3. [Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
  4. 그래프에서 방금 생성한 작업 트리거의 왼쪽에서 [Add node(노드 추가)]를 선택합니다.
  5. [Crawlers(크롤러)] 탭에서 크롤러를 선택한 다음 [Add(추가)]를 선택합니다. 그래프에 트리거가 나타납니다.
  6. 그래프에서 방금 생성한 작업 트리거의 오른쪽에서 [Add node(노드 추가)]를 선택합니다.
  7. [Jobs(작업)] 탭에서 크롤러 실행이 완료될 때 시작하려는 작업을 선택한 다음 [Add(추가)]를 선택합니다.

워크플로 테스트

  1. [Actions(작업)] 메뉴에서 [Add workflow(워크플로 추가)] 버튼 옆에 있는 [Run(실행)]을 선택합니다. [Last run status(마지막 실행 상태)] 열이 [Running(실행 중)으로 변경됩니다.
  2. [Graph(그래프)] 탭을 확인하여 워크플로의 상태를 확인합니다. 또는 해당 크롤러 또는 작업을 열어 실행 중인지 확인합니다.

이 문서가 도움이 되었습니까?

AWS에서 개선해야 할 부분이 있습니까?


도움이 필요하십니까?