AWS Glue 작업을 시작하는 데 시간이 오래 걸립니다.

최종 업데이트 날짜: 2019년 9월 24일

AWS Glue 작업의 콜드 스타트를 방지하려면 어떻게 해야 합니까?

간략한 설명

ETL 작업을 제출하면 AWS Glue가 지정한 데이터 처리 단위(DPU) 수를 기반으로 리소스를 생성합니다. 이 리소스 프로비저닝 단계는 10~15분이 걸릴 수 있습니다. 리소스가 실행 중이면 AWS Glue가 ETL 스크립트를 실행합니다.

​해결 방법

작업을 실행한 후 AWS Glue는 리소스를 웜 풀에서 짧은 시간 동안 보존합니다. 즉, 첫 번째 작업 직후 다른 작업을 제출하면 두 번째 작업이 더 빨리 시작됩니다. 리소스 프로비저닝에 필요한 시간을 줄이려면 실제 작업 실행 전에 워밍 작업을 실행합니다. 기본 작업을 제출하면 리소스를 사용할 준비가 됩니다.

참고: 웜 풀의 리소스를 사용하려면 두 번째 작업에서 첫 번째 작업과 동일한 AWS 계정, AWS Identity and Access Management(IAM) 역할, 서브넷 및 보안 그룹을 사용해야 합니다.


이 문서가 도움이 되었습니까?

AWS에서 개선해야 할 부분이 있습니까?


도움이 필요하십니까?