게시된 날짜: Nov 4, 2022
Amazon EMR on EKS의 작업 템플릿 정식 출시 소식이 발표되었습니다. 작업 템플릿을 사용하면 Spark 애플리케이션 파라미터 구성을 위한 템플릿을 생성하고 저장할 수 있습니다. 그러면 데이터 파이프라인에서 구성 재정의를 재사용하고 적용함으로써 여러 애플리케이션에서 설정의 일관성을 유지할 수 있습니다.
고객이 StartJobRun API를 사용하여 Spark 기반 애플리케이션과 데이터 파이프라인을 실행할 때 EMR on EKS는 기본 Spark 설정을 적용하여 애플리케이션 성능을 최적화합니다. 데이터 엔지니어는 이제 작업 템플릿을 사용하여 재사용 가능한 템플릿을 정의해 추가 사용자 지정 사항을 적용함으로써 실행기와 드라이브 컴퓨팅 용량을 구성하고 IAM 역할 등의 보안 및 거버넌스 속성을 설정할 수 있습니다. 또한 여러 애플리케이션과 데이터 파이프라인에서 사용할 사용자 지정된 도커 이미지도 설정할 수 있습니다. 고객은 특정 구성 값을 적용할 수도 있으며, 그러면 템플릿을 사용해 StartJobRun API를 호출할 때 재정의를 방지할 수 있습니다. 필요한 경우 AWS Key Management Service에 저장된 고객 관리형 마스터 키를 사용하여 작업 템플릿을 암호화할 수 있습니다.