Amazon EMR Managed Scaling, 이제 Application Master 배치 인식
오늘, Yarn 노드 레이블에 대한 지원을 추가하여 애플리케이션 복원력을 개선하고 실행자 및 ApplicationMasters 수요에 따라 클러스터를 확장하는 EMR Managed Scaling의 새로운 개선 사항이 발표되었습니다. 기본적으로 Amazon EMR은 실행 중인 작업을 제어하고 작업 수명 동안 활성 상태를 유지해야 하는 프로세스(ApplicationMasters)가 코어 노드와 태스크 노드 모두에서 실행될 수 있도록 합니다. 그러나 특히 스팟 인스턴스를 사용하여 태스크 노드를 실행하는 많은 고객은 스팟 인스턴스에서 실행되는 애플리케이션 마스터가 중단되더라도 실행 중인 작업이 실패하지 않도록 하기 위해 온디맨드 코어 노드에서만 ApplicationMasters를 실행하도록 선택합니다. 오늘 출시와 함께 EMR Managed Scaling은 이제 YARN 노드 레이블에 정의된 개별 AM 또는 실행자 요청에 대한 수요를 기반으로 클러스터를 확장합니다. AM 또는 실행자의 요구에 따라 클러스터를 지능적으로 확장하면 성능과 사용률이 향상되고 비용이 절감됩니다.
오늘 출시의 일환으로, EMR 릴리스 7.2 이상에서는 Amazon EMR에서 시장 유형별(온디맨드, 스팟 등)로 애플리케이션 수준의 YARN 노드 레이블 표현식을 지정할 수 있습니다. 지금까지는 고객이 노드 유형 수준별(코어, 태스크 등)로만 YARN 노드 레이블 표현식을 지정할 수 있었습니다. 이제 이 새로운 개선 사항으로 고객은 클러스터 워크로드의 요구 사항을 더 잘 충족할 수 있는 유연성을 갖추게 됩니다.
이 기능은 Amazon EMR Managed Scaling이 제공되는 모든 AWS 리전의 Amazon EMR 릴리스 7.2 이상에서 사용할 수 있습니다. 자세한 내용은 Managed Scaling 설명서를 참조하세요.