게시된 날짜: Jun 25, 2020
Amazon EMR은 이제 Amazon EMR 클러스터에서 스팟 인스턴스 프로비저닝에 대해 ‘용량 최적화’ 할당 전략을 제공합니다. ‘용량 최적화’ 할당 전략을 활용하면 스팟 인스턴스의 큰 할인 폭은 계속 누리면서 사용 가능한 예비 용량을 자동으로 최대한 효율적으로 사용할 수 있습니다. 용량 최적화 전략은 중단 횟수를 줄일 수 있도록 하여 워크로드의 전반적인 비용까지 낮출 수 있습니다.
용량 최적화 할당 전략은 실시간 용량 데이터를 사용하여 현재 실행 중인 인스턴스 수에 맞게 스팟 인스턴스 풀의 인스턴스를 최적의 용량으로 할당합니다. 이 할당 전략은 중단에 따른 비용이 높은 워크로드에 적합합니다. 실행 시간이 긴 작업과 Apache Spark, Apache Hive 및 Presto를 실행하는 멀티 테넌트 영구 클러스터를 예로 들 수 있습니다.
이 할당 전략 옵션은 또한 인스턴스 플릿 구성으로 클러스터를 생성할 때 태스크 노드당 최대 5개의 EC2 인스턴스 유형을 지정할 수 있게 합니다. 이 덕분에 스팟 요청을 다양화하여 큰 할인 폭을 실현할 수 있습니다.
Amazon EMR은 Amazon EMR 클러스터에서 Apache Spark 및 Apache Hadoop 애플리케이션을 실행하는 Amazon EC2 Spot 인스턴스의 정상 해제를 포함해, 몇 가지 기능 향상을 통해 고객에 대한 탄력성과 복원력을 개선했습니다. 데이터 손실을 방지하기 위해, Amazon EMR 스케일링을 사용하면 노드를 제거하기 전에 손실될 수 있는 Apache Hadoop 태스크 또는 고유한 데이터가 노드에서 실행되지 않습니다. Amazon EMR은 오픈 소스 Spark에 대한 사용자 지정 기능을 통해 노드 손실에 더 높은 복원력을 제공합니다. 이러한 사용자 지정에는 YARN의 해제 매커니즘 통합, Spark의 해제 메커니즘 확장 및 해제된 노드에 대한 작업 등이 있습니다.
인스턴스 플릿 구성 방법, Amazon EMR의 서비스 역할(EMR Role) 생성 방법 및 API 사양에 대한 자세한 내용은 설명서를 참조하십시오.
할당 전략에 대한 Amazon EMR 지원은 이제 Amazon EMR이 제공되는 모든 상용 AWS 리전에서 5.12.1 이상의 EMR 릴리스 버전에서 누구나 사용할 수 있습니다. 다음은 Amazon EMR의 전체 리전별 가용성에 대한 링크입니다.