게시된 날짜: Nov 26, 2019
Amazon EMR에서는 이제 여러 EMR 단계를 동시에 실행하고 실행 중인 단계를 취소하는 기능 및 AWS Step Functions를 지원합니다. 단계를 병렬로 실행하면 고급 워크로드를 실행하고, 클러스터 리소스 사용률을 높이고, 워크로드를 완료하는 데 소요되는 시간을 줄일 수 있습니다. 한 번에 실행할 수 있는 단계 수는 구성 가능하며 클러스터를 시작할 때 및 클러스터를 시작한 이후 언제든 설정할 수 있습니다. 실행 중인 단계를 취소할 수 있는 기능이 지원되므로 이제 단계를 강제로 취소하는 것을 포함하여 단계 실행을 보다 효과적으로 제어할 수 있습니다. AWS Step Functions에 대해서도 단계 병렬 실행이 지원되므로 클러스터를 생성 및 확장하고 Step Functions 워크플로를 사용하여 단계 실행을 조정할 수 있습니다.
단계를 사용하면 EMR 클러스터에 직접 연결할 필요 없이 Apache Spark, Apache Hive, Apache YARN 및 Presto 같은 EMR 애플리케이션에 워크로드를 제출할 수 있습니다. EMR 콘솔 및 API를 사용하여 단계를 클러스터에 추가할 수 있습니다. 지금까지는 단계가 순차적으로 실행되었습니다. 즉, 각 단계가 완료되어야 다음 단계가 시작될 수 있고 실행 중인 단계는 취소할 수 없었습니다.
이제는 단계를 병렬로 실행할 수 있기 때문에 조건부 논리 및 분기가 포함된 고급 워크플로를 더 많이 생성할 수 있습니다. 이러한 워크플로의 생성 및 관리를 간소화할 수 있도록 AWS Step Functions와의 통합이 새롭게 도입되었습니다. Step Functions는 이제 EMR 단계를 지원하므로 클러스터 생성을 조정하고, 클러스터 리소스를 프로그래밍 방식으로 확장하고, EMR을 사용하여 단계 실행, 종속성 및 예외 처리를 관리할 수 있습니다.
단계를 병렬로 실행하고 실행 중인 단계를 취소하는 기능은 EMR 릴리스 5.28.0에서 지원되며 아시아 태평양(홍콩, 뭄바이, 도쿄), EU(프랑크푸르트, 아일랜드, 스톡홀름), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부) 및 미국 서부(캘리포니아 북부, 오레곤)에서 사용할 수 있으며 앞으로 몇 주에 걸쳐 더 많은 리전에서 지원할 예정입니다.
시작하려면 EMR 단계 설명서를 검토하고 원클릭 샘플 프로젝트를 사용하여 첫 번째 Step Functions 워크플로를 배포하십시오.
자세한 내용은 다음을 참조하십시오.
- AWS 뉴스 블로그 게시물 참조
- AWS Step Functions와 Amazon EMR 간의 통합을 위해 원클릭 샘플 프로젝트 배포
- AWS Step Functions 개발자 안내서의 Managing Amazon EMR jobs with Step Functions(Step Functions를 통해 Amazon EMR 작업 관리 참조
- CLI 및 콘솔을 사용하여 단계 작업 참조