게시된 날짜: Jun 19, 2023
Spark 연산자와 spark-submit을 사용하여 EMR on EKS를 실행할 때 Volcano와 Apache Yunikorn을 작업 스케줄러로 추가할 수 있게 되었습니다. Amazon EMR on EKS를 사용하는 고객은 Amazon EKS에서 Apache Spark와 같은 오픈 소스 빅 데이터 프레임워크를 실행할 수 있습니다. Spark 작업에 사용자 지정 작업 스케줄러를 사용하면 용량을 세분화하여 관리하고 포드 프로비저닝을 대규모로 더 빠르게 수행할 수 있습니다.
기본 Kubernetes 스케줄러는 가용 용량, 리소스 요청 및 한도, 노드 선호도와 같은 제약 조건을 유지하면서 개별 포드의 배치를 처리합니다. 그러나 작업 기반의 스케줄링은 지원하지 않습니다. 이 새로운 기능을 사용하면 Apache Yunikorn과 Volcano를 사용하여 Spark 연산자 및 spark-submit으로 EMR on EKS Spark 작업을 예약할 수 있습니다. 고객은 이러한 스케줄러에서 갱 스케줄링, 대기열 관리, 선점, 페어-쉐어 스케줄링과 같은 기능을 활용할 수 있으므로 높은 스케줄링 처리량과 최적화된 용량을 제공하는 데 도움이 됩니다.