게시된 날짜: Jun 6, 2023
Amazon EMR on EKS가 이제 기존 StartJobRun API 외에도 Spark Operator 및 spark-submit을 Apache Spark의 새로운 작업 제출 모델로 지원한다는 소식이 발표되었습니다. 오늘 출시로 이제 애플리케이션을 변경할 필요 없이 Amazon EMR on EKS에서 선호하는 제출 모델을 통해 Apache Spark 작업을 유연하게 제출할 수 있습니다.
지금까지는 AWS CLI 및 AWS Controllers for Kubernetes(ACK)를 비롯하여 StartJobRun API를 통해서만 Apache Spark 작업을 제출할 수 있었습니다. Spark Operator 또는 spark-submit을 실행하는 기존 Apache Spark 애플리케이션을 사용하는 고객은 Amazon EMR on EKS를 사용하려면 애플리케이션을 변경해야 합니다. 그러나 이 기능을 사용하면 이제 애플리케이션을 변경하지 않고 EMR on EKS에서 애플리케이션을 실행하고, EMR Spark 런타임 성능 및 기능을 활용하고, 이미 익숙한 spark-submit 및 Spark Operator를 사용하여 시간을 절약할 수 있습니다.
이 기능에 대해 자세히 알아보려면 spark operator 및 spark-submit에 대한 개발 안내서와 AWS 빅 데이터 블로그 게시물: Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit을 참조하세요. Spark Operator 및 spark-submit은 Amazon EMR on EKS 6.10 이상에서 지원되며 Amazon EMR on EKS가 현재 제공되는 리전에서 사용할 수 있습니다.