投稿日: Jun 6, 2023
EKS での Amazon EMR が、既存の StartJobRun API に加えて、Apache Spark の新しいジョブ送信モデルとして Spark Operator と spark_submit のサポートを開始しました。本日のリリースにより、アプリケーションを変更することなく、EKS での Amazon EMR で任意の送信モデルを使用して Apache Spark ジョブを柔軟に送信できるようになりました。
本日のローンチ以前は、Apache Spark ジョブは AWS CLI と Kubernetes 用 AWS コントローラー (ACK) の使用を含む StartJobRun API を介してのみ送信が可能でした。既存の Apache Spark アプリケーションで Spark Operator と spark_submit を実行しているユーザーが EKS での Amazon EMR を使用するには、アプリケーションに変更を加える必要があります。この機能により、EKS での EMR でアプリケーションを変更せずに実行できるようになり、EMR Spark ランタイムのパフォーマンスと機能を活用し、使い慣れた spark-submit と Spark Operator を使用することで時間を節約できるようになりました。
この機能の詳細については、Spark Operator と spark_submit の開発ガイドと、AWS ビッグデータのブログ記事 Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit (Spark Operator と spark-submit による EKS での Amazon EMR ジョブ送信の紹介) をご覧ください。Spark Operator と spark-submit は、6.10 以降にリリースされた EKS での Amazon EMR でサポートされており、EKS での Amazon EMR を提供中のすべてのリージョンで利用可能です。