投稿日: Nov 4, 2022
Amazon EMR on EKS のジョブテンプレートの一般提供が開始されました。ジョブテンプレートを使用すると、Spark アプリケーションのパラメータを設定するためのテンプレートを作成し、保存できます。データパイプラインで設定のオーバーライドが再利用され実施されるため、これはアプリケーション間で設定の一貫性を確保するうえで役立ちます。
お客様が StartJobRun API を使用して Spark ベースのアプリケーションやデータパイプラインを実行するとき、EMR on EKS では、アプリケーションのパフォーマンスを最適化するために、Spark のデフォルトの設定が適用されます。ジョブテンプレートによって、データエンジニアが、再利用可能なテンプレートを、追加のカスタマイズが適用されるように定義し、エグゼキューターやドライバーのコンピューティング能力、IAM ロールなどのセキュリティやガバナンスのプロパティ、そして複数のアプリケーションとデータパイプラインで使用するカスタマイズされた Docker イメージを設定できるようになりました。また、テンプレートを使用して StartJobRun API を呼び出すとき、お客様が特定の設定値を実行し、オーバーライドを防ぐこともできます。ジョブテンプレートは、AWS Key Management Service (AWS KMS) に保存されたカスタマーマネージドマスターキーを使用して、必要に応じて暗号化できます。