投稿日: Apr 19, 2024
本日、お客様は StartJobRun API、Spark 演算子、Spark Submit、およびインタラクティブエンドポイントの使用に加えて、Apache Livy を使って EKS での Amazon EMR に Apache Spark ジョブを送信できるようになりました。今回のリリースにより、お客様は REST インターフェイスを使用して Spark ジョブや Spark コードのスニペットを簡単に送信し、結果を同期または非同期で取得できるようになります。なお、EMR に最適化された Spark ランタイム、SSL で保護された Livy エンドポイント、プログラムによるセットアップエクスペリエンスなどの EKS での Amazon EMR の利点はすべて引き続き利用できます。
Apache Livy は、REST インターフェイスを介して Spark クラスターと簡単にやり取りできるようにするサービスです。本日のリリース前は、REST インターフェイスを介してローカル環境からバッチワークロードまたはインタラクティブワークロードを実行する場合、お客様は StartJobRun API またはインタラクティブエンドポイントのいずれかを使用する必要がありました。その結果、お客様はアプリケーションの変更が必要でした。本日のリリースにより、お客様が Livy エンドポイントを簡単に作成し、そのエンドポイントを使用して、REST インターフェイスを介して EKS クラスターでの Amazon EMR に Apache Spark ジョブを送信できるエクスペリエンスが簡素化されました。さらに、セキュリティを強化するために、お客様は Kerberos、Custom Auth などのサポートされているプロトコルのいずれかを介して認証を設定することで、Livy エンドポイントへのアクセスを制限することもできます。