投稿日: Apr 7, 2023
EMR on EKS で Apache Spark with Java 11 のサポートを開始したことを発表いたします。Amazon EMR on EKS は、Amazon EKS 上で Apache Spark などのオープンソースのビッグデータフレームワークを実行するためのサービスです。AWS のユーザーは、サポートされている Java ランタイムとして Java 11 を活用して Amazon EMR on EKS で Spark ワークロードを実行できるようになりました。
これまで、Amazon EMR on EKS ではデフォルトの Java ランタイムとして Java 8 を使用して Spark を実行していました。Spark を Java 11 で実行するには、カスタムイメージを作成し、デフォルトの Java 8 を置き換える Java 11 ランタイムをインストールする必要があります。そのため、初めて Amazon EMR on EKS の使用を開始したときや、新しいリリースバージョンにアップグレードしたときに、追加のエンジニアリング作業が必要でした。この新機能により、Amazon EMR on EKS は、新しいリリースラベルを渡すだけで Java 11 ランタイムで Spark を起動できるようになりました。
この機能の詳細については、こちらのリリースドキュメントをご覧ください。Spark with Java 11 は、6.10 以降にリリースされた Amazon EMR on EKS でサポートされており、Amazon EMR on EKS を提供中のすべてのリージョンで利用可能です。