投稿日: Jan 4, 2022
Amazon EMR on EKS はカスタムイメージ (EMR on EKS 上で Apache Spark アプリケーションを実行するために使用する Docker コンテナイメージをカスタマイズする機能) をサポートします。本日、EMR on EKS は、カスタム Docker コンテナイメージを検証するための自動化された一連のテストを実行するカスタムイメージ検証ツールをオープンソースとして提供しました。
カスタムイメージを使用すると、データエンジニアとデータサイエンティストは、自分のワークロードに固有で EMR の Spark ランタイムのデフォルトディストリビューションでは使用できないパッケージを単一のイミュータブルコンテナにインストールして設定できます。カスタムイメージのサポートによって、アプリケーションとその依存関係を含む Docker イメージを各ユースケースに作成できるようになりました。例えば、データエンジニア用にアプリケーションで必要な特定の Java バージョンと証明書を含むカスタムイメージを作成する一方で、データサイエンティスト用に独自のライブラリや特定の Python 依存関係などの別の依存関係を含む別のカスタムイメージを作成できます。データエンジニアとデータサイエンティストは、アプリケーション固有のカスタムイメージを EMR on EKS ジョブで使用できます。