投稿日: Nov 18, 2022
Amazon EMR on Elastic Kubernetes Service (EKS) 用 の ACK コントローラーの一般提供が開始されました。EMR on EKS 用 ACK コントローラーを使用すると、仮想クラスターやジョブ実行といった EMR on EKS リソースを、Kubernetes カスタムリソースとして宣言的に定義し管理することができます。それにより、こうしたリソースを「kubectl」のような Kubernetes ネイティブのツールを使って、直接管理できるようになります。
EMR on EKS は、オープンソースのビッグデータフレームワークを EKS クラスターで実行することを可能にする EMR のデプロイオプションです。分析ワークロードを Kubernetes ベースのアプリケーションと、同じ Amazon EKS クラスター上で統合させれば、リソース利用の改善につながり、インフラストラクチャの管理やツールを簡素化できます。ACK は Kubernetes カスタムリソース定義 (CRD) とカスタムコントローラーの集合で、これらが連携して、ユーザーに代わって Kubernetes API を拡張し、AWS リソースを管理します。
EMR on EKS 用の ACK コントローラーは、現行の EMR および EKS バージョンと互換性があります。使用を開始するにはこちらのチュートリアルをご覧ください。数分で Spark ジョブを実行できます。また、EMR on EKS 用の ACK コントローラーを使用している Apache Spark ジョブを、Argo Workflows を使ってオーケストレーションする方法について解説したブログも併せてご覧ください。