投稿日: Dec 14, 2022
EKS での Amazon EMR で、Apache Spark 用 Nvidia RAPIDS Accelerator を使用するグラフィック処理ユニット (GPU) インスタンスタイプに対する高速コンピューティングがサポートされるようになりました。 分析への人工知能 (AI) と機械学習 (ML) の導入は増えており、GPU を使用してデータを迅速かつコスト効率よく処理する必要性が高まっています。Apache Spark 用 Nvidia RAPIDS Accelerator を利用することで、インフラストラクチャのコストを節約しながら GPU パフォーマンスのメリットを活用できます。今回のリリースにより、EKS で EMR を利用しているユーザーは、EKS API で EMR を呼び出す際に Spark-Rapids リリースラベルを指定するだけで RAPIDS Accelerator を使用できるようになりました。
これまでは、EKS の EMR を利用しているお客様が Nvidia RAPIDS Accelerator を使用するには、カスタムイメージを作成する必要がありました。これには、エンジニアリングとテストの取り組みが求められます。さらに、Nvidia RAPIDS の新しいリリースによってバグ修正やセキュリティ更新があるたびに、カスタムイメージを再構築してテストを再度実施する必要がありました。EMR 6.9 から、EKS での EMR では、Spark イメージ用の新しい Nvidia RAPIDS Accelerator を利用できます。同じ StartJobRun API を使用して Spark ジョブを実行でき、新しい Spark-Rapids リリースラベルを指定するだけで、GPU がサポートされるインスタンスタイプの EKS クラスターで RAPIDS Accelerator を活用できます。
この機能は、Amazon EMR リリース 6.9 から、EKS での Amazon EMR を使用できるすべてのリージョンで利用できます。Apache Spark 用 Nvidia RAPIDS Accelerator の実行方法の詳細については、ドキュメントページをご覧ください。