投稿日: Jun 19, 2023
Spark オペレーターと spark-submit を使用して EMR on EKS を実行する際、ジョブスケジューラーとして Volcano および Apache Yunikorn を使用できるようになりました。Amazon EMR on EKS は、Apache Spark などオープンソースのビッグデータフレームワークを Amazon EKS で実行できるようにするサービスです。Spark ジョブにカスタムジョブスケジューラーを使用すると、きめ細かな容量管理が可能になり、大規模なポッドのプロビジョニングを迅速に行うことができます。
デフォルトの Kubernetes スケジューラーは、利用可能な容量、リソースのリクエストと制限、ノードアフィニティなどの制約を管理しながら、個々のポッドの配置を処理します。ただし、ジョブに基づいたスケジューリングはサポートしていません。この新機能により、Apache Yunikorn と Volcano を使用して、Spark オペレーターおよび spark-submit による EMR on EKS での Spark ジョブをスケジュールできます。これらのスケジューラーでは、ギャングスケジューリングやキュー管理、プリエンプション、フェアシェアスケジューリングなどの機能を利用できるため、高いスケジューリングスループットと最適化された容量を実現できます。