投稿日: Oct 12, 2023
AWS Step Functions は Amazon EMR Serverless 向けに最適化された統合を発表しました。6 つの EMR Serverless API アクション (CreateApplication、StartApplication、StopApplication、DeleteApplication、StartJobRun、CancelJobRun) があるジョブ実行 (.sync) 統合パターンのサポートが追加されました。
EMR Serverless は Amazon EMR のサーバーレスオプションで、データアナリストやエンジニアが、Apache Spark や Apache Hive といったオープンソースのビッグデータ分析フレームワークを簡単に実行できます。その際、クラスターやサーバーを構成、管理、スケーリングする必要はありません。AWS Step Functions は、AWS サービスをスケーラブルで信頼性が高く回復力のあるアプリケーションコンポーネントに簡単に構成できるようにする、視覚的なワークフローサービスです。Step Functions の視覚的なオーサリングとオペレーターエクスペリエンスを利用して、回復力があり管理しやすい複数のステップからなる EMR データ処理パイプラインを作成できます。この新しい最適化された統合を使用すると、非同期ジョブが完了するまでモニタリングする複数の手順が取り除かれて単一の Step Functions の手順に置き換えられるので、このようなパイプラインを簡素化できます。
この EMR Serverless 向けに最適化された統合は、Amazon EMR Serverless が利用可能なすべての AWS リージョンで利用できます。
開始するには、新しい「EMR Serverelss Spark ジョブの実行」という AWS コンソール内の Step Functions 向けのサンプルプロジェクトを使用するか、または Step Functions のワークフロースタジオ を使用してワークフローを構築することができます。詳細については、AWS Step Functions のデベロッパーガイドおよびローンチブログを参照してください。