投稿日: Mar 29, 2021
AWS Step Functions が Amazon Elastic Kubernetes Service (Amazon EKS) の Amazon EMR と統合しました。これによって、Apache Spark ベースのジョブを分析パイプラインに簡単に統合できるようになりました。EMR on EKS 仮想クラスターの管理や、コードを記述せずにジョブを送信してジョブの状態を管理する手順を含むワークフローを構築できるようになりました。
Amazon EMR on EKS では、Step Functions により Amazon Athena、Amazon EMR、Amazon EKS などの Amazon サービスを使用して、耐障害性の高いサーバーレスワークフローを構築できます。EMR on EKS は、Amazon Elastic Kubernetes Service (Amazon EKS) で Apache Spark を実行できるようにする Amazon EMR の新しいデプロイオプションを提供します。同じ Amazon EKS クラスター上で他のタイプのアプリケーションとともに Amazon EMR ベースのアプリケーションを実行して、リソースの使用率を向上させ、複数の AWS アベイラビリティーゾーン全体でインフラストラクチャ管理を簡素化できます。
Amazon EMR on EKS に統合した Step Functions がサポートする 3 つのアクションは次の通りです。
1. createVirtualCluster：既存の AWS EKS 名前空間から AWS EMR on EKS 仮想クラスターを作成して登録し、完了するまで待機する。
2. deleteVirtualCluster（.sync）：AWS EMR on EKS 仮想クラスターを削除し、削除されるまで待機する。
3. startJobRun（.sync）： AWS EMR on EKS にジョブを送信し、ジョブが完了するまで待機する。
開始するには、AWS Step Functions のドキュメントにアクセスし、ブログ投稿をご覧ください。
EMR on EKS と統合された Step Functions は、通常、米国東部（オハイオおよび北バージニア）、EU 西部（アイルランド）、およびカナダ（中部）で利用できます。これは、Step Functions と EMR on EKS が数日中に利用可能になる他のすべてのコマーシャルリージョンで一般的に利用可能になります。リージョンと提供サービスの全リストについては、AWS リージョンを参照してください。
AWS Step Functions の詳細については、AWS Step Functions のページをご覧ください。Amazon EMR on EKS の詳細については、AWS EMR on EKS ページにアクセスしてください。