投稿日: Nov 19, 2019
AWS Step Functions は Amazon EMR と統合され、EMR ビッグデータ処理ワークフローの構築と監視が容易になりました。
AWS Step Functions は、Amazon EMR、Amazon SageMaker、AWS Lambda などの AWS サービスを利用し、回復力のあるワークフローを構築することを可能にします。Amazon EMR は、業界をリードするクラウドネイティブなビッグデータプラットフォームです。大規模環境で大量のデータを迅速かつコスト効率よく処理できます。Step Functions と Amazon EMR を使用すると、最小限の追加コードを記述しながら、ビッグデータワークフローを調整できます。
Amazon EMR と AWS Step Functions を使用すると、Amazon EMR ステップを注文し、依存関係を管理し、並行して作業を実行する効率的なデータ処理ワークフローを作成できるようになりました。ETL ワークフローの一部としてクラスターを積極的にスケールアップおよびスケールダウンし、手元のタスクに合わせてクラスターのサイズを適切に調整できます。また、例外の処理方法を選択し、失敗したジョブを再試行して、失敗をユーザーに警告することにより、データ処理ワークフローの回復力を向上させることもできます。
Amazon EMR サービスと AWS Step Functions Data Science SDK を統合することで、エンドツーエンドのデータサイエンスワークフローを構築できます。EMR サービスの統合は、AWS Step Functions と Amazon EMR の両方が利用可能なすべてのリージョンで利用できます。リージョンと提供サービスの全リストについては、AWS リージョンを参照してください。
開始するには、ドキュメントを確認し、Amazon EMR でデータ処理ワークフローを構築する方法を示すワンクリックサンプルプロジェクトをデプロイしてから、最初のデータ処理ワークフローの構築を開始します。
詳細は以下をご確認ください。
- AWS ニュースブログ記事を読む
- ワンクリックサンプルプロジェクトをデプロイし、AWS Step Functions と Amazon EMR を統合する
- Step Functions で Amazon EMR ジョブを管理する方法に関する記事をお読みください。この記事はAWS Step Functions 開発者ガイドに含まれています。