Amazon EMR により、複数のステップを並行して実行し、実行ステップをキャンセルし、AWS Step Functions と統合することが可能に

投稿日: Nov 26, 2019

Amazon EMR は、複数の EMR ステップを同時に実行すること、実行ステップをキャンセルすること、および AWS Step Functions をサポートするようになりました。複数のステップを並行して実行することで、より高度なワークロードを実行し、クラスターリソースの利用を増やし、ワークロードを完了するためにかかる時間を削減することができます。一度に実行することができるステップの数を設定することが可能で、クラスターが起動するときでも、クラスターが起動した後でもいつでも設定することができます。ステップの実行をキャンセルできるほか、ステップを強制的にキャンセルする能力など、ステップの実行に対する制御性が高められています。複数のステップを並行して実行することも AWS Step Functions によりサポートされており、クラスターを作成およびスケールし、Step Functions のワークフローを使用してステップの実行を調整することが可能です。

ステップに従って、EMR クラスターに直接接続することなく ワークロードを Apache Spark、Apache Hive、Apache YARN、Presto などの EMR アプリケーションに送ることができます。EMR コンソールおよび API を使用して、ステップをクラスターに追加することができます。これまで、各ステップを完了させて次のステップを開始できるようにしなければ連続してステップを実行することはできず、すでに実行されているステップはキャンセルすることができませんでした。

複数のステップを並行して実行できますので、条件付きロジック、分岐など、より高度なワークフローを作成することが可能となっています。これらのワークフローの作成と管理を単純化するため、AWS Step Functions との新たな統合が実現しました。Step Functions は EMR ステップをサポートしていますので、クラスターの作成を調整し、クラスターリソースをプログラムでスケールし、ステップの実行、依存関係、および EMR を使用した例外の取り扱いを管理することが可能となっています。

今後数週間のうちに複数のステップを並行して実行すること、実行しているステップをキャンセルすることが EMR リリース 5.28.0 でサポートされ、アジアパシフィック (香港、ムンバイ、東京)、欧州 (フランクフルト、アイルランド、ストックホルム)、中東 (バーレーン)、南米 (サンパウロ)、米国東部 (バージニア北部)、米国西部 (北カリフォルニアおよびオレゴン) をはじめとするさまざまなリージョンで利用可能となります。

開始するには EMR ステップのドキュメントを見直し、ワンクリックサンプルプロジェクトを使って最初の Step Functions ワークフローをデプロイしてください。

詳細は以下をご確認ください。