Amazon EMR クラスターでブートストラップアクションまたはステップを実行するユースケースとしては、それぞれどのようなケースがありますか?

Amazon EMR クラスターでの作業を完了するために、ブートストラップアクションAmazon EMR ステップの両方が使用されます。両者の違いは、クラスターのライフサイクルの中でいつどこで実行されるかと、実行される作業の種類です。

ブートストラップアクション

クラスターライフサイクルについて」に記されているように、ブートストラップアクションは、Amazon EMR クラスターが STARTING 状態から BOOTSTRAPPING 状態へ移行した後、最初に実行されるアクションです。ブートストラップアクションは、すべてのクラスターノードに対して実行されるアクションであり、デフォルトでは Hadoop ユーザーとして実行されるスクリプトですが、ルートユーザーとして sudo コマンドで実行することもできます。コンソール、AWS コマンドラインインターフェース (AWS CLI)、または API から複数のブートストラップアクションパラメーターを指定すると、クラスターごとに最大 16 個のブートストラップアクションを指定できます。

ブートストラップアクションを使用すると、クラスターに追加のソフトウェアをインストールしたり、instance.json または job-flow.json ファイル内のインスタンス固有の値に応じて、条件付きでコマンドを実行するように設定したりできます。ブートストラップアクションは、Hadoop や Spark などのコア サービスがインストールされる前に実行されるため、ブートストラップアクションが失敗した場合、クラスターは起動しません。

注意: Amazon EMR の AMI バージョン 2.x および 3.x の場合、ブートストラップアクションは、Hadoop や Spark などのコア サービスがインストールされた後で実行されます。Amazon EMR AMI バージョン 2.x および 3.x 用の事前定義済みのブートストラップアクションのほとんどは、Amazon EMR リリース 4.x ではサポートされません。詳細については、「Create Bootstrap Actions to Install Additional Software」を参照してください。

ステップ

ステップは、Amazon EMR クラスターのマスターノードでのみ実行される 1 つ以上の Hadoop ジョブを含む、独立した作業単位です。ブートストラップアクションが失敗した場合、クラスターは起動しないため、ステップは、必ずブートストラップアクションの後で開始する必要があります。通常、ステップはデータを転送または処理するために使用されます。クラスターへ作業を送信するステップもあれば、送信されたデータを処理し、処理したデータを特定の場所に送信するステップもあります。ステップは、作業を連続的に完了します。詳細については、「ステップの実行によるデータの処理」の図を参照してください。ステップを設定するときに、ステップが失敗した後の処理を選んでおくことができるため、耐障害性の方策として利用できます。ステップの作成の詳細については、「AWS CLI およびコンソールを使用したステップでの作業」を参照してください。


このページは役に立ちましたか? はい | いいえ

AWS サポート ナレッジ センターに戻る

サポートが必要ですか? AWS サポートセンターをご覧ください。

公開日: 2016 年 10 月 28 日

更新: 2018 年 09 月 07 日