1.2 - 右上から、Aurora EMR クラスターを起動するリージョンを選択します。

1.3 - Amazon EMR ウィンドウで [create cluster] をクリックします。

1.4 - [create cluster] ウィンドウで [go to advanced options] をクリックします。

2.2 - 必要に応じて、AWS Glue データカタログに接続するために必要な設定情報と、クラスターのソフトウェアを設定するときに使用する設定ファイルの情報を入力します。

[複数のマスターノードを使用してクラスターの可用性を向上させる] オプションは、インスタンスフリートと互換性がないため、無効のままにします。これは、次の手順で設定します。

2.3 - オプションで、プロビジョニング後にクラスターに実行させたいステップを設定するか、このステップをスキップしてクラスターの起動を簡単に行います。

Amazon EMR ステップを使用して、EMR クラスターにインストールされている Spark フレームワークに作業内容を送信できます。詳細については、Amazon EMR 管理ガイドの「手順」を参照してください。コンソールと CLI では、Spark アプリケーションのステップを用いてこれを行います。これにより、spark-submit スクリプトをユーザーの代わりにステップとして実行します。API では、ステップを用いて、command-runner.jar で spark-submit を呼び出します。

2.4 - ソフトウェア設定を簡単に確認すると、次のステップに進み、クラスターハードウェアを設定する準備が整います。

[次へ] をクリックして続行します。

3.2 - Amazon EMR クラスターをデプロイする VPC と 1 つ以上のサブネットを選択します。

複数のアベイラビリティーゾーンを選択することをお勧めします。クラスターは引き続き 1 つのアベイラビリティーゾーンにデプロイされますが、複数のアベイラビリティーゾーンを選択すると、Amazon EMR は選択したすべてのアベイラビリティーゾーンを調べて、クラスターを実行するための EC2 スポットキャパシティーが最も多いアベイラビリティーゾーンにクラスターをデプロイできます。

3.3 - 必要に応じてルートデバイスの EBS ボリュームサイズを設定するか、デフォルトのままにして続行します。

3.4 - [タスクインスタンスフリート] セクションまでスクロールし、[インスタンスタイプをフリートに追加/削除] を選択します。

インスタンスフリートでは、フリートごとに最大 5 つのインスタンスタイプを指定できるため、Amazon EMR は利用可能な EC2 スポットキャパシティーの複数のプールから容量をプロビジョニングできます。

非常に一時的なワークロードを起動する場合を除き、マスターノードとコアノードにはオンデマンドインスタンスを使用することをお勧めします。

Amazon EMR で EC2 スポットインスタンスを使用するための一般的なユースケースと推奨事項を確認するには、こちらをご覧ください。

3.5 - タスクノードインスタンスフリートで使用するインスタンスタイプを最大 5 つ選択します。複数のインスタンスファミリー間で、vcpu とメモリの比率が似ているインスタンスタイプを検討する必要があります。

Spot Instance Advisor を使用して、EMR 互換インスタンスの平均コスト削減と中断率の詳細を確認できます。 

3.6 - インスタンスフリートのオンデマンドユニットとスポットユニットを設定し、オプションで各インスタンスタイプのユニットを設定します。

オンデマンドユニットとスポットユニットの数を増やすと、クラスターにプロビジョニングされる容量が決まります。すぐに開始してこのチュートリアルのコストを削減するには、少数のスポットユニット (たとえば 8 個) のみをデプロイし、オンデマンドユニットは配置しないことをお勧めします。

デフォルトでは、各インスタンスタイプの単位は、そのインスタンスタイプの vCore の数と一致します。必要に応じてこれを設定して、異なるインスタンスタイプにさらに重みを付けることができます。重みは、Amazon EMR がインスタンスフリートの容量を満たすときに考慮されます。

オンデマンドインスタンスまたは EC2 スポットインスタンスから実行されるユニット数を指定することもできます。これにより、複数のインスタンスタイプと購入オプションを組み合わせて、インスタンスの多様化と、クラスターに必要な容量を実現できます。

3.7 - 必要に応じて、クラスターの指定継続期間とプロビジョニングタイムアウトの動作を設定します。

プロビジョニングタイムアウトでは、Amazon EMR がインスタンスフリートの容量をプロビジョニングできない場合のクラスターの動作を定義できます。デフォルトの動作は Terminate です。けれども、タイムアウトを超えた場合、オプションで、クラスターにスポットインスタンスではなくオンデマンドインスタンスのプロビジョニングを試行させることができます。

これらのオプションについて詳しくは、こちらをご覧ください。

3.8 - ハードウェア設定を簡単に確認したら、次のステップに進み、クラスターの一般的な設定を行います。

[次へ] をクリックして続行します。

4.2 - オプションで、クラスターに関連するタグを設定します。タグは、作成しているクラスターを所有しているチームや、所属する環境を識別するのに役立ちます。

タグ付けについて詳しくは、こちらをご覧ください。
 

4.3 - 必要に応じて、EMRFS 整合ビュー、カスタム AMI ID、ブートストラップアクションなど、クラスターに必要な追加オプションを設定します。

4.4 - 一般的なクラスター設定を簡単に確認したら、次のステップに進み、クラスターのセキュリティ設定を設定する準備ができています。

[次へ] をクリックして続行します。 

5.2 - クラスターのセキュリティ設定を簡単に確認した後、クラスターを作成する準備が整います。

[クラスターの作成] をクリックして、EC2 スポットインスタンスを実行する新しい Amazon EMR クラスターを起動します。