Amazon EMR で自動スケーリングを設定するにはどうすればよいですか?
最終更新日: 2020 年 9 月 18 日
Amazon EMR クラスターで Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling を使用したいと考えています。
簡単な説明
- Amazon EMR バージョン 5.30.0、6.1.0 以降: EMR マネージドスケーリングを使用します。または、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。
- Amazon EMR バージョン 4.0.0-5.29.0 および 6.0.0: インスタンスグループのカスタムポリシーで自動スケーリングを使用します。
解決方法
Amazon EMR バージョン 5.30.0、6.1.0 以降
Amazon EMR 5.30.0、6.1.0 以降のバージョンを使用している場合、自動スケーリングには 2 つのオプションがあります。EMR マネージドスケーリングを有効にすると、ワークロードに基づいてクラスター内のインスタンスまたはユニット数を自動的に増減できます。または、次のセクションで説明するように、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。
Amazon EMR バージョン 4.0.0 以降
- 「 インスタンスグループのカスタムポリシーで自動スケーリングを使用する」の手順に従います。Amazon EMR の自動スケーリングに使用できる Amazon CloudWatch メトリクスの詳細については、「 CloudWatch でメトリックスをモニタリングする」を参照してください。自動スケーリングで一般的に使用される 2 つのメトリクスを次に示します。
YarnMemoryAvailablePercentage: これは、YARN で使用可能な残りのメモリの割合です。
ContainerPendingRatio: 保留中のコンテナと割り当てられたコンテナの比率です。このメトリクスを使用して、さまざまな負荷のコンテナ割り当て動作に基づいてクラスターをスケーリングできます。これは、パフォーマンスのチューニングに役立ちます。 - スケーリングポリシーがインスタンスグループにアタッチされていることを確認するには、ナビゲーションペインから [ Events ] を選択します。
- 自動スケーリングポリシーイベントを確認します。