投稿日: Apr 1, 2024
EC2 での Amazon EMR の新機能を発表できることを嬉しく思います。この機能により、異常のあるコアノードを自動的にグレースフルに交換して、クラスターの運用を継続的に最適化し、データ損失を防ぐことができます。さらに、EC2 での EMR は CloudWatch イベントを発行して、ノードの正常性および復旧アクションを可視化します。これらの改良はすべての Amazon EMR リリースで利用できます。
EC2 での EMR を使用すると、コンピューティングインフラストラクチャやオープンソースアプリケーションのセットアップを管理しなくても、データ処理クラスターを簡単にプロビジョンおよびスケールすることができます。ただし、基盤となるハードウェアやメモリの過剰使用の問題により、EMR ノードが正常に動作しなくなる場合があります。以前は、終了保護されたクラスターでは、異常のあるコアノードはアイドル状態のままで、クラスター容量にカウントされ続けていました。他のクラスターでは、コアノードの交換プロセスがグレースフルに行われませんでした。今回のローンチにより、Amazon EMR は、クラスターの終了保護設定に関係なく、異常のあるコアノードをグレースフルにデコミッションして交換することで、ジョブの中断を最小限に抑え、データ損失を防ぎます。Amazon EMR では、EMR コンソールと Amazon EventBridge で利用できる、異常のあるノードの交換イベントも発行します。
異常のあるコアノードのグレースフルな交換は、EC2 での Amazon EMR が利用可能なすべての AWS リージョンで一般提供されます。
今回のローンチが既存のワークフローに影響を与えないように、終了保護が有効になっている EMR 7.0.0 以前のリリースを実行しているクラスターでは、異常のあるノードの交換がデフォルトでオフになります。他のすべてのクラスターでは、この機能をデフォルトで有効にします。詳細については、「Replacing unhealthy nodes (異常のあるノードの交換)」を参照してください。