投稿日: Nov 6, 2019
EMR コンソールを使用して、Apache Spark ジョブをクラスター外で永続的な Apache Spark History Server に直接ロギングすることにより、ジョブをデバッグしモニタリングできるようになりました。
Spark History Server は、Apache Spark ウェブユーザーインターフェイス (UI) の拡張機能です。クラスター上で完了し、実行中の Spark ジョブに関する詳細情報を表示する視覚的なインターフェイスを提供します。ジョブ特有のメトリクス、およびスケジューラーのステージ、タスク、実行中のエグゼキューターに関する情報をさらに詳しく見ることができます。
Amazon EMR は、クラスターのライフサイクルとは無関係に、クラスター外のイベントおよびコンテナーログとともに Spark History Server を永続的に維持するようになりました。これにより、終了したクラスターと実行中のクラスターに同様に Spark History Server にアクセスして使用できます。さらに、Spark History Server にコンソールから直接アクセスできるため、ウェブインターフェイスとして表示するための複雑な手順を行う必要がなくなりました。
この機能は、EMR バージョン 5.25 以降を使用するときに利用可能で、米国東部 (バージニア北部、オハイオ)、米国西部 (北カリフォルニア、オレゴン)、カナダ (中部)、欧州 (フランクフルト、アイルランド、ロンドン)、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京) の各リージョンで利用できます。