投稿日: Jun 15, 2020
Amazon EMR は現在、YARN タイムラインサーバーと Tez ユーザーインターフェイス (UI) を、クラスターの外部でイベントとコンテナログとともに保持しています。EMR コンソールを使用してウェブインターフェイスに直接ログインすることで、クラスターのライフサイクルに関係なく、YARN アプリケーションをデバッグおよび監視できるようになりました。YARN タイムラインサーバーと Tez UI は、アクティブなクラスターと終了したクラスターについてのメトリクスとビジュアルツールを提供するオープンソースアプリケーションです。
分散アプリケーションをデバッグするには、複数のソースからのログを解析する必要があります。ネイティブの YARN (リソーススケジューラ)、Tez (ビッグデータフレームワーク)、および Spark (分析エンジン) は、ログを実行コンテキストにオーバーレイし、直感的な UI を表示することで、デバッグエクスペリエンスを向上させます。ただし、セキュリティ上の理由から、マスターノードに接続して EMR クラスターのウェブインターフェイスを表示するには、複数の手順を実行する必要があります。さらに、一時的なクラスターを実行している場合、クラスターが終了すると UI は使用できなくなります。Amazon EMR は、EMR コンソールから直接アクセスできる永続的な Spark History Server、YARN Timeline Server、および Tez UI を導入することにより、デバッグと監視を簡素化します。
YARN Timeline Server と Tez UI の使用を開始するには、AWS マネジメントコンソールにアクセスしてください。
この機能は、EMR バージョン 6.0.0 以降で、米国東部 (バージニア北部、オハイオ)、米国西部 (北カリフォルニア、オレゴン)、カナダ (中部)、欧州 (フランクフルト、アイルランド、ロンドン)、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京) の各リージョンで利用できます。