Veröffentlicht am: Jun 15, 2020
Amazon EMR betreibt jetzt den YARN Timeline Server und die Tez-Benutzeroberfläche (UI) zusammen mit den Ereignis- und Containerprotokollen außerhalb des Clusters. Sie können jetzt Ihre YARN-Anwendungen unabhängig vom Lebenszyklus des Clusters debuggen und überwachen, indem Sie sich mit der EMR-Konsole direkt in den Web-Schnittstellen anmelden. Der YARN Timeline Server und die Tez UI sind Open-Source-Anwendungen, die Metriken und visuelle Tools für aktive und beendete Cluster bereitstellen.
Zum Debuggen verteilter Anwendungen ist eine Analyse von Protokollen von mehreren Quellen erforderlich. Die nativen YARN (Ressourcenplaner), Tez (Big Data-Framework) und Spark (Analyse-Engine) verbessern die Debugging-Erfahrung, indem sie die Protokolle und den Ausführungskontext überlagern und eine intuitive UI bereitstellen. Sie müssen jedoch aus Sicherheitsgründen mehrere Schritte ausführen und eine Verbindung zum Masterknoten herstellen, um die Web-Schnittstellen auf Ihrem EMR-Cluster anzuzeigen. Zudem ist bei Ausführung eines vorübergehenden Clusters die Benutzeroberfläche nicht verfügbar, wenn der Cluster beendet wird. Amazon EMR vereinfacht Debugging und Überwachung durch Einführung des persistenten Spark-Verlaufsservers, von YARN Timeline Server und Tez UI, die direkt über die EMR-Konsole aufgerufen werden können.
Erste Schritte mit YARN Timeline Server und Tez UI finden Sie unter AWS-Managementkonsole.
Die Funktion ist ab EMR-Version 6.0.0 in den Regionen USA Ost (Nord-Virginia und Ohio), USA West (Nordkalifornien und Oregon), Kanada (Zentral), EU (Frankfurt, Irland und London) sowie Asien-Pazifik (Mumbai, Seoul, Singapur, Sydney und Tokio) verfügbar.