Veröffentlicht am: May 6, 2024
Amazon EMR Serverless ist eine Serverless-Option in Amazon EMR, die es Data Engineers und Datenwissenschaftlern einfach macht, Open-Source-Analyse-Frameworks für Big Data auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen. Wir freuen uns Ihnen heute die detaillierte Leistungsüberwachung von Aufgaben in Apache-Spark mit Amazon Managed Service für Prometheus ankündigen zu können. Dadurch können Sie Ihre Aufgaben anhand auftragsspezifischer Engine-Metriken und Informationen über Zeitpläne, Phasen, Aufgaben und Exekutoren von Spark-Ereignissen analysieren, überwachen und optimieren.
Apache Spark bietet detaillierte Leistungsmetriken für den Treiber und die Executoren für Aufgaben wie den JVM-Heapspeicher, die Garbage Collection, Shuffle-Informationen usw. Diese Metriken können zur Behebung von Leistungsproblemen und zur Charakterisierung von Workloads eingesetzt werden. Amazon Managed Service für Prometheus ist ein sicherer, serverloser, vollständig verwalteter Überwachungs- und Warnungsservice. Durch die Integration von EMR Serverless mit Amazon Managed Service für Prometheus können Sie diese Leistungsmektriken für mehrere Anwendungen/Aufgaben jetzt in einer einzigen Ansicht überwachen. Dadurch ist es für zentralisierte Teams einfacher diese Metriken zu überwachen, um Leistungsengpässe, historische Trends usw. zu identifizieren.
Dieses Feature ist ab EMR-Release-Version 7.1.0 und höher verfügbar. Es ist in den folgenden AWS-Regionen allgemein verfügbar: USA Ost (Nord-Virginia, Ohio), USA West (Oregon), Europa (Stockholm, Paris, Frankfurt, Irland, London), Südamerika (São Paulo) und Asien-Pazifik (Tokio, Seoul, Singapur, Mumbai, Sydney). Besuchen Sie zum Einstieg die Seite Überwachen von Spark-Metriken mit Amazon Managed Service für Prometheus im Benutzerhandbuch zu Amazon EMR Serverless.