Veröffentlicht am: Mar 12, 2024
Amazon EMR Serverless ist eine Serverless-Option, die es Datenanalysten und Entwicklern einfach macht, Open-Source-Frameworks für Big-Data-Analytik auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen.
Wir freuen uns, die Einführung von Kennzahlen zu Auftrags-Workern in Amazon CloudWatch für Amazon EMR Serverless bekanntzugeben. Sie können jetzt Kennzahlen zu vCPUs, dem Arbeitsspeicher, dem temporären Speicher sowie zur Festplatten-E/A-Zuweisung und Nutzung auf aggregierter Worker-Ebene für Ihre Apache-Spark- und Hive-Aufträge überwachen. Die neuen Kennzahlen bieten detaillierte Einblicke in die Arbeitsleistung, den Durchsatz und die Ressourcenauslastung. Auf diese Weise können Sie die Hauptursachen für häufig auftretende Fehler und Engpässe schneller identifizieren, die Gesamtleistung Ihrer Worker analysieren und Ihre Aufträge optimieren, um die Effizienz zu verbessern. Beispielsweise kann eine unzureichende Auslastung der vCPUs oder des Arbeitsspeichers auf eine Verschwendung von Ressourcen hinweisen. Sie können dann die Größe Ihrer Worker anpassen, um potenzielle Kosteneinsparungen zu erzielen. In ähnlicher Weise kann die Verfolgung von Spitzen bei der temporärer Speichernutzung dazu beitragen, Festplattenengpässe zu erkennen und zu beheben, indem mehr Speicherplatz pro Worker zugewiesen wird. Stellen Sie zunächst das im Git-Repository emr-serverless-samples bereitgestellte Dashboard für Ihr Konto bereit.
Weitere Informationen zu diesen Kennzahlen finden im Benutzerhandbuch zu EMR Serverless auf der Seite Überwachung auf Auftrags-Worker-Ebene.