Veröffentlicht am: Feb 23, 2022
AWS Glue bietet jetzt mit Job Run Insights Einblicke in die Auftragsausführung, eine Funktion, die die Entwicklungszeit für Apache-Spark-Aufträge durch Unterstützung bei der Ermittlung von Fehlerquellen und Leistungsengpässen reduziert. AWS Glue ist ein Datenintegrationsservice, anhand dessen Kunden mithilfe von Serverless Apache Spark und Python Daten für Analysen erforschen, vorbereiten und kombinieren können. Die verteilte Verarbeitung und das „Lazy Execution“-Modell von Spark machen die Fehlerdiagnose und Leistungsoptimierung für Data Engineers schwierig und zeitaufwändig. Mit dieser Einführung bietet AWS Glue Ihnen eine automatisierte Analyse und Interpretation von Fehlern in Ihren Spark-Aufträgen, wodurch sich der Prozess beschleunigt.
Job Run Insights vereinfacht die Ursachenanalyse bei Fehlern in der Auftragsausführung und flacht die Lernkurve für AWS Glue und Apache Spark ab. Es identifiziert die Zeilennummer in Ihrem Code, in der der Fehler aufgetreten ist, und gibt an, was die AWS-Glue-Engine zum Zeitpunkt des Fehlers getan hat. Es interpretiert auch Fehler für Sie und gibt Empfehlungen ab, wie Sie Ihre Aufträge und Ihren Code optimieren können, um Probleme zu beheben und die Leistung zu verbessern. Diese Funktion ergänzt die bisher von AWS Glue bereitgestellten Spark-UI-Protokolle und die CloudWatch-Protokolle und -Metriken.
Diese Funktion ist in denselben AWS-Regionen verfügbar wie AWS Glue.
Weitere Informationen finden Sie in unserer Dokumentation oder im Dashboard für die Auftragsüberwachung von AWS Glue Studio, wo Sie eine Auftragsausführung einsehen können.