Wie behebe ich einen fehlgeschlagenen Schritt in Amazon EMR?

Kurzbeschreibung

Amazon EMR identifiziert die Hauptursache von Schrittfehlern für Schritte, die mithilfe der Step-API-Operation übermittelt wurden, und gibt sie zurück. Amazon EMR 5.x und höher gibt auch den Namen der entsprechenden Protokolldatei und einen Teil des Anwendungs-Stack-Trace über die API zurück.

Hinweis: Sie können die folgenden Informationen verwenden, um Fehler bei einem Amazon-EMR-Schritt einer beliebigen Anwendung zu beheben. Spezifische Informationen zu fehlgeschlagenen Apache-Spark-Schritten finden Sie unter Wie behebe ich einen fehlgeschlagenen Spark-Schritt in Amazon EMR?

Lösung

Hinweis: Eine Beschreibung der Arten von Schrittprotokollen finden Sie unter Schrittprotokolle überprüfen.

Schrittprotokolle mit der AWS-Managementkonsole anzeigen

Weitere Informationen finden Sie unter Informationen zum Anzeigen von Fehlerdetails mithilfe der AWS-Konsole unter Verbessertes Step-Debugging.

Schrittdetails mit der AWS-CLI anzeigen

Hinweis: Wenn Sie beim Ausführen von AWS-Command-Line-Interface(AWS CLI)-Befehlen Fehler erhalten, stellen Sie sicher, dass Sie die neueste AWS-CLI-Version verwenden.

Verwenden Sie den Befehl describe-step, wie im folgenden Beispiel gezeigt. Ersetzen Sie im folgenden Befehl die Cluster-ID und die Step-ID durch die richtigen Werte für Ihren Anwendungsfall.

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

Weitere Informationen finden Sie unter So zeigen Sie Fehlerdetails mithilfe der AWS-CLI unter Verbessertes Step-Debugging an.

Step-Log-Dateien auf dem Master-Knoten mithilfe von SSH anzeigen

Weitere Informationen finden Sie unter Protokolldateien auf dem Master-Knoten anzeigen.

In Amazon S3 archivierte Protokolldateien anzeigen

1.    Öffnen Sie die Amazon-Simple-Storage-Service-Konsole (Amazon S3).

2.    Wählen Sie den S3-Bucket aus, der als S3-Protokoll-URI angegeben ist, in dem die Protokolldateien archiviert werden.

3.    Navigieren Sie zum folgenden Pfad und laden Sie das Protokolldateiobjekt herunter: cluster-id/steps/step-id/.

Weitere Informationen finden Sie unter In Amazon S3 archivierte Protokolldateien anzeigen.

Schrittprotokolle im Debugging-Tool anzeigen

Hinweis: Das Debugging-Tool wird in Amazon EMR nicht automatisch aktiviert. Informationen zum Einschalten des Debugging-Tools finden Sie unter Debugging-Tool einschalten.

Informationen zum Anzeigen von Schrittprotokollen im Debugging-Tool finden Sie unter Protokolldateien im Debugging-Tool anzeigen.

---

Ähnliche Informationen

Wie breche einen Amazon-EMR-Schritt ab?