Wie behebe ich Verbindungsprobleme mit meinem Amazon-EMR-Notebook?

Kurzbeschreibung

Wenn Sie eine Verbindung zu Ihrem Amazon-EMR-Notebook herstellen, erhalten Sie möglicherweise ähnliche Fehler wie die folgenden:

• Workspace (Notebook) ist gestoppt. Interner Fehler.
• Workspace (Notebook) kann jetzt im lokalen Modus verwendet werden.
• Das Notebook ist gestoppt. Servicerolle verfügt nicht über die erforderlichen Berechtigungen.
• Das Notebook ist gestoppt. Die Notebook-Sicherheitsgruppe sg-xxxxxxxx hat keine Ausgangsregel für die Verbindung mit der Master-Sicherheitsgruppe sg-yyyyyy. Bitte korrigieren Sie die Sicherheitsgruppe oder verwenden Sie die Standardoption.
• Das Notebook ist gestoppt. Die Notebook-Sicherheitsgruppe sg-xxxxxxx sollte keine Eingangsregeln haben. Bitte korrigieren Sie die Sicherheitsgruppe oder verwenden Sie die Standardoption.

Lösung

Servicerolle in den EMR-Notebooks überprüfen

1.    Stellen Sie sicher, dass die AWS-Identity-and-Access-Management-Rolle (IAM) des Notebooks über die erforderlichen Mindestberechtigungen verfügt. Weitere Informationen finden Sie unter Servicerolle für EMR-Notebooks.

2.    Stellen Sie sicher, dass das Notebook über alle in AmazonElasticMapReduceEditorsRole enthaltenen Berechtigungen verfügt. Verwenden Sie die von AWS verwaltete Richtlinie S3FullAccessPolicy für den vollen Zugriff auf Amazon Simple Storage Service (Amazon S3). Weitere Informationen finden Sie unter Von AWS verwaltete Richtlinie: Amazon S3FullAccess.

3.    Entfernen Sie alle Berechtigungseinschränkungen aus der Bucket-Richtlinie, die an den S3-Bucket angehängt ist, in dem sich das Notebook befindet.

Sicherheitsgruppen in den EMR-Notebooks überprüfen

1.    Stellen Sie sicher, dass die für Ihr Notebook verwendete Sicherheitsgruppe mindestens über die erforderlichen Mindestregeln verfügt. Weitere Informationen finden Sie unter EC2-Sicherheitsgruppen für EMR-Notebooks angeben.

2.    Es hat sich bewährt, verschiedene Sicherheitsgruppen für den EMR-Cluster und das EMR-Notebook zu verwenden. Die Sicherheitsgruppen für das Notebook und den Cluster haben unterschiedliche Anforderungen an die Regeln für eingehenden und ausgehenden Datenverkehr.

Die Notebook-Sicherheitsgruppe ElasticMapReduceEditors-Editor verfügt über eine Ausgangsregel, die eine Verbindung zur Master-Sicherheitsgruppe ElasticMapReduceEditors-Livy ermöglicht. Diese Verbindung verwendet tcp/18888. Entfernen Sie alle Regeln für ausgehenden Datenverkehr, die in der Notebook-Sicherheitsgruppe ElasticMapReduceEditors-Editor hinzugefügt wurden und zu 0.0.0.0/0 weitergeleitet wurden.

Die Master-Sicherheitsgruppe ElasticMapReduceEditors-Livy verfügt über eine Eingangsregel, die eine Verbindung zur Notebook-Sicherheitsgruppe ElasticMapReduceEditors-Editor ermöglicht. Diese Verbindung verwendet tcp/18888. Entfernen Sie alle Eingangsregeln, die in der Master-Sicherheitsgruppe ElasticMapReduceEditors-Livy-Weiterleitung auf 0.0.0.0/0 hinzugefügt wurden.

EMR-Cluster-Anforderungen

1.    Stellen Sie sicher, dass der angehängte Cluster kompatibel ist und alle Cluster-Anforderungen erfüllt.

2.    Wenn der Livy-Identitätswechsel aktiviert ist, stellen Sie sicher, dass hadoop-httpfs auf dem EMR-Cluster-Hauptknoten läuft.

Verwenden Sie den folgenden Befehl, um den Status von hadoop-httpfs zu überprüfen:

$ sudo systemctl status hadoop-httpfs

Verwenden Sie den folgenden Befehl, um hadoop-httpfs zu aktivieren:

$ sudo systemctl start hadoop-httpfs

---