Pourquoi mon cluster Amazon EMR est-il inaccessible ?

Brève description

Les raisons les plus courantes de l'inaccessibilité de votre cluster EMR sont les suivantes :

• Il y a un problème d'autorisation dans les règles des groupes de sécurité.
• La configuration réseau des clusters mis en service dans un sous-réseau privé est incorrecte.
• Il y a un problème de configuration de l'authentification du cluster.
• Les nœuds du cluster sont soumis à des contraintes liées aux ressources.
• Le démon du service Amazon EMR est arrêté.

Solution

Règles des groupes de sécurité Amazon EMR

1.    Vérifiez que les règles des groupes de sécurité sont correctes. Pour plus d'informations, consultez la section Utilisation des groupes de sécurité gérés par Amazon EMR.

2.    Vérifiez que le protocole TCP sur le port 8443 est autorisé. Le port 8443 permet au gestionnaire de cluster de communiquer avec le nœud principal du cluster.

3.    Vérifiez que le protocole SSH est autorisé sur le port 22 si vous essayez de vous connecter au cluster via SSH.

4.     Si les utilisateurs ou les applications externes sont incapables d'accéder au cluster EMR, validez les règles connexes définies dans les groupes de sécurité gérés. Validez également les règles dans les groupes de sécurité supplémentaires.

Clusters EMR dans un sous-réseau privé

En plus des éléments mentionnés dans la section précédente, vérifiez les points suivants pour les clusters EMR situés dans un sous-réseau privé :

1.    Vérifiez que le groupe de sécurité géré supplémentaire pour l'accès aux services a été ajouté. Vérifiez que les règles autorisent le gestionnaire de cluster à communiquer avec les nœuds du cluster. Pour plus d'informations, consultez la section Groupe de sécurité géré par Amazon EMR pour l'accès aux services (sous-réseaux privés).

2.    Si vous utilisez un hôte bastion et que vous êtes incapable de joindre Amazon EMR via l'hôte bastion, procédez comme suit :

• Vérifiez que le groupe de sécurité de l'hôte bastion autorise le trafic entrant en provenance du système client.
• Vérifiez que les groupes de sécurité du cluster EMR autorisent le trafic entrant en provenance de l'hôte bastion.

Étant donné que les configurations réseau varient, vérifiez que la connexion de bout en bout est correctement définie, sans aucun trou noir.

Méthodes d'authentification

Pour garantir une configuration correcte de l'authentification, procédez comme suit :

1.    Si l'authentification utilise une paire de clés Amazon Elastic Compute Cloud (Amazon EC2), vérifiez qu'elle a été créée et configurée correctement. Pour plus d'informations, consultez la section Utiliser une paire de clés Amazon EC2 pour les informations d'identification SSH.

2.    Si l'authentification utilise Kerberos, vérifiez qu'elle est correctement configurée. Pour plus d'informations, consultez la section Utiliser l'authentification Kerberos.

Contraintes liées aux ressources dans les nœuds du cluster

1.    Vérifiez que le nœud principal sous-jacent est en cours d'exécution et qu'il n'est pas résilié.

2.    Consultez le journal de l'état de l'instance du nœud principal pour déterminer la manière d'utilisation des ressources.

Exécutez la commande suivante pour vérifier l'UC utilisateur principal :

ps auxwww --sort -%cpu | head -10

Exécutez la commande suivante pour vérifier les performances du noyau :

dmesg | tail -n 25

Exécutez la commande suivante pour vérifier l'utilisation de la mémoire :

free -m

Exécutez la commande suivante pour vérifier l'utilisation du disque :

df -h

Démons du cluster EMR

Le contrôleur d'instance (I/C) du nœud principal est le démon qui s'exécute sur les nœuds du cluster. Le contrôleur d'instance communique avec le plan de contrôle Amazon EMR et le reste du cluster. Exécutez les commandes suivantes pour vous assurer qu'il est en cours d'exécution :

Exécutez la commande suivante pour vérifier l'état du contrôleur d'instance :

sudo systemctl status instance-controller

Exécutez la commande suivante pour démarrer le contrôleur d'instance :

sudo systemctl start instance-controller

---