¿Por qué no se puede acceder a mi clúster de Amazon EMR?

Descripción breve

A continuación, se indican los motivos habituales por los que es posible que no se pueda acceder a su clúster de EMR:

• Hay un problema de permisos en las reglas del grupo de seguridad.
• La configuración de red es incorrecta para los clústeres aprovisionados en una subred privada.
• Hay un problema con la configuración de la autenticación del clúster.
• Hay restricciones de recursos en los nodos del clúster.
• Se detuvo el daemon del servicio Amazon EMR.

Resolución

Reglas del grupo de seguridad de Amazon EMR

1.    Compruebe que las reglas del grupo de seguridad sean correctas. Para obtener más información, consulte Trabajar con grupos de seguridad administrados por Amazon EMR.

2.    Verifique que se permita TCP en el puerto 8443. El puerto 8443 permite que el administrador del clúster se comunique con el nodo maestro del clúster.

3.    Compruebe que se permite SSH en el puerto 22 si está intentando conectarse al clúster a través de SSH.

4.     Si los usuarios o aplicaciones externos no pueden acceder al clúster de EMR, valide las reglas relacionadas que se establecen en los grupos de seguridad administrados. También valide las reglas en grupos de seguridad adicionales.

Clústeres de EMR en una subred privada

Además de los elementos mencionados en la sección anterior, compruebe lo siguiente para los clústeres de EMR que se encuentran en una subred privada:

1.    Compruebe que se haya agregado el grupo de seguridad administrado adicional para el acceso al servicio. Compruebe que las reglas permitan al administrador del clúster comunicarse con los nodos del clúster. A fin de obtener más información, consulte Grupo de seguridad administrado por Amazon EMR para el acceso a los servicios (subredes privadas).

2.    Si utiliza un host bastión y no puede acceder a Amazon EMR a través del host bastión, haga lo siguiente:

• Compruebe que el grupo de seguridad del host bastión permita el tráfico entrante desde el sistema cliente.
• Compruebe que los grupos de seguridad del clúster de EMR permitan el tráfico entrante desde el host bastión.

Como las configuraciones de red varían, asegúrese de que la conexión de extremo a extremo esté configurada correctamente sin brechas.

Métodos de autenticación

Para asegurarse de que la autenticación está configurada correctamente, haga lo siguiente:

1.    Si la autenticación utiliza un par de claves de Amazon Elastic Compute Cloud (Amazon EC2), compruebe que se haya creado y configurado correctamente. A fin de obtener más información, consulte Usar un par de claves de Amazon EC2 para las credenciales SSH.

2.    Si la autenticación utiliza Kerberos, compruebe que esté configurada correctamente. Para obtener más información, consulte Usar la autenticación de Kerberos.

Restricciones de recursos en los nodos del clúster

1.    Compruebe que el nodo maestro subyacente esté en ejecución y no haya terminado.

2.    Compruebe el registro del estado de la instancia del nodo maestro para determinar cómo se utilizan los recursos.

Ejecute el siguiente comando para comprobar el usuario principal de la CPU:

ps auxwww --sort -%cpu | head -10

Ejecute el siguiente comando para comprobar el rendimiento del núcleo:

dmesg | tail -n 25

Ejecute el siguiente comando para comprobar el estado del uso de la memoria:

free -m

Ejecute el siguiente comando para comprobar el estado del uso del disco:

df -h

Daemons del clúster de EMR

El controlador de instancias (I/C) del nodo maestro es el daemon que se ejecuta en los nodos del clúster. El controlador de instancias se comunica con el plano de control de Amazon EMR y el resto del clúster. Ejecute los siguientes comandos para asegurarse de que está en estado de ejecución:

Ejecute el siguiente comando para comprobar el estado del controlador de instancias:

sudo systemctl status instance-controller

Ejecute el siguiente comando para iniciar el controlador de instancias:

sudo systemctl start instance-controller

---