Come posso risolvere l'errore “Impossibile avviare il flusso di lavoro a causa di un errore interno” in Amazon EMR?

Breve descrizione

Gli errori interni vengono spesso risolti rapidamente. Riprova la tua richiesta. Se il problema persiste, verifica che le impostazioni di rete e di sicurezza del cluster siano configurate correttamente.

Soluzione

Apri la console Amazon EMR, quindi prova ad avviare nuovamente il cluster. Se ricevi ancora il messaggio “Impossibile avviare il flusso di lavoro a causa di un errore interno”, verifica le seguenti impostazioni.

Autorizzazioni per il ruolo del servizio Amazon EMR

Le configurazioni di sicurezza che crittografano il dispositivo principale e i volumi di spazio di archiviazione di Amazon Elastic Block Store (Amazon EBS) richiedono le autorizzazioni pertinenti. Per queste configurazioni, assicurati che il ruolo del servizio Amazon EMR ([EMR\ _defaultRole) disponga delle autorizzazioni per utilizzare la chiave del Servizio di gestione delle chiavi AWS (AWS KMS) specificata](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-encryption-enable.html#emr-awskms-ebs-encryption).

Il ruolo di servizio richiede le seguenti autorizzazioni per avviare correttamente i cluster EMR:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Se le istanze del cluster EMR hanno esito negativo, è possibile che vengano visualizzati uno dei seguenti errori:

2022-10-17 15:59:24,736 attempt 12/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:34,741 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10001 milliseconds')
2022-10-17 15:59:34,741 attempt 13/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:44,749 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10000 milliseconds')

Per risolvere questi errori, consulta il registro di sistema seguendo questi passaggi:

1.    Apri la console Amazon Elastic Compute Cloud (Amazon EC2).

2.    Seleziona il nodo EC2 che è stato terminato a causa di un errore del cluster.

        Nota: il nodo terminato è disponibile solo per 1-2 ore sulla console EC2.

3.    Seleziona l'elenco a discesa Azioni, quindi seleziona Monitor.

4.    Seleziona Risoluzione dei problemi, quindi seleziona Ottieni registro di sistema.

Percorsi di sottorete del cloud privato virtuale (VPC)

Assicurati che le sottoreti route VPC siano configurate correttamente per l'origine dati utilizzata dal cluster. Segui la procedura descritta in Configurare un VPC per ospitare i cluster.

Gruppi di sicurezza

Assicurati che i gruppi di sicurezza master e core/task siano configurati correttamente per la sottorete. Per ulteriori informazioni, consulta Utilizzare i gruppi di sicurezza gestiti da Amazon EMR.

Tutte le azioni richieste nel tuo cluster EMR devono essere consentite anche nei ruoli Amazon EMR predefiniti e nel ruolo del profilo dell'istanza.

Dopo aver configurato i percorsi di sottorete VPC, i gruppi di sicurezza e i ruoli, avvia un nuovo cluster.

Informazioni correlate

Configurazione della rete