Como resolvo o erro “Falha ao iniciar o fluxo de trabalho devido a um erro interno” no Amazon EMR?

Descrição breve

Erros internos geralmente são resolvidos rapidamente. Tente novamente sua solicitação. Se o problema persistir, confirme se as configurações de rede e segurança do cluster estão definidas corretamente.

Resolução

Abra o console do Amazon EMR e tente iniciar o cluster novamente. Se você ainda receber a mensagem “Falha ao iniciar o fluxo de trabalho devido a um erro interno”, verifique as configurações a seguir.

Permissões para o perfil de serviço do Amazon EMR

As configurações de segurança que criptografam o dispositivo raiz e os volumes de armazenamento do Amazon Elastic Block Store (Amazon EBS) exigem as permissões relevantes. Para essas configurações, certifique-se de que o perfil de serviço do Amazon EMR (EMR_DefaultRole) tenha permissões para usar a chave especificada do AWS Key Management Service (AWS KMS) key.

O perfil de serviço precisa dessas permissões para iniciar clusters do EMR com êxito:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Se as instâncias do cluster do EMR falharem, você poderá ver qualquer um desses erros:

2022-10-17 15:59:24,736 attempt 12/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:34,741 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10001 milliseconds')
2022-10-17 15:59:34,741 attempt 13/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:44,749 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10000 milliseconds')

Para solucionar esses erros, revise o log do sistema seguindo estas etapas:

1.    Abra o console do Amazon Elastic Compute Cloud (Amazon EC2).

2.    Selecione o nó do EC2 que foi encerrado devido à falha do cluster.

        Observação: o nó encerrado está disponível por apenas 1 a 2 horas no console do EC2.

3.    Selecione a lista suspensa Ações e depois Monitorar.

4.    Selecione Solucionar problemas e depois Obter log do sistema..

Rotas de sub-rede da nuvem privada virtual (VPC)

Certifique-se de que as rotas da sub-rede VPC estejam configuradas corretamente para a fonte de dados que seu cluster está usando. Siga as etapas em Configurar uma VPC para hospedar clusters.

Grupos de segurança

Certifique-se de que os grupos de segurança principais e centrais/de tarefa estejam configurados corretamente para a sub-rede. Para mais informações, consulte Trabalhar com grupos de segurança gerenciados pelo Amazon EMR.

Todas as ações necessárias no seu cluster do EMR também devem ser permitidas nos perfis padrão do Amazon EMR e no perfil da instância.

Depois que as rotas da sub-rede VPC, os grupos de segurança e os perfis forem configurados, inicie um novo cluster.

Informações relacionadas

Configurar redes