Amazon EMR에서 ‘내부 오류로 인해 작업 흐름을 시작할 수 없음’ 오류를 해결하려면 어떻게 해야 하나요?

간략한 설명

내부 오류는 종종 빠르게 해결됩니다. 요청을 다시 시도합니다. 문제가 지속되면 클러스터의 네트워킹 및 보안 설정이 올바르게 구성되었는지 확인합니다.

해결 방법

Amazon EMR 콘솔을 열고 클러스터를 다시 시작해 보세요. 여전히 'Failed to start the job flow due to an internal error(내부 오류로 인해 작업 흐름을 시작할 수 없음)' 메시지가 나타나면 다음 설정을 확인하세요.

Amazon EMR 서비스 역할에 대한 권한

Amazon Elastic Block Store(Amazon EBS) 루트 디바이스 및 스토리지 볼륨을 암호화하는 보안 구성에는 관련 권한이 필요합니다. 이러한 구성의 경우 Amazon EMR 서비스 역할(EMR_DefaultRole)에 지정된 AWS Key Management Service(AWS KMS) 키를 사용할 권한이 있어야 합니다.

EMR 클러스터를 성공적으로 시작하려면 서비스 역할에 다음 권한이 필요합니다.

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

EMR 클러스터 인스턴스에 장애가 발생하면 다음 오류가 발생할 수 있습니다.

2022-10-17 15:59:24,736 attempt 12/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:34,741 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10001 milliseconds')
2022-10-17 15:59:34,741 attempt 13/1000: http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list
2022-10-17 15:59:44,749 exception: [Errno 12] Timeout on http://repo.eu-west-1.amazonaws.com/2018.03/main/mirror.list: (28, 'Connection timed out after 10000 milliseconds')

이러한 오류를 해결하려면 다음 단계에 따라 시스템 로그를 검토하세요.

1.    Amazon Elastic Compute Cloud(Amazon EC2) 콘솔에 로그인합니다.

2.    클러스터 장애로 인해 종료된 EC2 노드를 선택합니다.

        참고: 종료된 노드는 EC2 콘솔에서 1~2시간 동안만 사용할 수 있습니다.

3.    작업(Actions) 드롭다운 목록을 선택한 다음 **모니터(Monitor)**를 선택합니다.

4.    **문제 해결(Troubleshoot)**을 선택한 다음 **시스템 로그 가져오기(Get system log)**를 선택합니다.

Vertual Private Cloud(VPC) 서브넷 경로

클러스터에서 사용하는 데이터 소스에 대해 VPC 서브넷 경로가 올바르게 구성되었는지 확인하세요. 클러스터를 호스팅할 VPC 설정의 단계를 따르세요.

보안 그룹(Security groups)

마스터 및 코어/작업 보안 그룹이 서브넷에 올바르게 구성되어 있는지 확인하세요. 자세한 내용은 Amazon EMR 관리형 보안 그룹 사용을 참조하세요.

EMR 클러스터의 모든 필수 작업은 기본 Amazon EMR 역할 및 인스턴스 프로파일 역할에서 허용되어야 합니다.

VPC 서브넷 경로, 보안 그룹 및 역할을 구성한 후 새 클러스터를 시작합니다.

관련 정보

네트워킹 구성