Amazon EMR Notebooks의 연결 문제를 해결하려면 어떻게 해야 하나요?

간략한 설명

Amazon EMR Notebooks에 연결할 때 다음과 비슷한 오류가 발생할 수 있습니다.

• 작업 공간(노트북)이 중지되었습니다. 내부 오류가 발생했습니다.
• 이제 작업 공간(노트북)을 로컬 모드에서 사용할 수 있습니다.
• 노트북이 중지되었습니다. 서비스 역할에 필요한 권한이 없습니다.
• 노트북이 중지되었습니다. 노트북 보안 그룹 sg-xxxxxx에 마스터 보안 그룹 sg-yyyyy와 연결하기 위한 송신 규칙이 없습니다. 보안 그룹을 수정하거나 기본 옵션을 사용하세요.
• 노트북이 중지되었습니다. 노트북 보안 그룹 sg-xxxxxxx에 수신 규칙이 없어야 합니다. 보안 그룹을 수정하거나 기본 옵션을 사용하세요.

해결 방법

EMR Notebooks에서 서비스 역할 확인

1.    노트북의 AWS Identity and Access Management(IAM) 역할에 필요한 최소 권한이 있는지 확인합니다. 자세한 내용은 EMR Notebooks의 서비스 역할을 참조하세요.

2.    노트북에 AmazonElasticMapReduceEditorsRole에 포함된 모든 권한이 있는지 확인합니다. Amazon Simple Storage Service(Amazon S3)에 대한 전체 액세스를 위해서는 AWS 관리형 정책 S3FullAccessPolicy를 사용합니다. 자세한 내용은 AWS 관리형 정책: Amazon S3FullAccess를 참조하세요.

3.    노트북이 위치한 S3 버킷에 연결된 버킷 정책에서 권한 제한을 모두 제거합니다.

EMR Notebooks의 보안 그룹 확인

1.    노트북에 사용되는 보안 그룹에 최소한 필요한 최소 규칙이 있는지 확인합니다. 자세한 내용은 EMR Notebooks의 EC2 보안 그룹 지정을 참조하세요.

2.    EMR 클러스터와 EMR Notebooks에 서로 다른 보안 그룹을 사용하는 것이 가장 좋습니다. 노트북과 클러스터의 보안 그룹에는 서로 다른 인바운드 및 아웃바운드 규칙 요구 사항이 있습니다.

노트북 보안 그룹 ElasticMapReduceEditors-Editor에는 마스터 보안 그룹인 ElasticMapReduceEditors-Livy에 연결할 수 있는 송신 규칙이 있습니다. 이 연결은 tcp/18888을 사용합니다. 0.0.0.0/0으로 라우팅하는 노트북 보안 그룹 ElasticMapReduceEditors-Editor에 추가된 모든 아웃바운드 규칙을 제거합니다.

마스터 보안 그룹 ElasticMapReduceEditors-Livy에는 노트북 보안 그룹 ElasticMapReduceEditors-Editor에 대한 연결을 허용하는 수신 규칙이 있습니다. 이 연결은 tcp/18888을 사용합니다. 0.0.0.0/0으로 라우팅하는 마스터 보안 그룹 ElasticMapReduceEditors-Livy에 추가된 모든 수신 규칙을 제거합니다.

EMR 클러스터 요구 사항

1.    연결된 클러스터가 호환되고 모든 클러스터 요구 사항을 충족하는지 확인합니다.

2.    Livy 가장(Livy impersonation)이 켜지면 hadoop-httpfs가 EMR 클러스터 프라이머리 노드에서 실행되고 있는지 확인합니다.

다음 명령을 사용하여 hadoop-httpfs의 상태를 확인합니다.

$ sudo systemctl status hadoop-httpfs

다음 명령을 사용하여 hadoop-httpfs를 켭니다.

$ sudo systemctl start hadoop-httpfs

---