Amazon EMR에서 실패한 단계의 문제를 해결하려면 어떻게 해야 합니까?

간략한 설명

Amazon EMR은 단계 API 작업을 사용하여 제출된 단계에 대한 단계 실패의 근본 원인을 식별하여 반환합니다. 또한 Amazon EMR 5.x 이상 버전은 API를 통해 관련 로그 파일의 이름과 애플리케이션 스택 추적의 일부를 반환합니다.

참고: 다음 정보를 사용하여 모든 애플리케이션의 Amazon EMR 단계 문제를 해결할 수 있습니다. 실패한 Apache Spark 단계에 대한 자세한 내용은 Amazon EMR에서 실패한 Spark 단계의 문제를 해결하려면 어떻게 해야 합니까?를 참조하세요.

해결 방법

참고: 단계 로그 유형에 대한 설명은 로그 파일 검사를 참조하세요.

AWS Management Console을 사용하여 단계 로그 보기

자세한 내용은 향상된 단계 디버깅에서 AWS 콘솔을 사용하여 장애 세부 정보를 보기 섹션을 참조하세요.

AWS CLI를 사용하여 단계 세부 정보 보기

참고: AWS Command Line Interface(AWS CLI) 명령을 실행할 때 오류가 발생하는 경우 AWS CLI의 가장 최신 버전을 사용하고 있는지 확인하세요.

다음 예와 같이 describe-step 명령을 사용합니다. 다음 명령에서 cluster-id와 step-id를 사용 사례에 맞는 올바른 값으로 바꾸세요.

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

자세한 내용은 향상된 단계 디버깅에서 AWS CLI를 사용하여 장애 세부 정보를 보기 섹션을 참조하세요.

SSH를 사용하여 프라이머리 노드의 단계 로그 파일 보기

자세한 내용은 프라이머리 노드의 로그 파일 보기를 참조하세요.

Amazon S3에 보관된 로그 파일 보기

1.    Amazon Simple Storage Service(S3) 콘솔을 엽니다.

2.    로그 파일이 보관되는 S3 로그 URI로 지정된 S3 버킷을 선택합니다.

3.    다음 경로로 이동하여 로그 파일 객체를 다운로드합니다. cluster-id/steps/step-id/.

자세한 내용은 Amazon S3에 아카이브된 로그 파일 보기를 참조하세요.

디버깅 도구에서 단계 로그 보기

참고: Amazon EMR에서는 디버깅 도구가 자동으로 활성화되지 않습니다. 디버깅 도구 활성화에 대한 자세한 내용은 디버깅 도구 활성화를 참조하세요.

디버깅 도구에서 단계 로그를 보는 방법에 대한 자세한 내용은 디버깅 도구에서 로그 파일 보기를 참조하세요.

---

관련 정보

Amazon EMR 단계를 취소하려면 어떻게 해야 하나요?