Amazon EMR에서 실패하거나 중단된 Spark SQL 쿼리 문제를 해결하려면 어떻게 해야 합니까?
최종 업데이트 날짜: 2023년 1월 25일
Amazon EMR에서 Spark SQL 쿼리 관련 문제를 해결하기 위해 정보를 수집하고 싶습니다.
해결 방법
Spark SQL 완료 쿼리는 EMR 클러스터의 Spark 히스토리 서버의 애플리케이션 사용자 인터페이스 탭에 있습니다. 자세한 내용은 영구 애플리케이션 사용자 인터페이스 보기를 참조하세요.
완료된 Spark SQL 쿼리에 액세스하려면 다음을 수행합니다.
- Spark 히스토리 서버에서 SQL/DataFrame을 선택하여 완료된 Spark SQL 쿼리를 볼 수 있습니다.
- 쿼리의 Spark SQL 작업 응용 프로그램 ID를 선택하여 작업 탭에서 완료된 작업 ID 정보를 엽니다. SQL 쿼리에는 둘 이상의 작업 ID가 있을 수 있다는 점에 유의하십시오.
작업 탭에서는 다음 정보를 사용할 수 있습니다.
- 작업 탭에서는 작업 상태, 작업 기간 및 관련 SQL 쿼리를 볼 수 있습니다.
- 작업 탭에서 애플리케이션 ID의 타임라인을 검토할 수 있습니다. 타임라인에는 Spark 실행기의 추가 및 제거가 시간순으로 표시됩니다.
- 아래로 스크롤하여 DAG(방향 비순환 그래프)를 확인합니다. DAG는 스파크 SQL 쿼리를 시각화한 것입니다. RDD 종속성 체인도 볼 수 있습니다.
- 더 스크롤하여 Spark SQL 작업의 완료된 스테이지를 확인합니다.
- 스테이지 ID 설명을 선택하면 모든 작업에 걸친 쿼리의 총 시간, 지역성 수준 요약 및 관련 작업 ID를 볼 수 있습니다. 스테이지 뷰는 이 스테이지에 해당하는 모든 RDD의 세부 정보를 제공합니다. 이 뷰는 높은 수준의 Spark SQL 작업과 관련된 하위 수준 RDD 작업에 대한 정보도 제공합니다.
- 실행자별 집계된 지표를 확장하면 실행자 로그를 볼 수 있습니다. 실행기 로그는 Spark SQL 작업에 대한 추가 세부 정보를 제공합니다. 다음은 예제 출력입니다.
23/01/17 18:10:17 INFO Executor: Finished task 0.0 in stage 16.0 (TID 16). 1882 bytes result sent to driver
23/01/17 18:10:17 INFO YarnCoarseGrainedExecutorBackend: Got assigned task 17
23/01/17 18:10:17 INFO Executor: Running task 0.0 in stage 17.0 (TID 17)
23/01/17 18:10:17 INFO TorrentBroadcast: Started reading broadcast variable 17 with 1 pieces (estimated total size 4.0 MiB)
23/01/17 18:10:17 INFO MemoryStore: Block broadcast_17_piece0 stored as bytes in memory (estimated size 7.2 KiB, free 4.8 GiB)
23/01/17 18:10:17 INFO TorrentBroadcast: Reading broadcast variable 17 took 8 ms
23/01/17 18:10:17 INFO MemoryStore: Block broadcast_17 stored as values in memory (estimated size 13.8 KiB, free 4.8 GiB)
23/01/17 18:10:17 INFO PythonRunner: Times: total = 52, boot = -31, init = 83, finish = 0
23/01/17 18:10:17 INFO Executor: Finished task 0.0 in stage 17.0 (TID 17). 1883 bytes result sent to driver
23/01/17 18:11:20 ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
23/01/17 18:11:20 INFO MemoryStore: MemoryStore cleared
23/01/17 18:11:20 INFO BlockManager: BlockManager stopped
23/01/17 18:11:20 INFO ShutdownHookManager: Shutdown hook called자세한 내용은 Apache Spark 설명서의 작업 탭을 웹 UI 섹션에서 참조하십시오.