게시된 날짜: Nov 6, 2019
이제 EMR 콘솔을 통해 클러스터 외부의 영구 Apache Spark 기록 서버에 직접 로그인하여 Apache Spark 작업을 디버깅하고 모니터링할 수 있습니다.
Spark 기록 서버는 Apache Spark 웹 UI(사용자 인터페이스)의 확장 기능으로, 클러스터에서 완료되거나 실행 중인 Spark 작업에 대한 자세한 정보를 시각적 인터페이스를 통해 보여 줍니다. 작업별 지표와 스케줄러 단계, 태스크 및 실행 중인 실행기에 대한 정보를 자세히 살펴볼 수 있습니다.
이제 Amazon EMR은 Spark 기록 서버를 이벤트 및 컨테이너 로그와 함께 클러스터 외부에, 클러스터 수명주기와 무관하게 유지합니다. 따라서 종료된 클러스터의 Spark 기록 서버도 실행 중인 클러스터와 마찬가지로 액세스하고 사용할 수 있습니다. 또한 콘솔에서 직접 Spark 기록 서버에 액세스할 수 있으며, 더 이상 웹 인터페이스를 표시하기 위해 복잡한 단계를 거치지 않아도 됩니다.
이 기능은 EMR 버전 5.25 이상 사용 시 이용할 수 있으며, 미국 동부(버지니아 북부 및 오하이오), 미국 서부(캘리포니아 북부 및 오레곤), 캐나다(중부), EU(프랑크푸르트, 아일랜드 및 런던) 및 아시아 태평양(뭄바이, 서울, 싱가포르, 시드니 및 도쿄) 리전에서 사용할 수 있습니다.