게시된 날짜: May 6, 2024
Amazon EMR Serverless는 Amazon EMR의 Serverless 옵션으로 데이터 엔지니어 및 데이터 과학자가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 합니다. 오늘 AWS가 Amazon Managed Service for Prometheus를 통해 Apache Spark 작업에 대한 세부 성능 모니터링 기능을 발표함에 따라 사용자는 작업별 엔진 지표와 Spark 이벤트 타임라인, 단계, 작업 및 실행기에 대한 정보를 사용하여 작업을 분석, 모니터링 및 최적화할 수 있게 되었습니다.
Apache Spark는 JVM 힙 메모리, GC, 셔플 정보 등과 같은 작업에 대한 드라이버 및 실행기에 대한 세부 성능 지표를 제공합니다. 이러한 지표는 성능 문제 해결 및 워크로드 특성화에 사용할 수 있습니다. Amazon Managed Service for Prometheus는 안전한 서버리스 완전관리형 모니터링 및 알림 서비스입니다. Amazon Managed Service for Prometheus와 EMR Serverless 통합을 통해 이제 여러 애플리케이션/작업에 대한 이러한 성능 지표를 단일 보기에서 모니터링할 수 있으므로 중앙 집중식 팀에서 이러한 지표를 모니터링하여 성능 병목 현상, 과거 추세 등을 쉽게 식별할 수 있습니다.
이 기능은 일반적으로 EMR 릴리스 버전 7.1.0 이상에서 정식 출시되며, 미국 동부(버지니아 북부, 오하이오), 미국 서부(오레곤), 유럽(스톡홀름, 파리, 프랑크푸르트, 아일랜드, 런던), 남아메리카(상파울루) 및 아시아 태평양(도쿄, 서울, 싱가포르, 뭄바이, 시드니) AWS 리전에서 사용할 수 있습니다. 시작하려면 Amazon EMR Serverless 사용 설명서의 Amazon Managed Service for Prometheus를 통한 Spark 지표 모니터링 페이지를 참조하세요.