게시된 날짜: Mar 12, 2024
Amazon EMR Serverless는 데이터 분석가 및 엔지니어가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 지원하는 서버리스 옵션입니다.
Amazon CloudWatch에서 Amazon EMR Serverless를 위한 작업 워커 지표를 출시된다는 소식을 전하게 되어 기쁩니다. 이제 Apache Spark 및 Hive 작업에 대한 전체 워커 수준에서 vCPU, 메모리, 임시 스토리지, 디스크 I/O 할당 및 사용량 지표 추적을 모니터링할 수 있습니다. 이러한 새로운 지표는 작업 성능, 처리량 및 리소스 사용률에 대한 세분화된 인사이트를 제공합니다. 이를 통해 일반적인 오류와 병목 현상의 근본 원인을 더 빠르게 식별하고, 전체 워커 성능을 분석하고, 작업을 미세 조정하여 효율성을 개선할 수 있습니다. 예를 들어 vCPU 또는 메모리의 사용률이 낮으면 리소스가 낭비되는 부분을 파악할 수 있으므로 워커 규모를 최적화하여 잠재적인 비용 절감을 달성할 수 있습니다. 마찬가지로 임시 스토리지 사용량이 급증하는지 추적하면 디스크 병목 현상을 파악하고 워커당 더 많은 스토리지를 할당하여 이를 완화하는 데 도움이 될 수 있습니다. 시작하려면 emr-serverless-samples Git 리포지토리에 제공된 대시보드를 계정에 배포하면 됩니다.
이러한 지표에 대한 자세한 내용은 EMR Serverless 사용 설명서에서 작업 워커 수준 모니터링 페이지를 참조하세요.