게시된 날짜: Nov 20, 2023
AWS는 AWS Glue 작업의 모니터링 및 디버깅을 개선하기 위한 두 가지 새로운 기능인 AWS Glue 서버리스 Apache Spark UI와 AWS Glue 관찰성 지표의 정식 버전을 발표했습니다. AWS Glue 서버리스 Spark UI는 AWS Glue Spark 작업에 대한 자세한 정보를 확보할 수 있는 새로운 기능입니다. 이번 출시로 AWS Glue Studio에서 실행되는 모든 AWS Glue Spark 작업의 세부 정보를 확인할 수 있습니다. AWS Glue 서버리스 Spark UI를 사용하면 스케줄러 단계, 태스크, 실행기에 대한 정보를 얻을 수 있습니다. AWS Glue 관찰성 지표는 작업 신뢰성, 성능, 처리량, 리소스 사용률에 대한 추가적인 인사이트를 제공합니다. 이 두 가지 새로운 기능을 사용하면 근본 원인과 함께 일반적인 오류 클래스를 디버깅하고, 작업자 성능 집계를 분석하고, Glue 작업의 데이터 왜곡을 모니터링할 수 있습니다.
AWS Glue Studio 작업 모니터링을 사용하여 서버리스 Spark UI와 관찰성 지표를 모두 볼 수 있습니다. 서버리스 Spark UI는 Glue Studio의 Glue 작업 페이지에 있는 새로운 'Spark UI' 탭에서 액세스할 수 있습니다. 또한 AWS Glue Studio의 작업 실행 모니터링 페이지로 이동하여 서버리스 Spark UI와 관찰성 지표를 모두 볼 수 있습니다. AWS Glue 서버리스 Spark UI는 완전관리형이므로 별도로 관리할 인프라가 없습니다. AWS Glue 관찰성 지표는 Amazon CloudWatch에 게시됩니다.
AWS Glue 서버리스 Spark UI 및 관찰성 지표는 AWS Glue 3.0 이상에서 지원되며, AWS Glue가 제공되는 모든 상용 리전에서 사용할 수 있습니다.
자세히 알아보려면 서버리스 Spark UI 및 관찰성 지표에 대한 설명서로 이동하세요.