게시된 날짜: Feb 23, 2022
AWS Glue는 이제 오류 및 성능 병목 현상의 근원을 파악하는 데 도움을 주어 Apache Spark 작업 개발 시간을 줄이는 기능인 작업 실행 인사이트를 제공합니다. AWS Glue는 고객이 서버리스 Apache Spark 및 Python을 사용하여 분석용 데이터를 검색, 준비 및 결합할 수 있는 데이터 통합 서비스입니다. Spark의 분산 처리 및 ‘지연 실행’ 모델은 데이터 엔지니어가 오류를 진단하고 성능을 조정하는 것을 어렵고 시간 소모적으로 만듭니다. 이번 출시로, AWS Glue는 Spark 작업의 오류를 자동으로 분석하고 해석하여 프로세스를 더 빠르게 만듭니다.
작업 실행 인사이트는 작업 실행 실패에 대한 근본 원인 분석을 단순화하고 AWS Glue 및 Apache Spark 모두에 대한 학습 곡선을 평평하게 합니다. 이는 오류가 발생한 코드의 줄 번호를 식별하고 오류 발생 시 AWS Glue 엔진이 수행한 작업에 대한 세부 정보를 제공합니다. 또한 오류를 해석하고 작업 및 코드를 조정하여 문제를 수정하고 성능을 개선하는 방법에 대한 권장 사항을 제공합니다. 이 기능은 AWS Glue가 이전에 제공한 Spark UI 로그와 CloudWatch 로그 및 지표를 보강합니다.
이 기능은 AWS Glue와 동일한 AWS 리전에서 사용할 수 있습니다.
자세히 알아보려면 설명서를 참조하거나 AWS Glue Studio의 작업 모니터링 대시보드에서 실행되는 작업을 확인하세요.