게시된 날짜: Jul 31, 2023
Amazon EMR Serverless는 데이터 분석가 및 엔지니어가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 Apache Spark, Apache Hive 등의 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 지원하는 서버리스 옵션입니다. 오늘부터 EMR Serverless API를 직접적으로 호출하여 애플리케이션 UI를 볼 수 있습니다. 예를 들어 실행 중인 작업을 위한 라이브 Spark UI 또는 Tez UI와 완료된 작업을 위한 Spark History Server 또는 영구 Tez UI를 볼 수 있습니다.
Spark 또는 Hive 워크로드는 Apache Airflow, AWS Step Functions 등과 같은 오케스트레이션 도구를 사용하여 제출되는 경우가 많습니다. 실행 중인 작업은 라이브 애플리케이션 UI로, 완료된 작업은 영구 애플리케이션 UI로 이동할 수 있다면 이러한 파이프라인을 모니터링하는 데 유용합니다. EMR Serverless 애플리케이션 UI는 EMR Studio UI에서 사용할 수 있지만, API를 선호하는 사용자의 경우, 이제 get-dashboard-for-job-run API를 사용하여 애플리케이션 UI를 볼 수 있는 보안 URL을 확보할 수 있습니다.
이 기능은 Amazon EMR Serverless가 제공되는 모든 리전에서 사용할 수 있습니다.