게시된 날짜: Sep 26, 2023
Amazon EMR Serverless는 데이터 분석가와 엔지니어가 클러스터 또는 서버를 구성, 관리 및 확장할 필요 없이 Apache Spark, Apache Hive 등의 오픈 소스 빅 데이터 분석 프레임워크를 실행하는 데 도움이 되는 서버리스 옵션입니다. 오늘부터 애플리케이션 수준에서 기본 구성을 설정하여 동일한 애플리케이션에서 제출된 모든 Spark 및 Hive 작업에 대해 일관된 설정을 유지할 수 있게 되었음을 발표합니다.
이 새 기능을 통해 애플리케이션 내 모든 작업에 대한 기본 설정을 정의하여 작업 동작을 표준화할 수 있습니다. 메모리, 실행기/드라이버 코어, 로그 저장용 S3 위치, AWS Secrets Manager에서 암호를 검색하는 등을 비롯한 이러한 설정은 애플리케이션에서 생성되는 모든 작업에 자동으로 적용되며 특정 작업 실행에 맞게 구성을 사용자 지정할 수 있는 유연성을 제공합니다. 예를 들어 애플리케이션 구성에서 암호와 함께 외부 Hive 메타스토어 데이터베이스의 자격 증명을 지정할 수 있으며 이러한 기본 구성은 해당 애플리케이션에서 실행되는 모든 작업에 상속됩니다. 이 중앙 집중식 접근 방식을 사용하면 구성을 더 예측 가능하고 작업을 더 쉽게 재현하는 것이 가능합니다.