게시된 날짜: Jan 6, 2023
Amazon EMR Serverless는 Amazon EMR의 Serverless 옵션으로 데이터 엔지니어 및 데이터 과학자가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 합니다. 오늘 EMR Serverless에서 Apache Spark 및 Hive용 이미지를 사용자 지정할 수 있다는 소식을 전하게 되어 기쁩니다. 즉, 이미지에 애플리케이션 종속성 또는 사용자 지정 코드를 패키징하여 Spark 및 Hive 워크로드 실행을 간소화할 수 있습니다.
사용자 지정 이미지를 실행하면 수 많은 빅 데이터 분석 사용 사례를 간소화할 수 있습니다. 예를 들어 데이터 엔지니어는 기본 릴리스 이미지를 사용자 지정하여 공통 종속성, 사용자 지정 코드, 특정 Java 또는 Python 버전 또는 워크로드에 필요한 SSL 인증서를 패키징할 수 있습니다. 그런 다음 Amazon Elastic Container Repository(ECR)에 이러한 사용자 지정 이미지를 저장하여 사용자 지정 종속성이 있는 Spark 워크로드를 쉽게 실행할 수 있습니다. 보안 엔지니어는 이러한 이미지를 스캔하여 조직 표준을 준수할 수 있습니다. 데이터 과학자는 독점 라이브러리 또는 특정 Python 패키지를 포함하도록 런타임 이미지를 사용자 지정할 수 있습니다. 또한 EMR Serverless 릴리스를 조직의 Docker 빌드, 테스트 및 배포 프로세스와 직접 통합하여 애플리케이션의 지속적 통합 및 지속적 전달(CI/CD)을 간소화할 수 있습니다.
애플리케이션 종속성을 포함하도록 특정 릴리스의 EMR 런타임을 사용자 지정하는 방법에 대한 자세한 내용은 설명서를 참조하세요.
이 기능은 EMR Serverless가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. Amazon EMR Serverless의 리전별 가용성을 보려면 자주 묻는 질문을 참조하십시오.