게시된 날짜: Jan 4, 2022
EKS 기반 Amazon EMR이 사용자 지정 이미지 기능을 지원합니다. 이로써 EKS 기반 EMR에서 Apache Spark 애플리케이션을 실행하는 데 사용하는 Docker 컨테이너 이미지를 사용자가 지정할 수 있게 되었습니다. 오늘날 EKS 기반 EMR은 사용자 지정 이미지 검증 툴을 오픈 소스로 제공하여 자동 테스트 제품군 실행을 통한 Docker 컨테이너 이미지 검증을 지원합니다.
사용자 지정 이미지를 사용하면 데이터 엔지니어와 데이터 사이언티스트는 EMR의 Spark 런타임의 기본 배포에 제공되지 않는 워크로드 관련 패키지를 변경 불가능한 단일 컨테이너에 설치하고 구성할 수 있습니다. 사용자 지정 이미지 기능으로 각 사용 사례에 대해 애플리케이션 및 해당 종속성에 관한 독립적 Docker 이미지를 생성할 수 있습니다. 예를 들어 데이터 엔지니어를 위해 애플리케이션에 필요한 특정 Java 버전 및 인증서를 포함하는 개별 이미지를 생성할 수 있으며, 데이터 사이언티스트를 위해 독점 라이브러리 또는 특정 Python 종속성과 같은 다양한 종속성을 포함하는 별도의 사용자 지정 이미지를 생성할 수 있습니다. 따라서 데이터 엔지니어와 데이터 사이언티스트는 EMR on EKS 작업에서 애플리케이션별 사용자 지정 이미지를 사용할 수 있습니다.
사용자 지정 이미지 검증 툴은 AWS의 GitHub 리포지토리에서 다운로드할 수 있습니다. 지침 및 사용 사례를 설정하려면 AWS의 시작 안내서를 방문하세요. 사용자 지정 이미지 검증 툴 지원은 현재 EKS 기반 Amazon EMR 릴리스에서 이용할 수 있습니다. 소스 코드를 참조하려면 Contribution Guide 및 Development Guide를 참조하세요. EKS 기반 EMR의 사용자 지정 이미지에 대한 자세한 내용은 당사의 설명서 및 블로그 게시물을 참조하세요.