게시된 날짜: Jun 24, 2021
Amazon EMR on Amazon EKS는 고객이 Amazon EMR on EKS에서 Apache Spark 애플리케이션을 실행하는 데 사용되는 도커 컨테이너 이미지를 사용자 지정할 수 있는 새로운 기능인 사용자 지정 이미지에 대한 지원을 발표했습니다. 사용자 지정 이미지를 사용하면 EMR의 Spark 런타임의 퍼블릭 배포에 제공되지 않는 워크로드 관련 패키지를 변경 불가능한 단일 컨테이너에 설치하고 구성할 수 있습니다. 변경 불가능한 컨테이너는 이식성이 쉽고 각 워크로드에 대한 종속성 관리를 단순화할 뿐 아니라, EMR on EKS용 개발 애플리케이션을 자체의 지속적 통합(CI) 파이프 라인과 통합할 수 있도록 지원합니다.
지금까지는 EMR on EKS를 사용하여 애플리케이션 종속성을 적시에 제공하는 방식으로 작업 제출 과정에서 Amazon S3와 같은 외부 스토리지 서비스에서의 종속성을 제출할 수 있었습니다. 이제는 사용자 지정 이미지가 지원되어 각 사용 사례에 대해 애플리케이션 및 해당 종속성에 관한 독립적 도커 이미지를 생성할 수 있습니다. 예를 들어 데이터 엔지니어를 위해 애플리케이션에 필요한 특정 Java 버전 및 인증서를 포함하는 사용자 지정 이미지를 생성할 수 있으며, 데이터 사이언티스트를 위해 독점 라이브러리 또는 특정 Python 종속성과 같은 다양한 종속성을 포함하는 별도의 이미지를 생성할 수 있습니다. 따라서 데이터 엔지니어와 데이터 사이언티스트는 EMR on EKS 작업에서 애플리케이션별 사용자 지정 이미지를 사용할 수 있습니다. 새로운 기능을 사용하면 더 이상 외부에 저장된 라이브러리를 유지 관리, 업데이트 또는 버전 관리할 필요가 없으므로 다른 컨테이너식 애플리케이션이 사용하는 것과 동일한 DevOps 프로세스를 통해 빅 데이터 애플리케이션을 개발할 수 있습니다.
EMR on EKS 작업에 대해 사용자 지정 이미지를 사용하는 작업은 간단합니다. Start-Job-Run API에서 spark.kubernetes.container.image 파라미터를 사용하면 사용하려는 사용자 지정 이미지를 작업에 지정할 수 있습니다. spark.kubernetes.driver.container.image 및 spark.kubernetes.executor.container.image 파라미터를 사용하여 Spark 드라이버 및 실행기 포드에 다른 이미지를 지정할 수도 있습니다.
시작하려면 AWS 뉴스 블로그 및 개요 데모 비디오를 참조하세요. 사용자 지정 이미지는 모든 Amazon EMR on EKS 릴리스에 대해 지원되며 Amazon EMR on EKS가 제공되는 모든 리전에서 사용할 수 있습니다. 설명서를 참고하여 자세히 알아보거나, Amazon EMR on Amazon EKS 세부 정보 페이지를 방문하세요.