게시된 날짜: Dec 9, 2020
Amazon EMR on Amazon EKS는 Amazon EMR에 새로운 배포 옵션을 제공하여 Amazon Elastic Kubernetes Service(Amazon EKS)에서 Apache Spark를 실행할 수 있게 합니다. 이미 Amazon EMR을 사용하고 있다면, 지금 동일한 Amazon EKS 클러스터에서 다른 유형의 애플리케이션과 함께 Amazon EMR 기반 애플리케이션을 실행하여 여러 AWS 가용 영역에서 리소스 활용을 개선하고 인프라 관리를 간소화할 수 있습니다. Amazon EKS에서 이미 빅 데이터 프레임워크를 실행하고 있는 경우 Amazon EMR을 사용해 프로비저닝과 관리를 자동화하고 Apache Spark를 최대 3배 빠르게 실행할 수 있습니다. 이 같은 배포 옵션 덕분에 Amazon EMR on Amazon EKS가 컨테이너를 구축, 구성 및 관리하는 동안 분석 워크로드를 실행할 수 있습니다.
시작하려면 먼저 Amazon EMR에 EKS를 등록하세요. 그런 다음 EMR 릴리스 버전, Spark 파라미터 및 애플리케이션 종속성 등의 작업을 정의합니다. Amazon EMR on Amazon EKS는 Amazon EKS 클러스터에 팟, 컨테이너 및 리소스의 일정을 예약합니다. 서버리스 경험을 원한다면 Amazon EC2 instances 또는 Amazon Fargate에서 실행할 작업을 구성할 수 있습니다. Amazon Managed Workflows for Apache Airflow 또는 Apache Airflow를 생성하여 Amazon S3 또는 Amazon CloudWatch에 저장된 작업 로그당 결과를 분석할 수 있습니다.
노트북을 사용해 작업을 제출할 수 있도록 EMR Studio가 통합 개발 환경(IDE)을 제공하므로 데이터 사이언티스트와 데이터 엔지니어는 R, Python, Scala 및 PySpark에서 작성한 데이터 엔지니어링 및 데이터 사이언스 애플리케이션을 쉽게 개발, 시각화 및 디버그할 수 있습니다.
Amazon EMR on EKS 요금은 Amazon EKS 팟이 일정을 예약한 시간부터 Amazon EKS 팟이 종료되는 시간까지 사용된 vCPU와 메모리 리소스를 토대로 계산되며 최소 1분 단위로 가장 가까운 초 단위까지 반올림됩니다. 요금은 요청된 vCPU 및 작업 또는 팟의 메모리 리소스를 기반으로 합니다.
Amazon EMR on Amazon EKS는 미국 서부(오레곤), 미국 동부(버지니아 북부) 및 유럽(아일랜드) AWS 리전에서 사용할 수 있습니다.
자세한 내용은 Amazon EMR on Amazon EKS 세부 정보 페이지 및 AWS 뉴스 블로그 게시물을 참조하세요.