게시된 날짜: Nov 22, 2022

대화형 Spark 워크로드에 대해 EMR Studio Jupyter Notebook 세션 내 Spark 속성 구성을 지원하게 되었다는 기쁜 소식을 알려드립니다. EKS 기반 Amazon EMR은 고객이 Amazon EKS에서 Apache Spark와 같은 오픈 소스 빅 데이터 프레임워크를 효율적으로 실행할 수 있도록 합니다. EKS 기반 Amazon EMR 고객은 관리형 엔드포인트(평가판 사용 가능)를 설정하고 사용하여 EMR Studio와 같은 통합 개발 환경(IDE)을 사용하는 대화형 워크로드를 실행할 수 있습니다.

데이터 사이언티스트와 엔지니어는 EMR Studio Jupyter Notebook을 EKS 기반 EMR과 함께 사용하여 Python, PySpark 또는 Scala로 작성된 애플리케이션을 개발, 시각화 및 디버그할 수 있습니다. 이 릴리스를 통해 고객은 이제 노트북 세션 내에서 드라이버 및 실행기 CPU/메모리, 실행기 수, 패키지 종속성과 같은 Spark 설정을 사용자 지정할 수 있으며 이를 통해 관리형 단일 엔드포인트를 사용하여 다양한 전산 워크로드 또는 다양한 데이터 양을 처리할 수 있습니다.

노트북 세션 내에서 다른 Spark 설정을 적용하는 방법에 대해 자세히 알아보려면 설명서를 참조하세요. 관리형 엔드포인트에 대한 세션 내 구성 지원은 EKS 기반 Amazon EMR 6.9 릴리스 이상에서 지원되며 현재 EKS 기반 Amazon EMR을 사용할 수 있는 모든 리전에서 사용할 수 있습니다.