Spark Connect를 사용하여 Amazon EMR on EKS에서 대화형 워크로드 실행
Amazon EMR on EKS가 이제 Spark Connect를 통한 대화형 Apache Spark 세션을 지원합니다. 데이터 엔지니어와 데이터 과학자는 Amazon SageMaker Unified Studio의 관리형 노트북과 Jupyter, Visual Studio Code 같은 자체 IDE에서 Apache Spark 애플리케이션을 대화형으로 개발하고 디버깅할 수 있으며, Spark는 이미 운영 중인 Amazon EKS 클러스터에서 실행됩니다.
대화형 세션은 셀과 스크립트에 걸쳐 있는 Spark 컨텍스트를 제공하므로 로컬 Python 코드 실행과 원격 Spark 작업을 결합할 수 있습니다. Spark Connect의 클라이언트-서버 아키텍처는 애플리케이션 클라이언트와 Spark 드라이버를 분리하므로 Spark가 Amazon EKS 클러스터에서 실행되는 동안 사용자가 선호하는 개발 환경과 도구를 유지할 수 있습니다. 이 아키텍처는 임시 데이터 탐색, 프로덕션 배포 전 점진적인 PySpark 작업 개발을 포함한 워크플로를 지원합니다. 각 세션은 AWS Identity and Access Management(IAM) 실행 역할로 보호되고 프로젝트 및 사용자별로 태그가 지정된 가상 클러스터에서 포드로 실행됩니다.
Amazon EMR on EKS의 Spark Connect는 모든 AWS 상용 리전에서 EMR 릴리스 7.14(Apache Spark 3.5) 및 emr-spark-8.1.0(Apache Spark 4.1)과 함께 사용할 수 있습니다. Amazon SageMaker Unified Studio 환경은 지원되는 AWS 리전에서 사용할 수 있습니다.
시작하려면 Amazon EMR on EKS의 Spark Connect 설명서 또는 Amazon SageMaker Unified Studio 시작 안내서를 참조하세요.