Spark Connect를 사용하여 Amazon EMR on EC2에서 대화형 워크로드 실행
Amazon EMR on EC2가 이제 Spark Connect를 통한 대화형 Apache Spark 세션을 지원합니다. 데이터 엔지니어와 데이터 과학자는 Amazon SageMaker Unified Studio의 관리형 노트북과 Jupyter, Visual Studio Code 같은 자체 IDE에서 Apache Spark 애플리케이션을 대화형으로 개발하고 디버깅할 수 있으며, 각 세션은 전용 EMR on EC2 클러스터에서 실행됩니다. EMR 콘솔에서 활성 세션과 완료된 세션을 모니터링하고 디버그할 수도 있습니다.
대화형 세션은 셀과 스크립트에 걸쳐 있는 Spark 컨텍스트를 제공하므로 로컬 Python 코드 실행과 원격 Spark 작업을 결합할 수 있습니다. Spark Connect의 클라이언트-서버 아키텍처는 애플리케이션 클라이언트와 Spark 드라이버를 분리하므로 Spark 인프라가 클러스터에서 실행되는 동안 사용자가 선호하는 개발 환경과 도구를 유지할 수 있습니다. 이 아키텍처는 임시 데이터 탐색, 반복적인 단계별 디버깅, 프로덕션 배포 전 점진적인 PySpark 작업 개발을 포함한 워크플로를 지원합니다. 관찰성을 위해 Spark UI를 통한 실시간 세션 모니터링, Spark History Server를 통한 기록 추적, EMR 콘솔 또는 API/CLI/SDK의 세션 관리를 이용할 수 있습니다.
대화형 세션은 AWS GovCloud 리전과 중국 리전을 제외하고 Amazon EMR이 제공되는 모든 AWS 리전에서 Apache Spark(emr-spark-8.0)용 AWS 런타임을 통해 Amazon EMR on EC2에서 사용할 수 있습니다. Amazon SageMaker Unified Studio 환경은 지원되는 리전에서 사용할 수 있습니다. 시작하려면 Spark Connect를 통한 대화형 세션 설명서 또는 Amazon SageMaker Unified Studio 시작 안내서를 참조하세요.