AWS Glue 대화형 세션, 이제 대화형 워크로드를 위한 Spark Connect 지원
AWS Glue 대화형 세션이 Apache Spark Connect를 지원합니다. 이제 Amazon SageMaker Unified Studio의 관리형 노트북이나 선호하는 노트북 환경, 그리고 Jupyter, Visual Studio Code 등의 IDE를 포함한 원하는 환경에서 Apache Spark 애플리케이션을 개발하고 실행할 수 있습니다. 클러스터를 관리할 필요 없이 AWS Glue의 서버리스 인프라에서 실행하면 됩니다.
Spark Connect를 사용하면 클라이언트 애플리케이션을 Spark 실행 환경에서 분리하는 씬 클라이언트 아키텍처를 사용하여 AWS Glue 대화형 세션에 Spark 작업을 제출할 수 있습니다. 따라서 프로덕션 환경에 배포하기 전 임시 데이터 탐색, 반복적인 단계별 디버깅, 점진적 PySpark 작업 개발과 같은 워크플로를 모두 이미 사용 중인 도구로 유지할 수 있습니다. 또한 Spark Connect는 서버 측 Spark 런타임에서 클라이언트 종속성을 분리하여 업그레이드를 간소화하고 안정성을 개선합니다. 관찰성을 위해 Spark UI를 통한 실시간 세션 모니터링, Spark History Server를 통한 기록 추적, 그리고 AWS Glue API, CLI 또는 SDK를 사용한 세션 관리가 가능합니다.
Spark Connect를 통한 AWS Glue 대화형 세션은 아시아 태평양(뭄바이, 서울, 싱가포르, 시드니, 도쿄), 캐나다(중부), 유럽(프랑크푸르트, 아일랜드, 런던, 파리, 스톡홀름), 남아메리카(상파울루), 미국 동부(오하이오, 버지니아 북부), 미국 서부(오리건)에서 사용할 수 있습니다.
시작하려면 Amazon SageMaker Unified Studio의 노트북, Python 인터프리터를 포함한 선호하는 IDE 또는 AWS API, SDK, CLI를 사용하여 Spark Connect를 통해 Glue 대화형 세션에 연결하세요. 자세한 내용은 AWS Glue 대화형 세션 설명서를 확인하세요.