Amazon EMR on EC2 で Spark Connect を使用してインタラクティブなワークロードを実行
Amazon EMR on EC2 が、Spark Connect を使用したインタラクティブな Apache Spark セッションをサポートするようになりました。データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studio のマネージドノートブックや、Jupyter、Visual Studio Code などの自身の IDE から、専用の EMR on EC2 クラスター上で実行される各セッションを通じて、インタラクティブに Apache Spark アプリケーションを開発およびデバッグできます。また、EMR コンソールから、アクティブなセッションや完了したセッションのモニタリングやデバッグを行うこともできます。
インタラクティブセッションでは、セルやスクリプトをまたいで維持される永続的な Spark コンテキストが提供され、ローカルでの Python コード実行とリモートでの Spark 操作をシームレスに組み合わせることができます。Spark Connect のクライアント/サーバーアーキテクチャは、アプリケーションクライアントを Spark ドライバーから分離するため、Spark インフラストラクチャをクラスター上で実行しながら、使い慣れた開発環境やツールを引き続き利用できます。このアーキテクチャは、本番環境へのデプロイ前に行う、アドホックなデータ探索、反復的なステップバイステップのデバッグ、PySpark ジョブのインクリメンタル開発などのワークフローをサポートします。オブザーバビリティについては、Spark UI によるリアルタイムのセッションモニタリング、Spark History Server による履歴追跡、EMR コンソールまたは API/CLI/SDK からのセッション管理を利用できます。
インタラクティブセッションは、Apache Spark (emr-spark-8.0 以降) 向け AWS ランタイムを搭載した Amazon EMR on EC2 において、AWS GovCloud リージョンおよび中国リージョンを除く、Amazon EMR が利用可能なすべての AWS リージョンでご利用いただけます。Amazon SageMaker Unified Studio エクスペリエンスは、サポートされているリージョンでご利用いただけます。使用を開始するには、Spark Connect によるインタラクティブセッションガイドまたは Amazon SageMaker Unified Studio 入門ガイドを参照してください。