Amazon EMR on EKS で Spark Connect を使用してインタラクティブなワークロードを実行
Amazon EMR on EKS では、Spark Connect を使用したインタラクティブな Apache Spark セッションがサポートされるようになりました。データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studio のマネージドノートブックや、Jupyter、Visual Studio Code などの自身の IDE から、インタラクティブに Apache Spark アプリケーションを開発およびデバッグできます。Spark は、既に運用している Amazon EKS クラスターで実行されます。
インタラクティブセッションでは、セルやスクリプトをまたいで維持される永続的な Spark コンテキストが提供され、ローカルでの Python コード実行とリモートでの Spark 操作をシームレスに組み合わせることができます。Spark Connect のクライアント/サーバーアーキテクチャは、アプリケーションクライアントを Spark ドライバーから分離するため、Spark を Amazon EKS クラスター上で実行しながら、使い慣れた開発環境やツールを引き続き利用できます。このアーキテクチャは、本番環境へのデプロイ前に行う、アドホックなデータ探索や PySpark ジョブの段階的な開発などのワークフローをサポートします。各セッションは仮想クラスターでポッドとして実行され、AWS Identity and Access Management (IAM) 実行ロールで保護されるとともに、プロジェクトおよびユーザー単位でタグ付けされます。
Amazon EMR on EKS の Spark Connect は、すべての AWS 商用リージョンにおいて、EMR リリース 7.14 (Apache Spark 3.5) および emr-spark-8.1.0 (Apache Spark 4.1) で利用できます。Amazon SageMaker Unified Studio エクスペリエンスは、サポートされている AWS リージョンで利用できます。
使用を開始するには、Amazon EMR on EKS の Spark Connect に関するドキュメントまたは Amazon SageMaker Unified Studio の開始方法に関するガイドを参照してください。