Jalankan beban kerja interaktif di Amazon EMR pada EKS dengan Spark Connect
Amazon EMR on EKS kini mendukung sesi Apache Spark interaktif dengan Spark Connect. Insinyur data dan ilmuwan data dapat mengembangkan dan men-debug aplikasi Apache Spark secara interaktif dari notebook terkelola di Studio Terpadu Amazon SageMaker dan IDE mereka sendiri, seperti Jupyter dan Visual Studio Code, dengan Spark berjalan di klaster Amazon EKS yang sudah mereka operasikan.
Sesi interaktif menyediakan konteks Spark persisten yang mencakup berbagai sel dan skrip, sehingga memungkinkan Anda memadukan eksekusi kode Python lokal dengan operasi Spark jarak jauh. Arsitektur klien-server Spark Connect memisahkan klien aplikasi Anda dari driver Spark dan memungkinkan Anda untuk mempertahankan lingkungan pengembangan dan tool yang Anda sukai sementara Spark berjalan di klaster Amazon EKS Anda. Arsitektur ini mendukung alur kerja termasuk eksplorasi data ad hoc dan pengembangan pekerjaan PySpark secara bertahap sebelum diterapkan ke lingkungan produksi. Setiap sesi berjalan sebagai pod pada klaster virtual, diamankan dengan peran eksekusi AWS Identity and Access Management (IAM) Anda dan diberi tag berdasarkan proyek dan pengguna.
Spark Connect pada Amazon EMR di EKS tersedia dengan rilis EMR 7.14 (Apache Spark 3.5) dan emr-spark-8.1.0 (Apache Spark 4.1), di semua Region Komersial AWS. Pengalaman Studio Terpadu Amazon SageMaker tersedia di AWS Region yang didukung.
Untuk memulai, kunjungi dokumentasi Spark Connect di Amazon EMR pada EKS atau panduan Memulai Studio Terpadu Amazon SageMaker.