Jalankan Beban Kerja Interaktif di Amazon EMR Nirserver dengan Spark Connect
Amazon EMR Nirserver kini mendukung sesi interaktif dengan Spark Connect, memungkinkan Anda untuk mengembangkan dan menjalankan aplikasi Apache Spark dari notebook terkelola di Studio Terpadu Amazon SageMaker, serta lingkungan notebook dan IDE favorit Anda seperti Jupyter dan Visual Studio Code. Anda juga dapat memantau dan men-debug sesi aktif dan yang telah selesai di konsol EMR, serta mendapatkan visibilitas biaya dan penggunaan yang lebih rinci untuk setiap sesi.
Sesi interaktif menyediakan konteks Spark yang berkelanjutan yang secara mulus mencakup seluruh sel dan skrip, memungkinkan Anda untuk menggabungkan eksekusi kode Python lokal dengan operasi Spark jarak jauh dalam lingkungan yang terpadu. Hal ini dimungkinkan berkat arsitektur klien-server Spark Connect, yang memisahkan klien aplikasi Anda dari driver Spark dan memungkinkan Anda untuk mempertahankan lingkungan pengembangan dan tool yang Anda sukai sementara infrastruktur Spark berjalan secara independen di EMR Nirserver. Arsitektur ini membuka alur kerja termasuk eksplorasi data ad hoc, debugging langkah demi langkah secara iteratif, dan pengembangan pekerjaan PySpark secara bertahap sebelum diterapkan ke lingkungan produksi. Untuk observabilitas, Anda mendapatkan pemantauan sesi secara real-time melalui Spark UI, pelacakan riwayat melalui Spark History Server, dan manajemen sesi dari konsol EMR atau API/CLI/SDK.
Spark Connect di Amazon EMR Nirserver tersedia dengan rilis EMR 7.13 di semua AWS Region tempat Amazon EMR Nirserver tersedia. Pengalaman SageMaker Unified Studio tersedia di region yang didukung. Untuk memulai, kunjungi Panduan Pengguna Sesi Interaktif EMR Nirserver atau panduan Memulai Studio Terpadu Amazon SageMaker.