Jalankan beban kerja interaktif di Amazon EMR pada EC2 dengan Spark Connect
Amazon EMR pada EC2 kini mendukung sesi Apache Spark interaktif dengan Spark Connect. Teknisi data dan ilmuwan data dapat mengembangkan serta debug aplikasi Apache Spark secara interaktif melalui notebook terkelola di Studio Terpadu Amazon SageMaker maupun IDE mereka sendiri, seperti Jupyter dan Visual Studio Code, dengan setiap sesi berjalan pada klaster EMR on EC2 khusus. Anda juga dapat memantau dan men-debug sesi aktif dan sesi yang telah selesai di konsol EMR.
Sesi interaktif menyediakan konteks Spark persisten yang mencakup berbagai sel dan skrip, sehingga memungkinkan Anda memadukan eksekusi kode Python lokal dengan operasi Spark jarak jauh. Arsitektur klien-server Spark Connect memisahkan klien aplikasi Anda dari driver Spark serta memungkinkan Anda mempertahankan lingkungan pengembangan dan tool pilihan Anda, sementara infrastruktur Spark berjalan di klaster. Arsitektur ini mendukung berbagai alur kerja, termasuk eksplorasi data ad hoc, debugging bertahap yang bersifat iteratif, serta pengembangan pekerjaan PySpark secara inkremental sebelum diterapkan ke lingkungan produksi. Untuk observabilitas, Anda mendapatkan pemantauan sesi secara real-time melalui Spark UI, pelacakan riwayat melalui Spark History Server, dan manajemen sesi dari konsol EMR atau API/CLI/SDK.
Interactive Sessions tersedia di Amazon EMR pada EC2 dengan AWS runtime untuk Apache Spark (emr-spark-8.0) dan versi yang lebih baru, di semua AWS Region tempat Amazon EMR tersedia, kecuali Region AWS GovCloud dan Region Tiongkok. Pengalaman Studio Terpadu Amazon SageMaker tersedia di region yang didukung. Untuk memulai, kunjungi panduan sesi interaktif dengan Spark Connect atau panduan memulai Studio Terpadu Amazon SageMaker.