Amazon EMR memperkenalkan Dukungan Jangka Panjang dengan Apache Spark 4.1
Amazon EMR memperkenalkan rilis Dukungan Jangka Panjang (LTS), dimulai dengan emr-spark-8.1.0 dan Apache Spark 4.1. Dengan LTS, versi tertentu dari runtime AWS untuk Apache Spark mendapatkan dukungan selama 36 bulan. Amazon EMR menyediakan rilis LTS dengan perbaikan untuk masalah keamanan, bug, dan kerusakan data yang kritis dan sangat serius, tergantung ketersediaan. LTS membantu Anda menjalankan beban kerja produksi Spark pada satu rilis lebih lama dan melakukan peningkatan sesuai jadwal Anda sendiri, tanpa biaya tambahan.
Rilis ini menambahkan dukungan penuh untuk Apache Iceberg v3, menghadirkan kemampuan geospasial baru, stempel waktu presisi tinggi, dan evolusi skema ke tabel Anda. Kueri Spark SQL dapat merujuk katalog berdasarkan nama, termasuk katalog lintas akun dan Tabel Amazon S3, dan secara otomatis mendeteksi format tabel Apache Iceberg, Delta Lake, dan Apache Hudi, tanpa perlu mendaftarkan setiap katalog dalam konfigurasi Spark Anda. Kontrol akses yang lebih rinci kini mencakup lebih banyak operasi Apache Iceberg serta operasi VACUUM pada Delta Lake, sehingga Anda dapat menerapkan izin tingkat kolom dan tingkat baris pada cakupan pekerjaan yang lebih luas. Amazon EMR pada klaster EKS kini mendukung titik akhir Spark Connect dengan autentikasi berbasis token.
emr-spark-8.1.0 tersedia di semua AWS Region tempat Amazon EMR tersedia, mencakup Amazon EMR di EC2, Amazon EMR di EKS, dan Amazon EMR Nirserver.
Untuk informasi lebih lanjut, lihat catatan rilis emr-spark-8.1.0 dan kebijakan dukungan standar Amazon EMR. Untuk memulai, buat klaster atau aplikasi EMR dengan emr-spark-8.1.0 dari Konsol Manajemen AWS, atau gunakan Apache Spark Upgrade Agent untuk Amazon EMR untuk memindahkan aplikasi yang sudah ada ke rilis tersebut.