Amazon EMR kini mendukung Apache Spark 4.0.2 secara umum
Amazon EMR kini mendukung Apache Spark 4.0.2 di ketiga model deployment. Dengan Spark 4.0.2, Anda dapat membangun dan memelihara pipeline data dengan lebih mudah menggunakan tipe data ANSI SQL dan VARIANT, menerapkan kontrol akses terperinci (FGAC) pada tingkat baris atau kolom, memperkuat kerangka kerja kepatuhan dan tata kelola dengan format tabel Apache Iceberg v3, dan menerapkan aplikasi real-time baru lebih cepat dengan kemampuan streaming yang ditingkatkan.
Dengan Spark 4.0.2, Anda dapat membangun pipeline data, menjadikan rekayasa data lebih mudah diakses oleh berbagai pengguna melalui dukungan ANSI SQL standar, sehingga menghilangkan kebutuhan untuk mempelajari sintaks khusus Spark. Spark 4.0.2 secara bawaan mendukung JSON dan data semi-terstruktur melalui tipe data VARIANT, memberikan fleksibilitas untuk menangani beragam format data. Anda dapat menerapkan kontrol akses terperinci (FGAC) pada operasi baca dan tulis untuk tabel yang terdaftar di AWS Lake Formation dalam pekerjaan Apache Spark Anda. Dengan memanfaatkan kemampuan keamanan ini, format tabel Apache Iceberg v3 memberikan jaminan transaksi yang lebih kuat dan melacak silsilah data, menciptakan jejak audit yang diperlukan untuk kepatuhan terhadap peraturan. Kontrol streaming yang disempurnakan menyederhanakan pengelolaan operasi stateful yang kompleks dan meningkatkan pemantauan, memungkinkan Anda untuk menerapkan aplikasi real-time untuk deteksi penipuan, personalisasi, dan kasus penggunaan sensitif waktu lainnya dengan lebih cepat.
Apache Spark 4.0.2 tersedia di semua region tempat EMR tersedia. Jika Anda melakukan peningkatan versi pada aplikasi EMR yang sudah ada, Anda dapat menggunakan agen peningkatan versi Apache Spark untuk mempercepat peningkatan versi tersebut. Untuk mempelajari lebih lanjut tentang Apache Spark 4.0.2 di Amazon EMR, kunjungi catatan rilis Amazon EMR, atau mulai dengan membuat aplikasi EMR dengan Spark 4.0.2 dari Konsol Manajemen AWS.