Amazon EMR memungkinkan kemampuan Apache Spark yang ditingkatkan untuk tabel Lake Formation dengan akses tabel penuh
Amazon EMR sekarang mendukung operasi baca dan tulis dari pekerjaan Apache Spark pada tabel terdaftar AWS Lake Formation ketika peran pekerjaan memiliki akses tabel penuh. Kemampuan ini mengaktifkan operasi Bahasa Manipulasi Data (DML) termasuk pernyataan CREATE, ALTER, DELETE, UPDATE, dan MERGE INTO pada tabel Apache Hive dan Iceberg dari dalam aplikasi Apache Spark yang sama.
Sementara kontrol akses terperinci (FGAC) Lake Formation menawarkan kontrol keamanan terperinci di tingkat baris, kolom, dan sel, banyak beban kerja ETL hanya memerlukan akses tabel penuh. Fitur baru ini memungkinkan Apache Spark untuk langsung membaca dan menulis data saat akses tabel penuh diberikan, menghapus batasan FGAC yang sebelumnya membatasi operasi ETL tertentu. Anda sekarang dapat memanfaatkan kemampuan Spark tingkat lanjut termasuk RDD, pustaka kustom, UDF, dan citra kustom (AMI untuk EMR pada EC2, citra kustom untuk EMR-Serverless) dengan tabel Lake Formation. Selain itu, tim data dapat menjalankan aplikasi Spark yang kompleks dan interaktif melalui SageMaker Unified Studio dalam mode kompatibilitas sambil mempertahankan batasan keamanan tingkat tabel Lake Formation.
Fitur ini tersedia di semua AWS Region tempat Amazon EMR dan AWS Lake Formation didukung.
Untuk mempelajari lebih lanjut tentang fitur ini, kunjungi bagian akses tanpa filter Lake Formation dalam dokumentasi EMR Serverless.