Katalog Data AWS Glue menawarkan pengoptimalan otomatis tingkat lanjut untuk tabel Apache Iceberg
Katalog Data AWS Glue kini menawarkan pengoptimalan otomatis tingkat lanjut untuk tabel Apache Iceberg. Pembaruan ini mencakup dukungan pemadatan file hapus, tipe data bersarang, komit kemajuan parsional, dan dukungan evolusi partisi, sehingga lebih mudah untuk mempertahankan danau data transaksional yang berkinerja konsisten. Fitur-fitur ini mengatasi tantangan yang dihadapi oleh pelanggan dengan data streaming yang terus dicerna ke tabel Apache Iceberg, menghasilkan sejumlah besar file hapus yang melacak perubahan dalam file data.
Dengan kemampuan baru ini, Glue Data Catalog terus memantau partisi tabel untuk menghapus file posisi dan kesetaraan, memulai proses pemadatan, dan secara teratur melakukan sebagian kemajuan untuk mengurangi konflik. Pengoptimal Katalog Glue sekarang mendukung evolusi skema saat Anda menyusun ulang atau mengganti nama kolom serta evolusi spesifikasi partisi. Selain itu, Glue Catalog telah memperluas dukungan untuk data kompleks yang sangat bersarang dan dukungan untuk codec kompresi parket - zstd, brotli, lz4, gzip, snappy. Mengaktifkan pemadatan otomatis mengurangi biaya penghapusan file dan metadata pada tabel Iceberg Anda dan meningkatkan kinerja kueri. Fitur-fitur baru ini secara otomatis diterapkan ke pengoptimal Glue Catalog yang ada dan baru.
Selain konsol AWS, pelanggan juga dapat menggunakan AWS CLI atau AWS SDK untuk mengotomatiskan pengoptimalan tabel Apache Iceberg. Fitur ini tersedia di 14 AWS Region AS Timur (Virginia Utara, Ohio), AS Barat (Oregon), Eropa (Irlandia, London, Frankfurt, Stockholm), Kanada (Pusat), Asia Pasifik (Tokyo, Seoul, Mumbai, Singapura, Sydney), Amerika Selatan (Sao Paulo). Untuk mempelajari lebih lanjut, baca blog, dan kunjungi dokumentasi Katalog Data AWS Glue.