AWS mengumumkan dukungan untuk vektor penghapusan Apache Iceberg V3 dan garis turunan baris
AWS sekarang mendukung vektor penghapusan dan garis turunan seperti yang didefinisikan dalam spesifikasi Apache Iceberg Version 3 (V3). Fitur-fitur baru ini tersedia dengan Apache Spark di Amazon EMR 7.12, AWS Glue, notebook Amazon SageMaker, Tabel Amazon S3, dan Katalog Data AWS Glue.
Kemampuan Iceberg V3 ini membantu pelanggan membangun danau data skala petabyte dengan kinerja yang ditingkatkan untuk modifikasi data dan fungsionalitas untuk melacak catatan yang diubah dengan mudah. Vektor penghapusan menulis file hapus yang dioptimalkan yang mempercepat pipeline data dan mengurangi biaya pemadatan data. Garis turunan baris menyediakan bidang metadata pada setiap catatan untuk melacak perubahan dengan kueri SQL sederhana, menghilangkan biaya komputasi untuk menemukan perubahan kecil dalam tabel besar.
Mulailah membuat tabel V3 dengan mengatur properti tabel ke 'format-version = 3' dalam perintah CREATE TABLE di Spark atau buku catatan SageMaker. Untuk meng-upgrade tabel yang ada, cukup perbarui properti tabel dalam metadata dengan versi format baru. Ketika Anda melakukan ini, mesin kueri AWS yang mendukung V3 akan secara otomatis mulai menggunakan vektor penghapusan dan garis turunan baris.
Vektor penghapusan Iceberg V3 dan garis turunan baris sekarang tersedia di semua AWS Region tempat setiap layanan/fitur masing-masing—Amazon EMR, AWS Glue, notebook SageMaker, Tabel S3, dan Katalog Data AWS Glue—didukung. Untuk mempelajari lebih lanjut tentang dukungan AWS untuk Iceberg V3, kunjungi Apache Iceberg V3 di AWS, dan baca posting blog.