Amazon S3 sekarang mendukung pemadatan format Apache Avro dan ORC untuk tabel Apache Iceberg
Amazon S3 telah memperluas dukungan pemadatan untuk menyertakan format Apache Avro dan ORC untuk tabel Apache Iceberg, melengkapi kemampuan format Parquet yang ada. Peningkatan ini bekerja di Tabel S3 dan untuk bucket S3 tujuan umum menggunakan pengoptimalan Katalog Data AWS Glue.
Meskipun Parquet adalah format default untuk tabel Iceberg, Anda juga dapat menulis data dalam format Avro atau ORC untuk beban kerja tertentu. Misalnya, Anda dapat menggunakan Avro untuk meningkatkan kinerja penulisan untuk penyerapan data dan kasus penggunaan streaming seperti transaksi pembelian harian, streaming data sensor, atau pengumpulan tayangan iklan. Tabel S3 secara otomatis memadatkan file kecil menjadi file yang lebih besar untuk meminimalkan data yang dipindai, meningkatkan kinerja kueri, dan mengurangi biaya. Secara default, pemadatan mengonversi file Avro dan ORC ke Parquet untuk kinerja baca yang optimal, tetapi Anda dapat menentukan format target pilihan Anda di properti tabel Anda.
Dukungan pemadatan untuk format Apache Avro dan ORC sekarang tersedia di semua AWS Region di mana Tabel S3 atau pengoptimalan dengan Katalog Data AWS Glue tersedia. Untuk mempelajari selengkapnya tentang pemadatan Tabel S3, lihat dokumentasi pemeliharaan Tabel S3. Untuk optimasi bucket tujuan umum, lihat dokumentasi pengoptimalan Katalog Data AWS Glue.