AWS Glue Veri Kataloğu artık Apache Iceberg tablolarının depolama optimizasyonunu destekliyor
AWS Glue Veri Kataloğu artık ihtiyaç duyulmayan veri dosyalarını otomatik olarak kaldırarak Apache Iceberg tablolarının depolama optimizasyonunu destekliyor. Bir Iceberg tablosuna yapılan her yazma işlemi, tablonun yeni bir anlık görüntüsünü veya sürümünü oluşturur. Buna ek olarak, Iceberg tablolarına yazma sırasında meydana gelen herhangi bir hata, "yetim" dosyalar olarak bilinen anlık görüntülerde referans verilmeyen veri dosyaları oluşturur. Bu durum, depolama maliyetlerini daha da artırır. AWS Glue kataloğunun yeni depolama optimizasyonları ve otomatik sıkıştırma, meta veri yükünü azaltmanıza, depolama maliyetlerini kontrol etmenize ve sorgu performansını artırmanıza yardımcı olur.
Bu lansman ile AWS Glue kataloğu tablosunun optimizasyonunu anlık görüntü ve yetim veri yönetimini içerecek şekilde etkinleştirebilirsiniz. Varsayılan saklama süresi ve yetim dosyaların saklanacağı gün sayısı gibi yapılandırmalar sağlayarak Amazon S3 düzenini optimize edebilirsiniz. AWS Glue kataloğu etkinleştirildikten sonra tabloları periyodik olarak izler ve tablo meta verilerinden anlık görüntüleri kaldırır. Ayrıca Amazon S3 veri dosyalarını ve artık gerekli olmayan yetim dosyaları da kaldırır. Glue kataloğu konsolundaki tablo optimizasyonu sekmesinden silinen veri, bildirim, bildirim listesi ve yetim dosya sayısı geçmişini görüntüleyebilirsiniz.
AWS konsoluna ek olarak müşteriler, Apache Iceberg tablolarının tablo optimizasyonunu etkinleştirmek için AWS CLI veya AWS SDK'lerini de kullanabilir. Iceberg tabloları için otomatik optimizasyon 13 AWS bölgesinde kullanılabilir: ABD Doğu (Kuzey Virginia, Ohio), ABD Batı (Oregon), Avrupa (İrlanda, Londra, Frankfurt, Stokholm), Asya Pasifik (Tokyo, Seul, Mumbai, Singapur, Sidney), Güney Amerika (São Paulo). Daha fazla bilgi edinmek için blogu okuyun ve AWS Glue Veri Kataloğu belgelerini ziyaret edin.