AWS, Apache Iceberg V3 silme vektörleri ve satır kökenleri için destek duyurdu
AWS artık Apache Iceberg Sürüm 3 (V3) spesifikasyonunda tanımlandığı gibi silme vektörlerini ve satır kökenini desteklemektedir. Bu yeni özellikler Amazon EMR 7.12, AWS Glue, Amazon SageMaker not defterleri, Amazon S3 Tabloları ve AWS Glue Veri Kataloğu'nda Apache Spark ile kullanılabilir.
Bu Iceberg V3 özellikleri, müşterilerin veri değişiklikleri ve değiştirilen kayıtları kolayca takip etmek için işlevsellik için gelişmiş performansa sahip petabayt ölçekli veri gölleri oluşturmasına yardımcı olur. Silme vektörleri, veri işlem hatlarını hızlandıran ve veri sıkıştırma maliyetlerini azaltan optimize edilmiş silme dosyaları yazar. Satır kökenleri, basit bir SQL sorgusuyla değişiklikleri izlemek için her kayıtta meta veri alanları sağlar ve büyük tablolarda küçük değişiklikler bulmanın işlem masrafını ortadan kaldırır.
Spark veya bir SageMaker not defterindeki CREATE TABLE komutundaki tablo özelliğini 'format-version = 3' olarak ayarlayarak V3 tabloları oluşturmaya başlayın. Mevcut tabloları yükseltmek için meta verilerdeki tablo özelliğini yeni format sürümüyle güncelleştirmeniz yeterlidir. Bunu yaptığınızda, V3'ü destekleyen AWS sorgu motorları otomatik olarak silme vektörlerini ve satır kökenini kullanmaya başlar.
Iceberg V3 silme vektörleri ve satır kökenleri artık ilgili hizmetlerin (Amazon EMR, AWS Glue, SageMaker not defterleri, S3 Tabloları ve AWS Glue Veri Kataloğu'nun) desteklendiği tüm AWS Bölgelerinde kullanılabilir. Iceberg V3 için AWS desteği hakkında daha fazla bilgi edinmek için AWS'de Apache Iceberg V3'ü ziyaret edin ve blog gönderisini okuyun.