AWS Glue, uzak Apache Iceberg katalogları için katalog federasyonunu duyurdu
AWS Glue, uzak Iceberg katalogları için katalog federasyonunun genel kullanılabilirliğini duyurdu. Bu özellik, Amazon S3'te depolanan ve AWS analiz motorları kullanılarak uzak kataloglarda kataloglanan Iceberg tablolarına doğrudan ve güvenli erişim sağlar.
Katalog federasyonuyla, tabloları taşımadan veya kopyalamadan tercih ettiğiniz AWS analiz motorlarını kullanarak uzak Iceberg kataloglarıyla birleştirebilir, uzak Iceberg tablolarını sorgulayabilirsiniz. Veri ekipleri uzak tabloları sorguladıklarında, AWS Glue Veri Kataloğu ve uzak kataloglar arasında meta verileri gerçek zamanlı olarak senkronize eder, bu da sorgu sonuçlarının her zaman tamamen güncel olduğu anlamına gelir. Artık tercih ettiğiniz AWS analiz motorlarını kullanarak uzak Iceberg tablolarını analiz ederken iş yükleriniz için en iyi fiyat performansı seçebilirsiniz ve verileri keşfederken veya sorgularken güvenlik denetimlerinin tutarlılığından taviz vermezsiniz. Katalog federasyonu, Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, Apache Spark gibi üçüncü taraf motorlar ve sunucusuz not defterlerine sahip Amazon SageMaker dahil olmak üzere çeşitli analiz motorları tarafından desteklenir.
Katalog federasyonu, erişim denetimleri için AWS Lake Formation'u kullanarak, uzak katalog tablolarını diğer veri tüketicileriyle paylaşırken ayrıntılı erişim denetimlerini, hesaplar arası paylaşımı ve güvenilir kimlik yayılımını kullanmanıza olanak tanır. Katalog federasyonu, Iceberg REST özelliklerini destekleyen katalog uygulamalarıyla entegre olur.
Katalog federasyonu, Lake Formation konsolunda ve AWS Glue ve Lake Formation SDK'ları ve API'leriyle kullanılabilir. Bu özellik genellikle AWS Glue ve Lake Formation'un kullanılabildiği tüm AWS ticari bölgelerinde kullanılabilir. Konsolda sadece birkaç tıklamayla AWS analiz motorlarını kullanarak uzak kataloglarla birleşme gerçekleştirebilir, veri tabanlarını ve tablolarını keşfedebilir, tablo verilerine erişim izni verebilir ve uzak Iceberg tablolarını sorgulayabilirsiniz. Daha fazla bilgi edinmek için belgeleri inceleyin.