AWS Glue Veri Kataloğu artık yeni tablolar için istatistik oluşturmayı otomatikleştiriyor
AWS Glue Veri Kataloğu artık yeni tablolar için istatistik oluşturmayı otomatikleştiriyor. Bu istatistikler Amazon Redshift ve Amazon Athena'daki maliyet tabanlı optimizasyon aracı (CBO) ile entegredir ve iyileştirilmiş sorgu performansı ile potansiyel maliyet tasarrufları sağlar.
Tablo istatistikleri, bir sorguyu yürütmenin en verimli yolunu belirlemek için Amazon Redshift ve Amazon Athena gibi bir sorgu altyapısı tarafından kullanılır. Daha önce AWS Glue Veri Kataloğu'nda Apache Iceberg tabloları için istatistikler oluşturmak, tablolarınızın yapılandırmalarını sürekli izlemenizi ve güncellemenizi gerektiriyordu. AWS Glue Veri Kataloğu artık tek seferlik katalog yapılandırmasıyla yeni tablolar için otomatik olarak istatistikler oluşturmanıza olanak tanıyor. Lake Formation konsolunda varsayılan kataloğu seçerek ve tablo optimizasyonu yapılandırma sekmesinde tablo istatistiklerini etkinleştirerek başlayabilirsiniz. Yeni tablolar oluşturulurken veya mevcut tablolar güncellendikçe, istatistikler tüm sütunlar için bir satır örneği kullanılarak oluşturulur ve periyodik olarak yenilenir. Apache Iceberg tabloları için bu istatistikler farklı değerlerin sayısını (NDV) içerir. Parquet gibi diğer dosya biçimleri için sıfırların sayısı, maksimum ve minimum değerler ve ortalama uzunluk gibi ek istatistikler toplanır. Amazon Redshift ve Amazon Athena, optimum birleştirme düzeni veya maliyet tabanlı toplama aşağı göndermesi gibi optimizasyonları kullanarak sorguları optimize etmek için güncellenen istatistiklerden yararlanır. Glue Kataloğu konsolu, güncellenmiş istatistikler ve istatistik oluşturma çalışmalarına ilişkin görünürlük sağlar.
AWS Glue Kataloğu istatistiklerine yönelik otomasyon desteği şu AWS bölgelerinde genel olarak kullanılabilir: ABD Doğu (Kuzey Virginia, Ohio), ABD Batı (Kuzey Kaliforniya, Oregon), Avrupa (İrlanda), Asya Pasifik (Tokyo) bölgeleri. Blog gönderisini okuyun ve daha fazla bilgi edinmek için AWS Glue Kataloğu belgelerini ziyaret edin.