Amazon Redshift, Apache Iceberg gerçekleştirilmiş görünümler oluşturmak ve yenilemek için destek ekliyor
Amazon Redshift artık Apache Iceberg gerçekleştirilmiş görünümlerinin oluşturulmasını ve yenilenmesini destekliyor. Gerçekleştirilmiş görünümler, pahalı birleşmeleri ve toplamaları bir kez önceden işler ve sonuçları AWS Glue Veri Kataloğu'na kayıtlı Amazon S3 veya Amazon S3 tablo bucket'larındaki bir Apache Iceberg tablosunda saklar. Gerçekleştirilmiş görünümler kullanmaya alışık olduğunuz SQL komutları ile oluşturulur; CREATE MATERIALIZED VIEW... USING ICEBERG ve sonuçları, Amazon Athena, Amazon EMR'de Apache Spark, AWS Glue ve Trino veya Snowflake gibi üçüncü taraf altyapıları dahil olmak üzere herhangi bir Iceberg ile uyumlu motor tarafından anında sorgulanabilir. Redshift artımlı yenileme ile yeniden işleyerek yalnızca değişenleri güncel tutar ve sonuçlar Glue Veri Kataloğu'nda Iceberg tabloları oldukları için diğer katalog tabloları gibi yönetilir ve keşfedilir.
Veri ekipleri genellikle analizi aşamalar halinde oluşturur ve ham verileri sunmadan önce temizlemek ve dönüştürmek için farklı motorları bir araya getirir. Bu, işlem hattı düzenleme ek giderine sebep olur ve motorlar arasında anlamsal farklılıklar yaratabilir. Iceberg gerçekleştirilmiş görünümleri iki şekilde değer sağlar. Öncelikle, yüzlerce kullanıcı ve ekibin aynı pahalı katılımları ve toplamaları yeniden çalıştırması ve her sorguda kaynak tabloları yeniden taraması yerine, sonucu bir kez işlersiniz ve herkes önceden işlenmiş tabloyu okur. Aynı zamanda, Apache Spark ve artık Amazon Redshift gibi tek bir altyapıyı kullanarak uçtan uca bir işlem hattı çalıştırabilirsiniz ve her alt akış tüketicisi aynı açık sonucu birden fazla altyapıyı düzenlemenin ek gideri olmadan paylaşabilir. Her iki durumda da, bunun sonucu herhangi bir altyapının kopya veya dönüştürme olmadan okuyabileceği açık bir Iceberg tablosudur. Bu tabloları, performansa en duyarlı panolarınız için Redshift Tarafından Yönetilen Depolama'ya (RMS) yerel RMS gerçekleştirilmiş görünümleri olarak yükleyebilirsiniz.
Redshift Sunucusuz ve tedarik edilen Graviton bulut sunucularının desteklendiği herhangi bir bölgede Iceberg Gerçekleştirilmiş Görünümleri oluşturabilirsiniz. Daha fazla bilgi edinmek için Amazon Redshift Veri tabanı Geliştirici Kılavuzu'ndaki Apache Iceberg tabloları olarak depolanan gerçekleştirilmiş görünümlere, CREATE MATERIALIZED VIEW komut referansına ve Bir kez gerçekleştir, her yerde sorgula blog gönderisine bakın.