Amazon Redshift aggiunge il supporto per la creazione e l'aggiornamento delle viste materializzate di Apache Iceberg
Amazon Redshift ora supporta la creazione e l'aggiornamento delle viste materializzate di Apache Iceberg. Le viste materializzate precalcolano join e aggregazioni costosi una sola volta e archiviano i risultati in una tabella Apache Iceberg in Amazon S3 o nei bucket di tabelle Amazon S3, registrati nel Catalogo dati di AWS Glue. Le viste materializzate vengono create utilizzando il linguaggio SQL comune: CREATE MATERIALIZED VIEW... USING ICEBERG e i risultati possono essere interrogati immediatamente da qualsiasi motore compatibile con Iceberg, tra cui Amazon Athena, Apache Spark su Amazon EMR e AWS Glue, e motori di terze parti come Trino o Snowflake. Redshift li mantiene aggiornati ricalcolando solo ciò che è cambiato tramite l'aggiornamento incrementale manuale e, poiché i risultati sono tabelle Iceberg nel Catalogo dati di AWS Glue, vengono gestiti e individuati come qualsiasi altra tabella del catalogo.
I team di dati spesso creano analisi in più fasi, unendo diversi motori per ripulire e trasformare i dati grezzi prima di renderli disponibili. Ciò aumenta il sovraccarico di orchestrazione della pipeline e può introdurre differenze semantiche tra i motori. Le viste materializzate Iceberg offrono valore in due modi. Innanzitutto, anziché fare in modo che centinaia di utenti e team eseguano ripetutamente gli stessi costosi join e aggregazioni ed eseguano nuovamente la scansione delle tabelle di origine a ogni query, è possibile calcolare il risultato una volta sola e fare in modo che tutti leggano la tabella precalcolata. In secondo luogo, puoi eseguire una pipeline end-to-end utilizzando un unico motore come Apache Spark e ora Amazon Redshift, e ogni consumer a valle condivide lo stesso risultato aperto senza il sovraccarico di orchestrare più motori. In entrambi i casi, l'output è una tabella Iceberg aperta che qualsiasi motore può leggere senza copie o conversioni. Puoi comunque caricare queste tabelle in Redshift Managed Storage (RMS) come viste materializzate RMS native per i tuoi dashboard più sensibili alle prestazioni.
Puoi creare viste materializzate Iceberg in qualsiasi regione in cui sono supportate le istanze Redshift serverless e Graviton con provisioning. Per ulteriori informazioni, consulta Viste materializzate archiviate come tabelle Apache Iceberg nella Amazon Redshift Database Developer Guide, il riferimento al comando CREATE MATERIALIZED VIEW e il post del blog Materializza una volta, esegui query ovunque.