Amazon Redshift bietet Unterstützung für die Erstellung und Aktualisierung materialisierter Ansichten von Apache Iceberg
Amazon Redshift unterstützt jetzt die Erstellung und Aktualisierung materialisierter Ansichten von Apache Iceberg. Materialisierte Ansichten berechnen teure Verknüpfungen und Aggregationen einmalig im Voraus und speichern die Ergebnisse in einer Apache Iceberg-Tabelle in Amazon S3- oder Amazon S3-Tabellen-Buckets, die im AWS-Glue-Datenkatalog registriert sind. Materialisierte Ansichten werden mit vertrautem SQL erstellt – CREATE MATERIALIZED VIEW … USING ICEBERG, und die Ergebnisse können sofort von jeder Iceberg-kompatiblen Engine abgerufen werden, einschließlich Amazon Athena, Apache Spark auf Amazon EMR und AWS Glue sowie Engines von Drittanbietern wie Trino oder Snowflake. Redshift hält sie auf dem neuesten Stand, indem bei manueller inkrementeller Aktualisierung nur das neu berechnet wird, was sich geändert hat. Da es sich bei den Ergebnissen um Iceberg-Tabellen im Glue-Datenkatalog handelt, werden sie wie jede andere Katalogtabelle verwaltet und erkannt.
Datenteams erstellen Analysen oft schrittweise und fügen verschiedene Engines zusammen, um Rohdaten zu bereinigen und zu transformieren, bevor sie bereitgestellt werden. Dies erhöht den Aufwand für die Pipeline-Orchestrierung und kann zu semantischen Unterschieden zwischen den Engines führen. Die materialisierten Ansichten von Iceberg bieten auf zwei Arten einen Mehrwert. Erstens: Anstatt dass Hunderte von Benutzern und Teams dieselben teuren Verknüpfungen und Aggregationen erneut ausführen und Quelltabellen bei jeder Abfrage erneut scannen, berechnen Sie das Ergebnis einmalig und jeder liest die vorberechnete Tabelle. Zweitens: Sie können eine durchgängige Pipeline mit einer einzigen Engine wie Apache Spark und jetzt Amazon Redshift ausführen, und jeder nachgelagerte Verbraucher teilt dasselbe offene Ergebnis, ohne den Aufwand der Orchestrierung mehrerer Engines. Bei beiden Arten ist die Ausgabe eine offene Iceberg-Tabelle, die jede Engine ohne Kopien oder Konvertierung lesen kann. Sie können diese Tabellen in Redshift Managed Storage (RMS) weiterhin als native materialisierte RMS-Ansichten für Ihre leistungsempfindlichsten Dashboards laden.
Sie können materialisierte Ansichten von Iceberg in jeder Region erstellen, in der Redshift Serverless- und bereitgestellte Graviton-Instances unterstützt werden. Weitere Informationen finden Sie unter Als Apache Iceberg-Tabellen gespeicherte materialisierte Ansichten im Datenbankentwicklerhandbuch zu Amazon Redshift, in der Befehlsreferenz CREATE MATERIALIZED VIEW und im Blogbeitrag Materialize once, query anywhere.