AWS Glue unterstützt jetzt auf Apache Iceberg basierende materialisierte Ansichten
AWS Glue unterstützt jetzt materialisierte Ansichten, eine neue Funktion, die Datenteams die Datentransformation erleichtert und die Abfrageleistung beschleunigt. Materialisierte Ansichten sind verwaltete Tabellen im AWS-Glue-Datenkatalog, die vorberechnete Abfrageergebnisse im Apache-Iceberg-Format speichern und sie automatisch auf dem neuesten Stand halten, wenn sich die Quelldaten ändern. Diese Funktion wurde entwickelt, um es Dateningenieuren und Analyseteams zu erleichtern, Daten in mehreren Phasen zu transformieren, von Rohdaten bis hin zu endgültigen Analysetabellen, und gleichzeitig den technischen Aufwand und den Betriebsaufwand zu verringern.
Kunden können jetzt materialisierte Ansichten mithilfe der Standard-Spark-SQL-Syntax mit einem Zeitplan für die Datenaktualisierung erstellen. Der Service kümmert sich automatisch um Aktualisierungszeitplan, Änderungserkennung, inkrementelle Updates und Verwaltung der Recheninfrastruktur. Spark-Engines in Amazon Athena, Amazon EMR und AWS Glue schreiben Abfragen für die Nutzung dieser materialisierten Ansichten intelligent um, wodurch die Leistung um das bis zu 8-fache beschleunigt und gleichzeitig die Rechenkosten gesenkt werden. Sie können SQL-Abfrage-Engines wie Athena und Redshift nutzen, um von SQL-Editoren und Amazon-SageMaker-Notebooks aus auf die materialisierten Ansichten als Iceberg-Tabellen zuzugreifen.
Materialisierte Ansichten in AWS Glue sind in Europa (Stockholm), Asien-Pazifik (Thailand), Asien-Pazifik (Mumbai), Europa (Paris), USA Ost (Ohio), Europa (Irland), Europa (Frankfurt), Südamerika (Sao Paulo), Asien-Pazifik (Hongkong), USA Ost (Nord-Virginia), Asien-Pazifik (Seoul), Asien-Pazifik (Malaysia), Europa (London), Asien-Pazifik (Tokio), USA West (Oregon), USA West (Nordkalifornien), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Kanada (Zentral) und Europa (Spanien) verfügbar. Weitere Informationen finden Sie unter Arbeiten mit materialisierten Ansichten im AWS-Glue-Entwicklerhandbuch.