Veröffentlicht am: Nov 15, 2023
AWS-Glue-Datenkatalog unterstützt jetzt die automatische Komprimierung von Apache-Iceberg-Tabellen und erleichtert Ihnen so, die Leistungsfähigkeit Ihrer transaktionalen Data Lakes stets aufrechtzuerhalten. Die Aktivierung der automatischen Komprimierung für Apache-Iceberg-Tabellen reduziert den Metadaten-Overhead in Ihren Iceberg-Tabellen und verbessert die Abfrageleistung.
Apache Iceberg ist ein offenes Tabellenformat, das eine schnelle Abfrageleistung für große Tabellen in Data Lakes bietet. Apache Iceberg verfolgt Datendateien einer Tabelle in ihren Metadaten auf Amazon S3. Je mehr Tabellenänderungen vorgenommen werden, desto mehr Datendateien werden erstellt, und die Effizienz der Abfragen kann abnehmen. Um die Leistung zu verbessern und die Kosten zu kontrollieren, mussten Unternehmen benutzerdefinierte Datenpipelines erstellen, die kleine Dateien regelmäßig komprimieren. Das Erstellen dieser benutzerdefinierten Pipelines ist zeitaufwändig und teuer. Dieser Launch ermöglicht die automatische Komprimierung von Apache-Iceberg-Tabellen im AWS-Glue-Datenkatalog. Nach der Aktivierung überwacht der AWS-Glue-Datenkatalog kontinuierlich neue Datenschreibvorgänge, verfolgt die kleinen Dateien im zugrunde liegenden Amazon-S3-Speicher und löst automatisch Komprimierungsaufträge im Hintergrund aus, ohne dass Sie zusätzliche Eingaben tätigen müssen. Sie können jetzt ein stets optimiertes Amazon-S3-Layout für Ihre Iceberg-Tabellen erhalten, das zu einer schnelleren Leseleistung auf Data Lakes führt.
Zusätzlich zur AWS-Konsole können Kunden auch die AWS CLI oder AWS SDKs verwenden, um die Aktivierung der Komprimierung für Apache-Iceberg-Tabellen zu automatisieren. Für weitere Informationen klicken Sie bitte hier.
Die automatische Komprimierung für Iceberg-Tabellen ist in den Regionen Asien-Pazifik (Tokio), USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon) und Europa (Irland) verfügbar. Weitere Informationen erhalten Sie im Blog sowie in der Dokumentation zum AWS-Glue-Datenkatalog.