AWS-Glue-Datenkatalog unterstützt jetzt Tabellenoptimierung, Statistiken und Crawler für Apache Iceberg V3
AWS-Glue-Datenkatalog unterstützt jetzt Tabellenoptimierung, Statistiken und Crawler für Apache Iceberg Version 3 (V3)-Tabellen. Mit diesen neuen Funktionen können Sie V3-Tabellen automatisch verwalten, sie für die Abfrageleistung optimieren und sie in Amazon S3 erkennen.
Mit der Tabellenoptimierung können Sie V3-Tabellen mithilfe von Binpack-, Sortier- oder Z-Order-Strategien komprimieren, um die Abfrageleistung zu verbessern, und abgelaufene Snapshots und verwaiste Dateien entfernen und so die Speicherkosten senken. Diese Optimierungen unterstützen V3-Datentypen, darunter Varianten-, Geodaten- und Nanosekunden-Zeitstempel. Sie können auch NDV-Statistiken (Number of Distinct Values) für V3-Tabellen generieren, die Analytik-Engines verwenden, um Abfragen effizient zu planen. Darüber hinaus können Sie Glue-Crawler verwenden, um in Amazon S3 gespeicherte V3-Tabellen zu erkennen und sie im Glue-Datenkatalog zu registrieren, sodass sie für Abfragen mit allen V3-kompatiblen Engines verfügbar sind.
Diese Funktionen sind für Iceberg V3-Tabellen in allen AWS-Regionen verfügbar, in denen Tabellenoptimierung, Statistiken und Crawler von Glue Data Catalog verfügbar sind. Weitere Informationen finden Sie unter Glue-Optimierung, Glue-Statistik und Glue-Crawler im Glue-Entwicklerhandbuch.