AWS kündigt Unterstützung für Apache Iceberg V3-Löschvektoren und Zeilenherkunft an
AWS unterstützt jetzt Löschvektoren und Zeilenherkunft gemäß der Apache Iceberg Version 3 (V3)-Spezifikation. Diese neuen Features sind mit Apache Spark auf Amazon EMR 7.12, AWS Glue, Amazon SageMaker-Notebooks, Amazon S3 Tables und dem AWS Glue-Datenkatalog verfügbar.
Diese Iceberg V3-Funktionen helfen Kunden beim Aufbau von Data Lakes im Petabyte-Bereich mit verbesserter Leistung für Datenänderungen und Funktionen zur einfachen Nachverfolgung geänderter Datensätze. Löschvektoren schreiben optimierte Löschdateien, die Data Pipelines beschleunigen und die Kosten für die Datenkomprimierung senken. Die Zeilenherkunft stellt Metadatenfelder für jeden Datensatz bereit, um Änderungen mit einer einfachen SQL-Abfrage zu verfolgen, wodurch der Rechenaufwand für das Auffinden kleiner Änderungen in großen Tabellen entfällt.
Beginnen Sie mit der Erstellung von V3-Tabellen, indem Sie die Tabelleneigenschaft im CREATE TABLE-Befehl in Spark oder einem SageMaker-Notebook auf „format-version = 3“ setzen. Um bestehende Tabellen zu aktualisieren, können Sie einfach die Tabelleneigenschaft in den Metadaten mit der neuen Formatversion aktualisieren. Daraufhin beginnen AWS-Abfrage-Engines, die V3 unterstützen, automatisch mit der Verwendung von Löschvektoren und Zeilenherkunft.
Iceberg V3-Löschvektoren und Zeilenherkunft sind jetzt in allen AWS-Regionen verfügbar, die die jeweiligen Dienste/Features – Amazon EMR, AWS Glue, SageMaker-Notebooks, S3-Tabellen und AWS-Glue-Datenkatalog – unterstützen. Weitere Informationen zur AWS-Unterstützung für Iceberg V3 finden Sie unter Apache Iceberg V3 auf AWS und im Blogbeitrag.