AWS が Apache Iceberg V3 の削除ベクトルと行系統のサポートを発表
AWSは、Apache Iceberg バージョン 3 (V3) 仕様で定義されている削除ベクトルと行系統をサポートするようになりました。これらの新機能は Apache Spark on Amazon EMR 7.12、AWS Glue、Amazon SageMaker ノートブック、Amazon S3 Tables、AWS Glue データカタログで利用できます。
Iceberg V3 のこれらの機能により、お客様はデータ変更時のパフォーマンスが向上し、変更されたレコードを簡単に追跡できる機能を備えた、ペタバイト規模のデータレイクを構築できます。削除ベクトルは、データパイプラインを高速化し、データ圧縮コストを削減する最適化された削除ファイルを書き込みます。行系統では、各レコードのメタデータフィールドを使用して簡単な SQL クエリで変更を追跡できるため、大規模なテーブルで小さな変更を見つけるのにかかる計算コストが不要になります。
V3 テーブルの作成を開始するには、Spark または SageMaker ノートブックの CREATE TABLE コマンドでテーブルプロパティを 'format-version = 3' に設定します。既存のテーブルをアップグレードするには、メタデータのテーブルプロパティを新しいフォーマットバージョンに更新するだけです。これを行うと、V3 をサポートする AWS クエリエンジンは自動的に削除ベクトルと行系統の使用を開始します。
Iceberg V3 の削除ベクトルと行系統は、それぞれのサービス/機能 (Amazon EMR、AWS Glue、SageMaker ノートブック、S3 Tables、AWS Glue データカタログ) がサポートされているすべての AWS リージョンで利用できるようになりました。Iceberg V3 の AWS サポートの詳細については、AWS での Apache Iceberg V3 およびブログ記事をお読みください。