Amazon Redshift が Apache Iceberg v3 テーブルのサポートを開始
Amazon Redshift では、データレイク内の Apache Iceberg v3 テーブルに対する読み取りと書き込みのサポートを開始しました。Apache Iceberg はオープンテーブル形式であり、v3 リリースではいくつかの新機能が追加されました。 今回のリリースにより、Amazon Redshift は列のデフォルト値、行リネージ、削除ベクトルをサポートします。
列のデフォルト値では、値が指定されなかった場合に Amazon Redshift が適用する初期値を定義できます。これにより、既存のテーブルに列を追加する際のスキーマエボリューションが容易になります。行リネージでは、各行の識別子と最終更新シーケンス番号を追跡する疑似列が公開されます。そのため、変更された行のみを処理する増分パイプラインや CDC (変更データキャプチャ) ワークフローを構築できます。削除ベクトルは、Iceberg v2 の位置削除ファイルをコンパクトな圧縮ビットマップに置き換えます。これにより、コンプライアンス対応のレコード削除など、更新と削除が高頻度で発生するワークロードで、読み取りと書き込みが高速化されます。v3 テーブルは、次のコマンドで作成できます。CREATE TABLE <table> ...USING ICEBERG TABLE PROPERTIES ('format-version' = '3')。既存の v2 テーブルをそのままアップグレードするには、次のコマンドを使用します。ALTER TABLE <table> SET TABLE PROPERTIES ('format-version' = '3')。
Amazon Redshift の Graviton ベースのプロビジョニングされたクラスターおよびサーバーレスクラスターは、新しい v3 形式をサポートします。詳細については、Amazon Redshift ドキュメントの Apache Iceberg v3 の機能を参照してください。