Apache Iceberg のマテリアライズドビューでシステム管理による書き込み保護をサポート
本日、AWS は Apache Iceberg 向けのシステム管理によるマテリアライズドビューを発表しました。マテリアライズドビューを使用すると、処理負荷の高いクエリの結果をあらかじめ一度計算し、複数のエンジンで再利用できます。この結果はデータレイク内のオープンな Iceberg テーブルとして保存されるため、書き込みアクセス権を持つユーザーであれば、カタログ経由でも Amazon S3 のファイルへの直接書き込みでも変更できます。システム管理によるマテリアライズドビューでは、マテリアライズドビューのデータと定義への書き込みを AWS Glue のみに許可することで、この問題を解消できます。そのため、テーブルやその基盤となる S3 ファイルへの書き込みアクセス権を誰が持っていても、計算結果を変更されることなく維持できます。
使用を開始するには、マテリアライズドビューを定義する SQL と、必要に応じて更新スケジュールを記述します。その後、AWS Glue によって結果が計算され、Amazon S3 Tables バケットに標準の Apache Iceberg テーブルとして保存されます。保存されたデータは、設定したスケジュールに従って最新の状態に維持されます。この結果は AWS Glue データカタログ内の通常の Iceberg テーブルであるため、Iceberg と互換性のあるどのエンジンからでも直接読み取ることができます。一方、AWS Glue 以外からは変更できないことが保証されます。これにより、管理され、常に整合性が保たれたデータセットを安全に共有できます。必要に応じて、ビューの更新、更新スケジュールの変更、削除も引き続き行えます。
システム管理による Apache Iceberg マテリアライズドビューは、Apache Iceberg マテリアライズドビューがサポートされているすべてのリージョンで利用できます。詳細については、AWS Glue デベロッパーガイドの AWS Glue でマテリアライズドビューを使用するを参照してください。