AWS Glue がリモート Apache Iceberg カタログのカタログフェデレーションを発表
AWS Glue は、リモート Iceberg カタログのカタログフェデレーションの一般提供を発表しました。この機能により、Amazon S3 に保存された Iceberg テーブルとリモートカタログにカタログ化された Iceberg テーブルに AWS 分析エンジンを使用して直接かつ安全にアクセスできます。
カタログフェデレーションを使用すると、テーブルを移動またはコピーすることなく、任意の AWS 分析エンジンを使用してリモートの Iceberg カタログにフェデレーションし、リモートの Iceberg テーブルにクエリを実行できます。データチームがリモートテーブルにクエリを実行すると、AWS Glue データカタログとリモートカタログ間でメタデータがリアルタイムで同期されるため、クエリ結果は常に完全に最新になります。データの検出やクエリ時の一貫したセキュリティコントロールを維持しながら、お好みの AWS 分析エンジンを使用してリモートの Iceberg テーブルを分析する際に、ワークロードに最適なコストパフォーマンスを選択できるようになりました。カタログフェデレーションは、Amazon Redshift、Amazon EMR、Amazon Athena、AWS Glue、Apache Spark などのサードパーティエンジン、サーバーレスノートブックを搭載した Amazon SageMaker など、さまざまな分析エンジンによってサポートされています。
カタログフェデレーションはアクセスコントロールに AWS Lake Formation を使用するため、リモートカタログテーブルを他のデータコンシューマーと共有する際に、きめ細かなアクセスコントロール、クロスアカウント共有、信頼できる ID の伝播を使用できます。カタログフェデレーションは、Iceberg REST 仕様をサポートするカタログ実装と統合されます。
カタログフェデレーションは、Lake Formation コンソールと AWS Glue と Lake Formation の SDK と API を使用して利用できます。この機能は、AWS Glue と Lake Formation が利用できるすべての AWS 商用リージョンで一般提供されます。コンソールで数回クリックするだけで、リモートカタログへのフェデレーション、データベースとテーブルの検出、テーブルデータへのアクセス権限の付与、AWS 分析エンジンを使用したリモート Iceberg テーブルのクエリを行うことができます。詳細については、ドキュメントをご覧ください。