AWS Glue データカタログが S3 テーブルへのメタデータのエクスポートをサポート開始 (プレビュー)
AWS Glue データカタログは、データの検出と理解を支援する一元化されたメタデータリポジトリであり、現在プレビュー中の機能として、セマンティック検索と、データセットへのビジネスコンテキストの追加をサポートしています。本日、このプレビューに 2 つの新しい機能を追加しました。1 つはメタデータをクエリするためにカタログのメタデータを S3 Tables にエクスポートできるようにしたことです。もう 1 つはセマンティック検索のプレビューの対象を AWS Key Management Service (AWS KMS) のカスタマーマネージドキーで暗号化されたカタログにも拡大したことです。
Glue のメタデータエクスポートを有効にすると、用語集の用語、カスタムメタデータの添付、アセットの説明を含むカタログのテクニカルメタデータとビジネスメタデータが、マネージド型の aws-catalog S3 テーブルバケット内のテーブルに書き込まれます。メタデータは Apache Iceberg 形式で保存されるため、Amazon Athena や Amazon QuickSight などの AWS 分析サービスやサードパーティーのツールなど、Iceberg に対応したクエリエンジンで標準 SQL を使用して、クエリや監査を実行できるほか、履歴分析のためにタイムトラベルクエリを実行できます。これにより、カタログのメタデータを AWS の他のサービスのデータと結合して、用語集の使用状況やメタデータの変更に対する監査など、さらなる分析を行えます。カスタマーマネージドキーで暗号化されたカタログでも、同じビジネスコンテキストのエンリッチメントとセマンティック検索を利用できるようになりました。
これらの機能は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド) の各 AWS リージョンで使用できます。S3 Tables のリクエストとストレージは、S3 の料金に基づいて課金されます。詳細については、AWS Glue ユーザーガイドをご覧ください。