Amazon S3 Metadata が既存のオブジェクトのサポートを開始し、料金を最大 33% 引き下げ
Amazon S3 Metadata は S3 に保存されているデータセットに関する情報を提供するメタデータを作成、管理します。これにより、ユーザーは S3 データをより簡単に見つけて使用できます。これまで S3 Metadata は新しいオブジェクトと更新されたオブジェクトをサポートしていましたが、既存の S3 データすべてのメタデータも作成および管理するようになったため、どのような規模の S3 ストレージであってもメタデータ全体に対して SQL クエリを記述できるようになりました。
S3 Metadata は 2 つの Apache Iceberg テーブルを作成して管理します。これらのテーブルでは、S3 バケットに関連するメタデータをクエリ可能な、継続的に更新されるビューが提供されます。ジャーナルテーブルには、データに加えられた変更がほぼリアルタイムで記録されるため、バケットにアップロードされた新しいデータの特定、最近削除されたオブジェクトの追跡、ライフサイクルの移行のモニタリングなどに役立ちます。新しいライブインベントリテーブルでは、バケット内のすべてのオブジェクトの最新情報が確認できるビューが作成され、維持されます。これら両方の S3 Metadata テーブルは、アカウント内にある、AWS が管理する Iceberg テーブルバケットに保存され、Amazon Athena や Amazon EMR などの AWS 分析サービスや DuckDB や PyIceberg などのオープンソースツールで標準 SQL を使用してクエリを実行できます。
S3 Metadata は現在、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) で利用できます。基盤となるデータセットに対する変更が S3 Metadata のジャーナルテーブルに記録されると、その変更ごとに少額の料金が発生します。本日から、大規模なデータセットのリアルタイムの変更追跡とバックフィルの費用対効果を高めるために、ジャーナルテーブルの料金を 33% 引き下げます。さらに、ライブインベントリテーブルに既存の S3 データセットの情報を入力するには、オブジェクトごとに少額の料金を支払う必要があります。料金の詳細については、Amazon S3 の料金表のページをご覧ください。詳細を確認して使用を開始するには、製品ページ、ドキュメントにアクセスし、 AWS ニュースブログをお読みください。