メインコンテンツに移動

Simple Storage Service (Amazon S3)

Amazon S3 Metadata

ほぼリアルタイムのオブジェクトメタデータでデータ検出を加速

Amazon S3 で必要なデータを検索して整理する

Amazon S3 メタデータは、オブジェクトメタデータに簡単にアクセスでき、簡単にクエリできるようにすることで、Amazon S3 データの可能性を最大限に引き出します。Amazon S3 に保存されているオブジェクトのリッチなメタデータを表示、保存、クエリすることで、ビジネス分析やリアルタイム推論アプリケーションなどに必要なデータを迅速に見つけることができます。S3 Metadata は、サイズやオブジェクトのソースなどのシステム定義の詳細を含むオブジェクトメタデータと、タグを使用して製品 SKU、トランザクション ID、コンテンツレーティングなどの情報をオブジェクトに注釈できるカスタムメタデータをサポートしています。S3 Metadata は、新しいオブジェクトと既存のオブジェクトの両方のメタデータを自動的に入力し、データを包括的かつクエリ可能に表示します。詳細については、 ブログをお読みください。

メリット

S3 バケット内のすべてのオブジェクト (既存のオブジェクトと新しいアップロードの両方) のメタデータを作成および管理するように設計されており、データを包括的に把握できます。

Amazon S3 内の最大数兆のオブジェクトから必要なデータをすばやく見つけて取得できます。メタデータは 1 時間ごとに更新されるため、最新のストレージ環境を簡単に把握できます。

オブジェクトタグを使用してビジネス固有のメタデータでオブジェクトに注釈を付けると、データの整理と検索能力が向上します。

Apache Iceberg のサポートが組み込まれているマネージド S3 Tables のライブインベントリテーブルとジャーナルテーブルからメタデータにアクセスします。

Amazon SageMaker Lakehouse との S3 Tables 統合を通じて、Amazon Athena、Redshift、EMR などの使い慣れた AWS サービスを利用してメタデータを分析します。S3 Metadata は一般的なオープンソースツールと互換性があります。

ユースケース

豊富なメタデータを使用してすべてのデータをカタログ化すると、検索と利用が容易になります。S3 バケット内のすべてのオブジェクトの全体像を把握して、データストレージを追跡して把握できます。

AI によって生成された動画を、そのオリジン、作成時間、Amazon Bedrock で使用されている AI モデルを含めて追跡および管理できます。

ストレージフットプリント全体のオブジェクトメタデータを分析して、コスト削減とパフォーマンス向上の機会を特定します。

ビジネスインテリジェンスと意思決定のための関連データセットを迅速に特定して分析します。

カスタムメタデータの注釈により、データの整理とコンプライアンスを改善します。

お客様

ケンブリッジモバイルテレマティクス

Cambridge Mobile Telematics (CMT) は、世界最大のテレマティクスサービスプロバイダーです。その使命は、世界の道路と運転手の安全性を高めることです。同社の AI 駆動型プラットフォームである DriveWell Fusion® は、スマートフォン、独自のタグ、コネクテッドカー、ドライブレコーダー、サードパーティー製デバイスなど、何百万もの IoT デバイスからセンサーデータを収集し、それらをコンテキストデータと融合して、車両と運転手の行動を統一的に把握しています。

「CMTでは、世界中のモバイルIoTデバイスからの数ペタバイトのデータを保存および分析して、ドライバーと道路の安全性を高めています。規模が拡大するにつれて、特定のデータを見つけて新しいインサイトやモデルを開発することがますます困難になっています。S3 Metadata、特にそのカスタムメタデータ機能により、すべてのデータに注釈を付け、クエリ可能なマネージドテーブルでメタデータを管理できます。現在、関連データを見つけるために必要なのは、効率的で費用対効果の高い SQL クエリ 1 つだけです。これにより、S3 メタデータはゲームチェンジャーとなり、お客様に新しい機能を提供できるようになりました。」

Cambridge Mobile Telematics、Chief Information Officer、Tim Vogel 氏

Missing alt text value

PayPal

PayPal は 25 年以上にわたり、世界中の商取引に革命をもたらしてきました。PayPal は、送金、売買、買い物をシンプルに、かつ個人に合わせた安全なものにする革新的な体験を提供しており、約 200 の市場の消費者や企業が世界経済に参加し、成長できるよう支援しています。

「S3 メタデータは、Amazon Athena や Amazon QuickSight などの標準ツールを使用して、何兆もの S3 オブジェクトを分析するためのシンプルでわかりやすいメカニズムを提供してくれます。この機能により、S3 オブジェクトメタデータにアクセスしてクエリするための複雑なデータパイプラインを構築する代わりに、意思決定に時間を費やすことができます。」

PayPal、VP Engineering, Large Enterprise Platforms、Jon Southall 氏

Missing alt text value

Roche

Roche は、医薬品と診断薬を組み合わせて個別化医療の進歩を実現し、人々の生活を改善するバイオテクノロジー企業です。

「S3 メタデータは当社のジェネレーティブ AI イニシアチブを加速させます。社内チャットボットなどの LLM アプリケーションをチーム向けに構築するにつれて、PDF などの非構造化データの価値が高まっています。チャットボットが Roche の特定のビジネスコンテキストに合わせて調整できるように、大量のドメイン固有のドキュメントを検索拡張生成 (RAG) アプリケーションに取り込む必要があります。ただし、これは、管理する必要のある非構造化データがますます増えていることも意味します。非構造化データを効率的に記述するメタデータシステムが必要です。これにより、ユーザーは大規模なデータレイクをすばやくふるいにかけ、構築している特定の生成 AI アプリケーションに関連するデータセットを特定できます。S3 Metadata を使用すると、AWS マネジメントコンソールで数回クリックするだけで、堅牢なメタデータシステムを簡単に構築できます。より多くの非構造化データを継続的に取り込むと、S3 Metadata は自動的にメタデータを明らかにし、メタデータを最新の状態に保ちます。また、独自の Lambda を使用して、Roche に関連する分類法に基づいて文書を分類するなど、ビジネス固有のメタデータを抽出しています。また、このメタデータを S3 メタデータテーブルと同じ Glue カタログに保存して、シンプルな SQL 結合で必要なすべてのメタデータを取得できるようにしています。S3 メタデータはジェネレーティブな AI アプリケーションをより迅速に構築するのに役立ち、データを整理するよりも構築に集中できます。」

Roche、Head of Pharma Commercial Engineering、Yannick Misteli 氏

The Roche logo in blue text inside a blue hexagon outline on a transparent background.

SmugMug/Flickr

SmugMug と Flickr は、写真家が写真や動画をアップロードして共有できるオンラインプラットフォームを提供します。同社は数十億の写真と動画をアプリケーションに保存しています。

「タイムマシンを飛ばして Amazon S3 のデータを調べているところを想像してみてください。SmugMug と Flickr では、22 年以上にわたるお客様の写真、つまり数千億ものオブジェクトを S3 に保存してきました。新しい S3 Metadata 機能により、S3 オブジェクトのメタデータを簡単かつ低コストで調べることができるようになりました。オブジェクトサイズなどのメタデータを経時的にクエリして、データがどのように変化したかを把握できます。これは、以前は高価なデータベースクエリをオブジェクトインベントリと組み合わせる必要がありました。フォトグラファーがストレージをどのように使用しているかを理解することは、写真の力を通じてより良い世界を構築するという私たちの取り組みをさらに深めるのに役立ちます。」

SmugMug、Principal Engineer、Andrew Shieh 氏

Missing alt text value

オブジェクトメタデータを使用してデータ検出を加速する

Amazon S3 Metadata は、S3 オブジェクトのリッチなメタデータをほぼリアルタイムで自動的に生成します。オブジェクトタグを使用してカスタムメタデータに基づいてオブジェクトを探索およびクエリする様子をご視聴ください。大規模なデータレイクを管理する場合でも、データ検出を最適化する場合でも、メタデータ駆動型のデータ管理に関する実用的なインサイトを得ることができます。