Amazon S3 Metadata

CMT では、世界中のモバイル IoT デバイスからの数ペタバイトのデータを保存および分析して、運転手と道路の安全性を高めています。規模が拡大するにつれて、特定のデータを見つけて新しいインサイトやモデルを開発することがますます困難になっています。S3 Metadata、特にそのカスタムメタデータ機能により、すべてのデータに注釈を付け、クエリ可能なマネージドテーブルでメタデータを管理できます。現在、関連データを見つけるために必要なのは、効率的で費用対効果の高い SQL クエリ 1 つだけです。これにより、S3 Metadata はゲームチェンジャーとなり、お客様に新しい機能を提供できるようになります。

S3 Metadata は、Amazon Athena や Amazon QuickSight などの標準的なツールを使用して何兆もの S3 オブジェクトを分析するためのシンプルでわかりやすいメカニズムを提供してくれます。この機能により、S3 オブジェクトメタデータにアクセスしてクエリするための複雑なデータパイプラインを構築するのに時間をかけるのではなく、意思決定に時間を費やすことができます。

S3 Metadata は、生成 AI の取り組みを加速させています。社内チャットボットなどの LLM アプリケーションをチーム向けに構築するにつれて、PDF などの非構造化データの価値が高まっています。チャットボットが Roche の特定のビジネスコンテキストに合わせて調整できるように、大量のドメイン固有のドキュメントを検索拡張生成 (RAG) アプリケーションに取り込む必要があります。ただし、これは、管理する必要のある非構造化データがますます増えていることも意味します。非構造化データを効率的に記述するメタデータシステムが必要です。これにより、ユーザーは大規模なデータレイクをすばやくふるいにかけ、構築している特定の生成 AI アプリケーションに関連するデータセットを特定できます。S3 Metadata を使用すると、AWS マネジメントコンソールで数回クリックするだけで、堅牢なメタデータシステムを簡単に構築できます。より多くの非構造化データを継続的に取り込むと、S3 Metadata は自動的にメタデータを明らかにし、メタデータを最新の状態に保ちます。また、独自の Lambda を使用して、Roche に関連する分類法に基づいて文書を分類するなど、ビジネス固有のメタデータを抽出しています。また、このメタデータを S3 メタデータテーブルと同じ Glue カタログに保存して、シンプルな SQL 結合で必要なすべてのメタデータを取得できるようにしています。S3 Metadata は生成 AI アプリケーションをより迅速に構築するのに役立ちます。これにより、データの整理よりも構築に集中できます。

タイムマシンを飛ばして Amazon S3 データを調べているところを想像してみてください。SmugMug と Flickr では、22 年以上にわたるお客様の写真、つまり数千億ものオブジェクトを S3 に保存してきました。新しい S3 Metadata 機能により、S3 オブジェクトのメタデータを簡単かつ低コストで調べることができるようになりました。オブジェクトサイズなどのメタデータを経時的にクエリして、データがどのように変化したかを把握できます。これは、以前は高価なデータベースクエリをオブジェクトインベントリと組み合わせる必要がありました。写真家がストレージをどのように使用しているかを理解することは、写真の力を通じてより良い世界を構築するという私たちの取り組みをさらに深めるのに役立ちます。

Solink は毎月 5 億時間を超える動画を処理し、セキュリティ映像を 350 以上のソースからの重要なビジネスデータと統合しています。AWS は私たちが頼りにしているインフラストラクチャをサポートしており、Amazon S3 Metadata はそれをさらに発展させ、ストレージや使用状況のモニタリングから顧客設定変更のリアルタイムな影響の追跡まで、コンテンツ管理を強化するリアルタイムのインサイトを提供しています。

Amazon S3 は、さまざまなデータタイプの大手クラウドストレージプロバイダーとして台頭してきました。Amazon S3 Metadata により、Commvault のようなベンダーは、機密情報の特定と保護を積極的に支援できると同時に、データの階層化などの要素を自動化して、共通のお客様の成果を向上させることができます。S3 Metadata は、効率的なデータ整理を促進し、データ検出の合理化に役立ちます。これにより、クラウドファーストのサイバーレジリエンスに不可欠なオブジェクトの詳細な注釈付けを行えます。

オブザーバビリティのリーダーである New Relic のデータエンジンは、毎日約 1.3 エクサバイトの Amazon S3 データを処理しています。S3 Metadata は、豊富なオブジェクトメタデータを自動的に生成することでイノベーションを加速します。これにより、製品実験を実施したり、お客様にとって有益な新しいメトリクスの開発など、概念実証を構築するためにチームが必要とするデータ探索が簡単になります。S3 Metadata により、堅牢なメタデータシステムの構築と維持にかかる労力が数百時間かかっていたものが、S3 マネジメントコンソールで数回クリックするだけで済むようになります。これにより、エンジニアはデータの整理ではなくデータ分析に集中できるようになります。