跳至主要內容

Amazon S3

Amazon S3 中繼資料

利用近乎即時的物件中繼資料加速資料探索

在 Amazon S3 中尋找和組織所需的資料

Amazon S3 中繼資料可讓物件中繼資料更易於存取和查詢,從而充分發揮 Amazon S3 資料的潛力。針對儲存在 Amazon S3 中的所有物件顯示、儲存和查詢豐富的中繼資料,以便您快速找到業務分析、即時推論應用程式等所需的資料。S3 中繼資料支援物件中繼資料,其中包括系統定義的詳細資訊 (例如物件的大小和來源),並支援自訂中繼資料,這可讓您透過標籤來使用產品 SKU、交易 ID 或內容評級等資訊為物件進行註解。S3 中繼資料自動為新物件和現有物件填入中繼資料,為您提供全面、可查詢的資料檢視。閱讀 部落格以進一步了解。

優勢

專為 S3 儲存貯體中所有物件建立和管理中繼資料 (現有物件和新上傳物件) 而設計,提供全面的資料檢視。

在 Amazon S3 中的多達數萬億個物件內快速尋找和擷取所需的資料。我們每小時對中繼資料進行更新,以便您輕鬆了解最新的儲存環境。

使用物件標籤為您的物件新增業務特定的中繼資料注釋,以改善資料組織和可搜尋性。

使用對 Apache Iceberg 的內建支援,透過受管 S3 資料表中的即時庫存表和日誌表存取您的中繼資料。

透過 S3 Tables 與 Amazon SageMaker 資料湖倉的整合,使用 Amazon Athena、Redshift 和 EMR 等熟悉的 AWS 服務分析中繼資料。S3 Metadata 與熱門的開放原始碼工具相容。

使用案例

使用豐富的中繼資料來編目所有資料,以便更輕鬆地探索和使用。取得 S3 儲存區中所有物件的完整檢視,以追蹤並瞭解您的資料儲存空間。

追蹤和管理 AI 產生的影片,包括影片的來源、製作時間以及與 Amazon Bedrock 搭配使用的 AI 模型。

分析整個儲存佔用空間的物件中繼資料,識別節省成本和提升效能的機會。

快速識別和分析用於商業智慧和決策的相關資料集。

透過自訂中繼資料註解改善資料整理和合規性。

客戶

劍橋移動遠程信息處理

Cambridge Mobile Telematics (CMT) 是全球最大的遠端資訊處理服務供應商。它的使命是使全球範圍內的道路和駕駛員更加安全。該公司的 AI 驅動平台 DriveWell Fusion® 收集來自數百萬台 IoT 裝置 (包括智慧手機、專有標籤、聯網汽車、行車記錄儀和第三方裝置) 的感測器資料,並將它們與內容資料融合,以建立車輛和駕駛員行為的統一檢視。

「在 CMT,我們存儲和分析來自全球移動物聯網設備的多個 PB 數據,以提高駕駛和道路安全。隨著我們規模的擴大,定位特定資料以開發新的洞見和模型變得越來越具有挑戰性。S3 Metadata,尤其是其自訂中繼資料功能,可讓我們注釋所有資料並在受管的可查詢資料表中維護中繼資料。現在,尋找相關資料僅需執行一個高效且符合成本效益的 SQL 查詢。這使 S3 中繼資料成為改變遊戲,使我們能夠為客戶帶來新功能。「

Cambridge Mobile Telematics 資訊長 Tim Vogel

Missing alt text value

PayPal

25 年多以來,PayPal 一直致力於變革全球商業。PayPal 打造創新體驗,使資金轉移、銷售和購物變得簡單、個人化和安全,從而幫助大約 200 個市場的消費者和企業加入全球經濟並在其中發展壯大。

「S3 中繼資料為我們提供了一個簡單直接的機制,使用 Amazon Athena 和亞馬遜 QuickSight 等標準工具來分析數億萬億 S3 物件。借助此功能,我們可以花時間做出決策,而不是構建複雜的數據管道來訪問和查詢 S3 物件中繼資料。「

PayPal 大型企業平台工程副總裁 Jon Southall

Missing alt text value

Roche

Roche 是一家生物科技公司,其結合藥品和診斷技術,實現個人化醫療的進步並改善人們的生活。

「S3 中繼資料加速了我們的生成人工智能計畫。當我們為團隊建置 LLM 應用程式 (例如內部聊天機器人) 時,PDF 等非結構化資料變得越來越有價值。我們需要將大量網域特定的文件插入到擷取增強生成 (RAG) 應用程式中,以便聊天機器人根據 Roche 的特定業務環境進行量身打造。但是,這也意味著我們需要管理越來越多的非結構化資料。我們需要一個中繼資料系統來有效地描述我們的非結構化資料,以便使用者可以快速篩選大型資料湖來識別其正在建置的特定生成式 AI 應用程式的相關資料集。使用 S3 Metadata,僅需在 AWS 管理主控台中按幾下即可建置功能強大的中繼資料系統。隨著我們持續擷取更多非結構化資料,S3 Metadata 會自動顯示中繼資料,並保持其最新狀態。我們還使用自己的 Lambda 來擷取業務特定的中繼資料,例如根據與 Roche 相關的分類法對文件進行分類,並將這些中繼資料與 S3 Metadata 資料表一起儲存在同一個 Glue 型錄中,以便透過簡單的 SQL 連結取得所需的所有中繼資料。S3 中繼資料可協助我們更快地建置生成式 AI 應用程式,這使我們能夠專注於構建而不是整理資料。「

Roche 製藥商業工程主管 Yannick Misteli

The Roche logo in blue text inside a blue hexagon outline on a transparent background.

《笑杯》/弗利克爾

SmugMug 和 Flickr 提供攝影師可以從中上傳和共用照片與影片的線上平台。該公司在其應用程式上儲存數十億張照片和影片。

「想像一下,在 Amazon S3 資料中飛行時間機。在 SmugMug 和 Flickr,我們於 S3 中儲存客戶超過 22 年的照片,涵蓋數千億個物件。全新的 S3 Metadata 功能可協助我們輕鬆且經濟高效地探索 S3 物件中繼資料,以及透過查詢中繼資料 (例如隨時間推移的物件大小) 來了解我們的資料如何演變,該操作以前涉及將昂貴的資料庫查詢與物件清單結合。了解攝影師如何使用我們的儲存空間,有助於進一步我們透過攝影的力量打造更美好的世界的承諾。「

SmugMug 首席工程師 Andrew Shieh

Missing alt text value

利用物件中繼資料加速資料探索

Amazon S3 中繼資料會自動將近乎即時為 S3 物件產生豐富的中繼資料。請觀看我們如何使用物件標籤,根據自訂中繼資料探索和查詢物件。無論是管理大規模的資料湖,還是最佳化資料探索,您都可以獲得關於中繼資料驅動資料管理的實用洞察。