Amazon S3 Storage Lens
概觀
S3 Storage Lens 提供全組織物件儲存用量與活動趨勢的能見度,並提出具體建議,協助最佳化成本、改善應用程式效能並強化資料保護。S3 Storage Lens 可提供組織中數千個帳戶的物件儲存用量和活動的單一檢視,並提供深入分析以在多個彙總層級產生洞見,這在雲端儲存分析解決方案中屬首創。透過協助客戶最佳化儲存而積累的豐富經驗,S3 Storage Lens 分析整個組織的指標以提供內容相關的建議,這使得立即採取行動變得容易。
Amazon S3 用於將大型共用資料集存放在數千個帳戶和儲存貯體、多個區域,以及數百萬個前綴中。使用 S3 Storage Lens,您可以輕鬆了解儲存情況並進行分析以偵測異常狀況。S3 Storage Lens 可將 S3 儲存空間使用情況和其活動的各種免費指標和進階指標,傳送至 S3 主控台中的互動式儀表板。 免費指標為免費向所有客戶提供,支付各物件的每月監控費用則可啟用進階指標,以接收額外指標、前綴層級洞見、自訂中繼資料篩選、延長資料保留,以及將指標發佈到 Amazon CloudWatch 的選項。 如需進階指標定價詳細資訊,請瀏覽 Amazon S3 定價頁面。
S3 Storage Lens 的運作方式
所有 Amazon S3 客戶都可以在 S3 主控台中存取互動式 S3 Storage Lens 儀表板,其中包含預先設定的檢視畫面,可查看儲存空間使用情況和活動趨勢。使用 S3 Storage Lens 免費指標,您可以在儲存貯體層級取得多種類別的 62 個指標 (唯一和衍生),而且可以在儀表板中存取 14 天的歷史資料。您可以依據摘要、成本最佳化、資料保護、存取管理、效能或事件等條件來篩選儀表板,以針對您預期的使用案例分析特定指標。除了 S3 主控台中的儀表板之外,您還可以將指標以 CSV 或 Parquet 格式匯出到選擇的 S3 儲存貯體中以供進一步使用。若要進一步了解 S3 Storage Lens,請閱讀文件。
升級至 Storage Lens 進階指標的好處
進階指標可提供與活動相關的洞見 (例如請求計數)、更深入的成本最佳化 (例如 S3 生命週期規則計數)、進階效能指標 (例如物件和請求大小計數)、額外的資料保護 (例如 S3 複寫規則計數),以及詳細的狀態碼 (例如 403 授權錯誤)。
藉助前綴層級指標,您可以深入探究儲存貯體中的精細化前綴,從而深入解析每個儲存貯體數十億個前綴的儲存體與使用活動。檢視每個前綴的指標,以及更高效地最佳化您的儲存體。
使用 Storage Lens 進階指標,您可以根據 15 個月歷史資料獲得洞察。對於可選的指標匯出,您可以設定所需的任何保留期限。
使用 Storage Lens 進階指標,您可以透過 Amazon CloudWatch 存取 S3 Storage Lens 指標以建立警示,或透過 CloudWatch API 存取指標,並將指標傳送給整合的可觀測性合作夥伴。
使用 Storage Lens 群組,您可以檢視依物件標籤、前綴、後綴、年齡或大小篩選的指標。例如,您可以依物件標籤篩選指標,以識別成長最快的資料集,或根據物件大小和年齡來視覺化儲存空間,以通知您的儲存空間封存策略。
使用 Storage Lens 群組建立自訂篩選條件
Storage Lens 群組會根據物件中繼資料,使用自訂篩選條件來彙總指標。Storage Lens 群組可協助您深入了解資料的特性,例如依年齡的物件分佈、最常見的檔案類型等。這些資訊可協助您更好地了解並最佳化 S3 儲存空間。使用 Storage Lens 群組,您可以檢視依物件標籤、前綴、後綴、年齡或大小篩選的指標。例如,您可以依物件標籤篩選指標,以識別成長最快的資料集,或根據物件大小和年齡來視覺化儲存空間,以通知您的儲存空間封存策略。若要開始使用,您可以透過 S3 主控台、CLI 或 SDK 建立 Storage Lens 群組,然後將它們附加到 Storage Lens 儀表板。 請參閱文件,進一步了解相關資訊。
Upstox
Upstox 是印度領先的折扣經紀商,為超過 1,100 萬客戶提供金融教育和數位平台。
我們未來會繼續使用 Amazon S3 Storage Lens 來密切關注我們的儲存空間使用情況,並進一步提高成本效率。使用 S3 Storage Lens 互動式儀表板,我們可以輕鬆找到讓成本增加的 S3 前綴熱點,並使用正確的保留政策和 S3 儲存類別對其進行最佳化,進一步提高成本效率。」
Upstox 首席機器學習與資料工程師 Indranil Chandra
閱讀案例研究 »
以 Pinterest 為例
Pinterest 為視覺探索引擎,每個月有超過 4 億人使用,為他們的生活尋找靈感。
「S3 Storage Lens 將增強我們對儲存使用情況的可視性,並協助我們持續最佳化儲存成本。我們使用全組織範圍的檢視來查看多個區域團隊的彙總儲存空間使用情況,然後深入探討儲存貯體或甚至前綴層級的儲存空間成長情況。
然後,我們可以使用 S3 Storage Lens 為不同的內部團隊建立不同的儀表板,讓他們透過使用生命週期政策或將資料轉換為更具成本效益的儲存類別,自行找出最佳化儲存成本的方法。」
Yi Yin,Pinterest 軟體工程師
Snowflake
Snowflake 提供 Data Cloud – 各組織在其中以幾乎無限的規模、併發性和效能來調動資料。
「使用基於前綴的查看指標能力對我們來說是無價的。我們可更好地了解特定前綴的使用情況,包括總儲存空間、物件數、平均物件大小,並按是否是目前版本進行細分,這可以幫助我們以經濟的方式調試和查看操作趨勢。這在有 S3 Storage Lens 之前是辦不到的。」
Ju-Yi Kuo,Snowflake 資深軟體工程師
Veeva
Veeva Systems Inc. 是全球生命科學產業雲端解決方案 (包括資料、軟體和服務) 的領導者。
「S3 Storage Lens 的安裝和設定非常簡單。我們收到了 S3 用量的良好見解,這使我們能夠制定行動計劃以最佳化 S3 的成本。透過將 S3 中存放物件的方式最佳化,我們現在每月可節省數千美元。」
Veeva 技術營運副總裁 Dan Soble
Dropsuite
Dropsuite 協助 139 個國家/地區的組織輕鬆備份、復原以及保護其重要業務資訊。其電子郵件備份解決方案目前為超過一百萬個人使用者備份公司資料。
「使用 S3 Storage Lens,我們可以透過儲存貯體和區域層級的篩選條件獲得宏觀視野,進而引發變革性的架構設計對話。我們使用 S3 Storage Lens 的洞察來分析壓縮演算法、研究儲存方法,並為客戶做出有關移除和管理資料的決策。如果沒有 S3 Storage Lens,我們就無法檢查、視覺化這些精細的使用資料並採取行動。它還使我們能夠了解客戶資料使用模式。現在有了這些寶貴的資訊,我們就能夠更有效地使用 Amazon S3 儲存類別。」
Dropsuite 技術長 Manjor Kalyanaraman
閱讀案例研究 »
DoorDash
DoorDash 致力於在全球超過 25 個國家/地區將消費者與他們喜愛的在地企業聯繫起來。DoorDash 是一家誕生於雲端的公司,其大部分基礎架構 (包括其商務平台) 都託管在 AWS 上。
「一旦我們決定深入研究 Amazon S3 的使用情況,以確定支援未來成長的效率機會,我們就開始使用 S3 Storage Lens 以及進階指標和建議進行調查。我們發現在 S3 儲存貯體、前綴和儲存類別層級分析儲存使用情況和活動模式的能力,對於識別最佳化成本的機會非常寶貴。如果沒有 S3 Storage Lens,若要檢查和視覺化 Amazon S3 使用情況,並提高我們的儲存單元的經濟效益,就必須花費更多時間。」
DoorDash 雲端 FinOps 負責人 Levon Stepanian
閱讀部落格 »