使用 Amazon S3 Storage Lens 最佳化成本並獲得使用情況的可視性

教學

概觀

Amazon S3 Storage Lens 提供對整個組織範圍內物件儲存空間使用情況和活動趨勢的可視性,並提出可行的建議,以協助您將成本最佳化和運用資料保護最佳實務。S3 Storage Lens 可提供 AWS 組織中數百個,或甚至數千個帳戶的物件儲存空間使用情況和活動的單一檢視,並提供深入以在多個彙總層級產生洞見,這在雲端儲存分析解決方案中屬首創。 使用 S3 Storage Lens 依據整個組織的指標分析衍生出的相關建議,您可以立即採取步驟以最佳化儲存。

Amazon S3 用於將大型共用資料集儲存在數十到數百個帳戶和儲存貯體、多個區域,以及數千個前綴中。使用 S3 Storage Lens,您可以輕鬆了解儲存情況並進行分析以偵測異常值。S3 Storage Lens 可將 S3 儲存空間使用情況和其活動的 60 多種指標 (免費指標和進階指標),傳送至 S3 主控台中的互動式儀表板。所有客戶皆可存取免費指標,支付各物件的每月監控費用則可啟用進階指標,以接收前綴層級洞見、延長資料保留期限、建議,並可將指標發佈到 Amazon CloudWatch。

待完成事項

  • 了解免費和進階指標之間的差異
  • 建立、設定和導覽 S3 Storage Lens 儀表板
  • 探索 S3 Storage Lens 的使用案例 

先決條件

您需要 AWS 帳戶才能完成本教學。您還必須至少有一個已填充的 Amazon S3 儲存貯體與帳戶關聯。

存取此 支援頁面,了解有關如何建立和啟用新 AWS 帳戶的詳細資訊。

如需建立第一個 S3 儲存貯體的協助,請參閱 Amazon S3 使用者指南。

 AWS 經驗

中級

 完成時間

30 分鐘

 完成成本 (使用免費指標)

免費

 完成成本 (使用進階指標)

價格可能視情況而定:每月監控每百萬個物件 0.20 USD (Amazon S3 定價頁面)

 要求

AWS 帳戶和已填寫的 Amazon S3 儲存貯體

 使用的服務

 上次更新日期

2022 年 11 月 17 日

實作

S3 Storage Lens 提供給您兩種指標選項,以針對您的儀表板進行選擇:免費和進階。

免費指標

所有 Amazon S3 客戶都可以在 S3 主控台中存取互動式儀表板,其中包含預先設定的儲存空間使用情況和活動趨勢檢視。使用 S3 Storage Lens 免費指標,您可以在儲存貯體層級取得多種類別的 28 個指標,而且可以在儀表板中存取 14 天的歷史資料。您可以依據摘要、成本最佳化、資料保護、存取管理、效能或事件等條件來篩選儀表板,以針對您預期的使用案例分析特定指標。除了 S3 主控台中的儀表板之外,您還可以將指標以 CSV 或 Apache Parquet 格式匯出到選擇的 S3 儲存貯體中,以供進一步使用。如需 S3 Storage Lens 所彙總使用情況指標的詳細資訊,請參閱 Amazon S3 Storage Lens 指標詞彙表。

進階指標和建議

S3 Storage Lens 為所有儀表板和組態提供免費指標,且可選擇額外付費升級為進階指標和建議。如需詳細資訊,請參閱 Amazon S3 定價頁面上的管理和分析標籤。

升級至 Storage Lens 進階指標後,您會取得 35 個額外的指標,此外還有 15 個月的歷史資料。進階指標可提供與活動相關的洞見 (例如請求計數)、更深入的成本最佳化 (例如 S3 生命週期規則計數)、額外的資料保護 (例如 S3 複寫規則計數),以及詳細的狀態碼 (例如 403 授權錯誤)。您也可進一步深入至前綴層級,以識別儲存貯體內最大且成長最快的前綴。此外,您可以透過 Amazon CloudWatch 存取 S3 Storage Lens 指標以建立警示,或透過 CloudWatch API 存取指標,並將指標傳送給整合的可觀測性合作夥伴。您可使用進階洞見擴充生命週期規則的使用量,以達到更優異的成本最佳化、識別資料保護政策不足的儲存貯體,以及改善應用程式工作負載的效能。

S3 Storage Lens 提供自動化建議,協助您達到儲存最佳化。建議會以關聯的方式與相關指標一併放置在 S3 Storage Lens 儀表板中。歷史資料不符合建議資格,因為建議與最近期間發生的事情相關。僅在具有相關性時會顯示建議。

S3 Storage Lens 建議的形式如下: 

  • 建議
    建議可提醒您儲存空間使用情況和活動中的趨勢,這些趨勢可能表示您有機會將儲存成本最佳化或應用資料保護最佳實務。
  • 呼叫
    呼叫是提醒您一段時間內儲存空間使用和活動中相關異常情況的建議,此類異常可能需要進一步注意或監控。
  • 提醒
    提醒可提供 Amazon S3 運作方式的深入解析。其可協助您深入了解如何使用 S3 功能,以降低儲存成本或應用資料保護最佳實務。 

S3 Storage Lens 每天會收集指標,且資料在 15 個月內皆可供查詢。如需 S3 Storage Lens 所彙總儲存指標的詳細資訊,請參閱 Amazon S3 Storage Lens 指標詞彙表。

步驟 1:建立 S3 Storage Lens 儀表板

1.1-使用您的帳戶憑證登入 AWS 管理主控台。在 AWS Console 服務搜尋列中,輸入 S3。 在服務搜尋結果下,選取 S3

1.2-導覽至左側面板上 Storage Lens 區段下的儀表板功能表項目。接下來,選擇建立儀表板

1.3-在一般面板下,為儀表板輸入描述性名稱,然後選擇本地區域。接下來,選擇狀態下的啟用選項,以取得最新的每日指標。

1.4-儀表板可以分析跨帳戶、區域、儲存貯體及前綴的儲存。在儀表板範圍選擇是否要包含或排除特定區域、儲存貯體或兩者皆排除,以變更儀表板範圍。 

如果選取包含區域及儲存貯體按鈕,則可以選擇包含所有區域及儲存貯體,或從下拉式清單中選取要包含的區域及儲存貯體。否則,如果選取排除區域及儲存貯體按鈕,即可從下拉式清單選擇要排除的區域及儲存貯體。

在本教學中,我們將會包含所有區域及儲存貯體。

1.5-指標選擇下,選擇要使用的選項。在本教學中,我們選取進階指標和建議,並包含進階指標、CloudWatch 發佈前綴彙總。此外,您可以選擇要包含在儀表板中的進階指標類別。在本教學中,我們選取了活動指標、詳細狀態碼指標、進階成本最佳化指標,以及進階資料保護指標。 您可以在 Amazon S3 使用者指南中的指標詞彙表中找到詳細的指標清單。

 

1.6-在指標匯出下,您可以選擇啟用,使儀表板指標於每 24 小時匯出至指定的 S3 儲存貯體。

如果您選擇啟用此功能,則必須選擇偏好的輸出格式和目的地儲存貯體。

每天會以 CSV 或 Apache Parquet 格式的指標匯出檔案產生 Amazon S3 Storage Lens 指標,並放置於與您的帳戶或其他帳戶關聯的 S3 儲存貯體中。您可從該處將指標匯出擷取至您選擇的分析工具中,例如 Amazon QuickSightAmazon Athena,您可以在其中分析儲存空間使用情況和活動趨勢。

若要進一步了解,請參閱 S3 Storage Lens 資料匯出中的相關文件。
1.7-接下來,選擇 建立儀表板。建立儀表板後,可能需要 24 到 48 小時才會產生初始指標。

在這段時間內,您可隨時離開,並在產生指標後返回至本教學。

步驟 2:導覽至 S3 Storage Lens 儀表板

2.1-存取 Amazon S3 主控台以導覽回儀表板,然後前往儀表板功能表項目,如步驟 1.2 中所執行的動作。開啟儀表板後,即可展開篩選條件面板,並依帳戶、區域、儲存類別、儲存貯體前綴暫時篩選儀表板資料。

2.2-下一區段為各類指標的快照。如果使用進階指標,您可以看到一條趨勢線,其中顯示過去 30 天內每個指標的趨勢,以及百分比變化 (如果使用免費指標,或在過去 30 天內啟用進階指標,則為 14 天)。依預設,% 變化比較欄中的數字會顯示天/天百分比變化。您可以選擇依週/週或月/月進行比較。

此外,您可以從下拉式清單中選取不同的指標群組,以檢視快照概觀。選項包括摘要、成本最佳化、資料保護、活動、存取管理、事件效能。

2.3-在快照面板下,您將會看到趨勢和分佈區段。在此區段中,能夠比較您指定之日期範圍內的兩個指標,以檢視一段時間內的趨勢。

2.4-儀表板下方也會顯示這兩個指標,以及它們在儲存類別AWS 區域之間的分佈方式。您可以按一下此圖表中的任何值並深入,以針對該值對整個儀表板進行篩選,或選取分析依據,以導覽至該維度的新儀表板檢視。

2.5概觀標籤上的最後一個區段可讓您對日期範圍內的指標執行前 N 項分析,其中 N 介於 1 到 25 之間。在以下範例中,我們選取總儲存量指標的前三個項目 (以遞減順序排序)。

然後,您即可查看指定所選指標的前三個帳戶、區域、儲存貯體、前綴,以及相關趨勢。

您可以檢視儀表板上的其他標籤,以針對 帳戶、區域、儲存類別、儲存貯體前綴取得更具體的指標。

 

 

 

 

 

 

步驟 3:探索 S3 Storage Lens 的使用案例

在本節中,我們將逐步介紹 S3 Storage Lens 的三個使用案例:識別未受監控的大型儲存貯體、使用 S3 儲存類別最佳化成本,以及找出不再存取或很少存取的儲存貯體。

識別您未留意的大型儲存貯體 (免費方案)

管理儲存成本的第一步為詳細了解每個儲存貯體的 S3 使用情況。透過 S3 Storage Lens,您可以集中檢視帳戶中的所有儲存貯體。您甚至可以在 AWS Organization 層級設定儀表板,以查看所有帳戶中的所有儲存貯體。使用 S3 Storage Lens 可讓您輕鬆掌握所有儲存貯體,這可能會顯示預期以外的結果,例如儲存貯體的物件數量超出預期。

3.1-在 S3 Storage Lens 儀表板頂部,導覽至儲存貯體標籤。

3.2-透過在 前 N 個儲存貯體文字欄位中輸入該數字,以選擇要檢視的儲存貯體數量 (最多 100 個)。在此範例中,我們選擇檢視 10 個儲存貯體。

3.3-在儲存貯體趨勢圖表上,不僅可視覺化總儲存量最高的儲存貯體,還可視覺化成長最多的儲存貯體。在此圖表上,儲存貯體 1 明顯具有最大儲存量,同時保持不斷成長。

我們可以進一步深入此儲存貯體,以收集更多洞見,例如平均物件大小、非目前版本位元組的百分比,或最大前綴。

3.4-然後,您可以導覽至 Amazon S3 主控台內的儲存貯體,以了解關聯的工作負載,並根據帳號識別儲存貯體的內部擁有者。然後,您可以從儲存貯體擁有者了解此種成長是否為預期,或是您現在可以進行適當監視和控制的非預期成長。

增加 S3 儲存類別的使用

節省儲存成本最明確的途徑之一,就是透過 Amazon S3 儲存類別根據存取頻率和效能需求來最佳化儲存成本。Amazon S3 提供一系列儲存類別,您可以根據工作負載的資料存取、彈性和成本要求進行選擇。這些儲存類別包含:

  • 適用於經常存取資料之一般用途儲存的 S3 標準
  • 適用於具有未知存取模式或變更存取模式之資料的 S3 Intelligent-Tiering
  • 適用於長期存取但存取頻率較低之資料的 S3 Standard-Infrequent Access (S3 Standard-IA)S3 One Zone-Infrequent Access (S3 One Zone-IA)
  • 適用於長期封存及數位保存的 Amazon S3 Glacier Flexible Retrieval、Amazon S3 Glacier Instant Retrieval Amazon S3 Glacier Deep Archive
如果您不確定目前如何使用 S3 儲存類別,S3 Storage Lens 提供可找出答案的簡易方法。
3.5-在概觀標籤中,向下捲動至 儲存類別分佈圖,如下所示:

如果您發現所有或幾乎所有的儲存位元組都位於 S3 標準儲存類別中,代表您可以透過探索其他 S3 儲存類別來最佳化使用情況,以符合您的使用案例。如果顯示類似於此畫面的檢視畫面,探索成本最佳化設計模式可能對您有益。

首先,您可以使用 S3 Intelligent-Tiering 儲存類別自動進行成本最佳化,這對於未知或會發生變更的存取模式而言非常理想。其次,對於已知的存取模式,您可以設定 Amazon S3 生命週期政策,在存取頻率隨時間變慢時,將資料轉換為更具成本效益的儲存類別,以降低儲存成本。檢視 Amazon S3 定價頁面,以取得有關精確節省成本的詳細資訊,並記錄每個物件開銷之轉換和使用 S3 Glacier 儲存類別的額外成本。

然後,您可以繼續在 S3 Storage Lens 中進行分析,以更深入探索儲存類別使用情況,並深入以查看特定區域或儲存貯體 (或前綴,如果已升級至進階方案) 的儲存類別分佈。通常會有一個未經過最佳化設定的儲存貯體子集,您可以在此處使用不同或額外的 S3 儲存類別並受益。S3 Storage Lens 是在繼續採取進一步行動前,篩選此類儲存貯體的有效工具。

找出未使用的儲存貯體

如果您的儲存貯體未使用,意即已不再存取 (或很少存取) 這些儲存貯體中的儲存空間,通常會顯示相關工作負載已不再使用的指標。如果您已啟用 S3 Storage Lens 進階指標,則可以存取活動指標,以了解儲存貯體的使用程度。GET 請求和下載位元組類的指標,可指出每天存取儲存貯體的頻率。您可以呈現此資料在數個月內的趨勢 (進階方案提供延長資料保留期),以了解存取模式的一致性,並找出不再存取的儲存貯體。% 擷取率指標 (以下載位元組/總儲存量計算) 是了解每日所存取之儲存貯體中儲存空間比例的實用指標。請記住,在一天中多次下載相同物件的情況下,下載位元組會重複。

儀表板儲存貯體標籤上的泡泡分析圖表,是呈現未使用之儲存貯體的最佳方法。氣泡分析圖可讓您使用任意三個指標在多個維度上繪製儲存貯體,以代表泡泡的 X 軸、Y 軸和大小。

3.6-導覽至儲存貯體標籤,然後向下前往泡泡分析圖表。選取總儲存量、% 擷取率平均物件大小。

如果您深入擷取率為零 (或接近零) 且相對儲存空間大小較大的任何儲存貯體,您可以找到未使用的儲存貯體,以及儲存成本可能足夠大而需要採取行動的儲存貯體。在此範例中,我們將檢視儲存貯體 10 和儲存貯體 1。

您可以從此處識別組織中的儲存貯體擁有者,以確認工作負載的用途,並確定是否仍需要儲存空間。如果不需要,您可以透過設定生命週期過期政策,或將資料封存至 Amazon S3 Glacier 儲存類別的方式補救成本。此外,為了避免未來發生儲存貯體未使用的問題,您可以套用本指南前述的其中一種建議設計模式,以使用 S3 生命週期政策自動轉換資料,或使用 S3 Intelligent-Tiering 啟用自動封存功能。

步驟 4:清除

在本教學中,如果您在取得的洞見中獲得了有價值的內容,建議您持續開啟進階指標建議。請注意,如果選擇此選項,將持續產生費用。

或者,您也可以選擇關閉進階指標建議,以停止產生費用。 您仍然可以存取儀表板上的免費指標

4.1-若要關閉 進階指標和建議,請導覽至儀表板頂部,然後選取 檢視儀表板設定。

4.2-選擇儀表板組態頁面右上角的編輯按鈕。

4.3-向下捲動至指標選擇面板,然後選擇免費指標。接下來,選取儲存變更

結語

恭喜您! 您已經學會如何建立、設定和導覽 Amazon S3 Storage Lens 儀表板,並探索三個使用案例,以最佳化物件儲存成本。  

本頁對您是否有幫助?

後續步驟

若要進一步了解 Amazon S3 Storage Lens,請造訪 Amazon S3 使用者指南和產品頁面。