利用 S3 Batch Operations,大規模管理幾十到幾十億個物件

S3 Batch Operations 是一項 Amazon S3 資料管理功能,讓您只要在 Amazon S3 管理主控台按幾下滑鼠,或使用單一 API 請求,就能大規模管理數十億個物件。您可以使用此功能,對物件中繼資料和屬性進行變更,或執行其他儲存管理任務 (像是在儲存貯體間複製或複寫物件、取代物件標籤組、修改存取控制和從 S3 Glacier 還原存檔物件),而不需為了執行這些任務,耗費數月的時間來開發自訂應用程式。

Amazon S3 Batch Operations 簡介 (2:03)

S3 Batch Operations

S3 Batch Operations 為受管型解決方案,可執行大規模複製及標籤物件等儲存動作,用於單次或重複發生的批次工作負載。S3 Batch Operations 能透過單一請求,對數十億個物件和數 PT 的資料執行動作。要在 S3 Batch Operations 中執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 能讓您目前使用中的任何事件導向架構更為完善。對於新物件,很適合使用 S3 事件和 Lambda 函數來轉換檔案類型、建立縮圖、執行資料掃描,以及執行其他操作。例如,當需要先將影像上傳至 S3 時,客戶可使用 S3 事件和 Lambda 函數為原始相片建立尺寸更小、低解析度的版本。S3 Batch Operations 提供簡單的機制,能對現有物件執行相同動作,補足現有事件導向工作流程的不足之處。

運作方式:S3 Batch Operations

Amazon S3 Batch Operations 運作方式圖表

要在 S3 Batch Operations 中執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 教學

Amazon S3 Batch Operations 概觀和示範 (15:20)

客戶

Teespring 創立於 2011 年,該公司允許使用者在線上建立及銷售自訂的隨需產品。Teespring 內的每件自訂商品都需要多重資產,他們在 Amazon S3 上存放的資料量有好幾 TB。

「Amazon S3 Batch Operations 藉由使用 Amazon S3 的 Glacier 儲存類別,協助我們將儲存優化。我們使用自己的儲存中繼資料,針對能夠移到 Amazon S3 Glacier 的物件建立批次。Amazon S3 Glacier 為我們省下 80% 以上的儲存成本。我們總是在找機會建立自動化的儲存管理,現在有了 S3 Batch Operations,我們幾分鐘內便能管理好數百萬個物件。」

Teespring 工程部副總裁 James Brady

Capital One 是一家由金融和技術結合創立的銀行,也是美洲知名度最高的品牌之一。

Capital One 使用 Amazon S3 Batch Operations 在兩個 AWS 區域之間複製資料,藉此提高其資料備援能力,並將這兩個位置之間的資料足跡標準化。

「有了 Amazon S3 Batch Operations,只要建立一個任務,幾百萬個物件只要花幾小時就能完成複製,而過去可要花上好幾個月才能完成。我們使用 Amazon S3 的庫存報告,它能提供我們儲存貯體中物件的清單,作為 Amazon S3 Batch Operations 任務的輸入。Amazon S3 很方便用於複製資料、提供進度更新,以及在任務完成後提供稽核報告。這項功能為我們團隊省下好幾週的人工作業時間,將如此大規模的資料傳輸變成常態性的工作。」

Capital One 軟體工程部副總裁 Franz Zemen

ePlus 為 AWS 進階諮詢合作夥伴,該公司與客戶合作,將其 IT 環境優化,並使用 S3 Batch Operations 之類的解決方案為客戶節省時間和金錢。

「S3 Batch Operations 簡直神奇,它不只幫助我們其中一家客戶縮短時間、降低複雜度、減少整合各項 S3 操作的繁雜手續、排程任務,然後透過簡單易用的主控台呈現資訊,同時也協助客戶解決一些棘手的使用案例,S3 Batch Operations 只花了一點時間便完成,我認為我們光靠自己是做不到的。
 
例如,S3 Batch Operations 很快便在同一帳戶內橫跨區域複製 200 萬個以上的物件,同時還保持中繼資料完好無缺。該解決方案運作流暢,能跨帳戶執行類似任務,且最重要的,它能產生完成報告,自動篩選並區別針對 4 億個物件的成功和失敗操作,讓使用者能輕鬆在同一個檔案中處理失敗的操作。」

ePlus 資深解決方案架構師暨 AWS 認證專家 David Lin

S3 Batch Operations 部落格文章

AWS 新聞部落格


Amazon S3 Batch Operations

Amazon S3 Batch Operations 可用來輕鬆處理數百、數百萬或數十億個 S3 物件,方式簡單且直覺。您可將物件複製到其他儲存貯體、設定標籤或存取控制清單 (ACL)、提出從 S3 Glacier 還原,或個別叫用 AWS Lambda 函數。

閱讀部落格 »

AWS 儲存部落格


使用 S3 Batch Operations 加密物件

此文章示範如何建立物件清單、篩選只列出未加密的物件、設定許可,以及執行 S3 Batch Operations 任務來加密物件。您可用 S3 Batch Operations 以多種方式管理 Amazon S3 物件,加密現有物件只是其中一種。

閱讀部落格 »

AWS 儲存部落格


使用 S3 Batch Operations 進行視訊檔案轉碼

此文章檢視如何使用 S3 Batch Operations,透過 AWS Lambda 對存放在 S3 的視訊或需要從 Amazon S3 Glacier 還原的視訊觸發視訊轉碼任務。

閱讀部落格 »
觀看技術會談
觀看 S3 Batch Operations 技術講座

進一步了解如何開始使用和最佳實務。

進一步了解 
註冊免費帳戶
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
開始在主控台進行建置
開始在主控台進行建置

開始在 AWS 管理主控台使用 Amazon S3 進行建置。

登入