Amazon S3

Amazon S3 Batch Operations

瀏覽使用者指南

大規模管理數十個至數十億個物件

S3 Batch Operations 是一項 Amazon S3 資料管理功能，讓您只要在 S3 主控台按幾下滑鼠，或使用單一 API 請求，就能大規模管理數十億個物件。您可以使用此功能，對物件中繼資料和屬性進行變更，或執行其他儲存管理任務 (像是在儲存貯體間複製或複寫物件、取代物件標籤組、修改存取控制和從 S3 Glacier 儲存類別還原存檔物件)，而不需為了執行這些任務，耗費數月的時間來開發自訂應用程式。

S3 Batch Operations

S3 Batch Operations 為受管型解決方案，可執行大規模複製及標籤物件等儲存動作，用於單次或重複發生的批次工作負載。S3 Batch Operations 能透過單一請求，對數十億個物件和數 PT 的資料執行動作。要在 S3 Batch Operations 中執行工作，您應建立任務。任務應包含物件清單、要執行的動作，以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務，或視需要使用任務優先級定義每個任務的優先順序，並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告，以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 能讓您目前使用中的任何事件導向架構更為完善。對於新物件，很適合使用 S3 事件和 Lambda 函式來轉換檔案類型、建立縮圖、執行資料掃描，以及執行其他操作。例如，當需要先將影像上傳至 S3 時，客戶可使用 S3 事件和 Lambda 函式為原始相片建立尺寸更小、低解析度的版本。S3 Batch Operations 提供簡單的機制，能對現有物件執行相同動作，補足現有事件導向工作流程的不足之處。

運作方式：S3 批次操作

要用 S3 批次操作執行工作，您應建立任務。任務應包含物件清單、要執行的動作，以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務，或視需要使用任務優先級定義每個任務的優先順序，並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告，以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 教學

Teespring

Teespring 創立於 2011 年，該公司允許使用者在線上建立及銷售自訂的隨需產品。Teespring 內的每件自訂商品都需要多重資產，他們在 Amazon S3 上存放的資料量有好幾 TB。

「Amazon S3 Batch Operations 藉由使用 Amazon S3 的 Glacier 儲存類別，協助我們將儲存優化。我們使用自己的儲存中繼資料，針對能夠移到 Amazon S3 Glacier 的物件建立批次。Amazon S3 Glacier 為我們省下 80% 以上的儲存成本。我們總是在找機會建立自動化的儲存管理，現在有了 S3 Batch Operations，我們幾分鐘內便能管理好數百萬個物件。」

Teespring 工程部副總裁 James Brady

Capital One

Capital One 是一家由金融和技術結合創立的銀行，也是美洲知名度最高的品牌之一。Capital One 使用 Amazon S3 Batch Operations 在兩個 AWS 區域之間複製資料，藉此提高其資料備援能力，並將這兩個位置之間的資料足跡標準化。

「有了 Amazon S3 Batch Operations，只要建立一個任務，幾百萬個物件只要花幾小時就能完成複製，而過去可要花上好幾個月才能完成。我們使用 Amazon S3 的庫存報告，它能提供我們儲存貯體中物件的清單，作為 Amazon S3 Batch Operations 任務的輸入。Amazon S3 很方便用於複製資料、提供進度更新，以及在任務完成後提供稽核報告。這項功能為我們團隊省下好幾週的人工作業時間，將如此大規模的資料傳輸變成常態性的工作。」

Capital One 軟體工程部副總裁 Franz Zemen

ePlus

ePlus 為 AWS 進階諮詢合作夥伴，該公司與客戶合作，將其 IT 環境最佳化，並使用 S3 Batch Operations 之類的解決方案為客戶節省時間和金錢。

「S3 Batch Operations 簡直神奇，它不只幫助我們其中一家客戶縮短時間、降低複雜度、減少整合各項 S3 操作的繁雜手續、排程任務，然後透過簡單易用的主控台呈現資訊，同時也協助客戶解決一些棘手的使用案例，S3 Batch Operations 只花了一點時間便完成，我認為我們光靠自己是做不到的。

例如，S3 Batch Operations 很快便在同一帳戶內橫跨區域複製 200 萬個以上的物件，同時還保持中繼資料完好無缺。該解決方案運作流暢，能跨帳戶執行類似任務，且最重要的，它能產生完成報告，自動篩選並區別針對 4 億個物件的成功和失敗操作，讓使用者能輕鬆在同一個檔案中處理失敗的操作。」

David Lin，ePlus 資深解決方案架構師暨 AWS 認證專家