利用 S3 批次操作,大規模管理幾十到幾十億個物件。

S3 批次操作是一項 Amazon S3 資料管理功能,讓您只要在 Amazon S3 管理主控台按幾下滑鼠,或使用單一 API 請求,就能大規模管理數十億個物件。您可以使用此功能,對物件中繼資料和屬性進行變更,或執行其他儲存管理任務 (像是在儲存貯體間複製物件、取代物件標籤組、修改存取控制和從 S3 Glacier 還原存檔物件),而不需為了執行這些任務,耗費數月的時間來開發自訂應用程式。

Amazon S3 批次操作簡介

S3 批次操作

S3 批次操作為受管型解決方案,可執行大規模複製及標籤物件等儲存動作,用於單次或重複發生的批次工作負載。S3 批次操作能透過單一要求,對數十億個物件和數 PT 的資料執行動作。要用 S3 批次操作執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 批次操作中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 批次操作也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 批次操作能讓您目前使用中的任何事件導向架構更為完善。對於新物件,很適合使用 S3 事件和 Lambda 函數來轉換檔案類型、建立縮圖、執行資料掃描,以及執行其他操作。例如,當需要先將影像上傳至 S3 時,客戶可使用 S3 事件和 Lambda 函數為原始相片建立尺寸更小、低解析度的版本。S3 批次操作提供簡單的機制,能對現有物件執行相同動作,補足現有事件導向工作流程的不足之處。

運作方式:S3 批次操作

Amazon-S3_Batch_Operations_How_it_works_2x

要用 S3 批次操作執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 批次操作中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 批次操作也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 批次操作教學

建立任務

建立批次操作任務

管理及追蹤任務

管理及追蹤批次操作任務

設定許可

設定許可

客戶

Teespring 創立於 2011 年,該公司允許使用者在線上建立及銷售自訂的隨需產品。Teespring 內的每件自訂商品都需要多重資產,他們在 Amazon S3 上存放的資料量有好幾 TB。

「Amazon S3 批次操作藉由使用 Amazon S3 的 Glacier 儲存類別,協助我們將儲存優化。我們使用自己的儲存中繼資料,針對能夠移到 Amazon S3 Glacier 的物件建立批次。Amazon S3 Glacier 為我們省下 80% 以上的儲存成本。我們總是在找機會建立自動化的儲存管理,現在有了 S3 批次操作,我們幾分鐘內便能管理好數百萬個物件。」

Teespring 工程部副總裁 James Brady

600x400_Capital-One_Logo

Capital One 是一家由金融和技術結合創立的銀行,也是美洲知名度最高的品牌之一。

Capital One 使用 Amazon S3 批次操作在兩個 AWS 區域之間複製資料,藉此提高其資料備援能力,並將這兩個位置之間的資料足跡標準化。

「有了 Amazon S3 批次操作,只要建立一個任務,幾百萬個物件只要花幾小時就能完成複製,而過去可要花上好幾個月才能完成。我們使用 Amazon S3 的庫存報告,它能提供我們儲存貯體中物件的清單,作為 Amazon S3 批次操作任務的輸入。Amazon S3 很方便用於複製資料、提供進度更新,以及在任務完成後提供稽核報告。這項功能為我們團隊省下好幾週的人工作業時間,將如此大規模的資料傳輸變成常態性的工作。」

Capital One 軟體工程部副總裁 Franz Zemen

eplus

ePlus 為 AWS 進階諮詢合作夥伴,該公司與客戶合作,將其 IT 環境優化,並使用 S3 批次操作之類的解決方案為客戶節省時間和金錢。

「S3 批次操作簡直神奇,它不只幫助我們其中一家客戶縮短時間、降低複雜度、減少整合各項 S3 操作的繁雜手續、排程任務,然後透過簡單易用的主控台呈現資訊,同時也協助客戶解決一些棘手的使用案例,S3 批次操作只花了一點時間便完成,我認為我們光靠自己是做不到的。
 
例如,S3 批次操作很快便在同一帳戶內橫跨區域複製 200 萬個以上的物件,同時還保持中繼資料完好無缺。該解決方案運作流暢,能跨帳戶執行類似任務,且最重要的,它能產生完成報告,自動篩選並區別針對 4 億個物件的成功和失敗操作,讓使用者能輕鬆在同一個檔案中處理失敗的操作。」

ePlus 資深解決方案架構師暨 AWS Certified Professional David Lin

S3 批次操作部落格文章

AWS 新聞部落格


Amazon S3 批次操作

Amazon S3 批次操作可用來輕鬆處理數百、數百萬或數十億個 S3 物件,方式簡單且直覺。您可將物件複製到其他儲存貯體、設定標籤或存取控制清單 (ACL)、提出從 S3 Glacier 還原,或個別叫用 AWS Lambda 函數。

閱讀部落格 »

AWS 儲存部落格


使用 S3 批次操作加密物件

此文章示範如何建立物件清單、篩選只列出未加密的物件、設定許可,以及執行 S3 批次操作任務來加密物件。您可用 S3 批次操作以多種方式管理 Amazon S3 物件,加密現有物件只是其中一種。

閱讀部落格 »

AWS 儲存部落格


使用 S3 批次操作進行視訊檔案轉碼

此文章檢視如何使用 S3 批次操作,透過 AWS Lambda 對存放在 S3 的視訊或需要從 Amazon S3 Glacier 還原的視訊觸發視訊轉碼任務。

閱讀部落格 »
Product-Page_Standard-Icons_01_Product-Features_SqInk
觀看 S3 批次操作技術講座

進一步了解如何開始使用和最佳實務。

進一步了解 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
Product-Page_Standard-Icons_03_Start-Building_SqInk
開始在主控台進行建置

開始在 AWS 管理主控台使用 Amazon S3 進行建置。

登入