Amazon Web Services ブログ

S3 複製更新：複製 SLA、メトリック、およびイベント

S3 相互リージョン複製 は 2015年初頭からあります (新規 Amazon S3用相互リージョン複製)、および 同一リージョン複製 は 数ヶ月間存在しています。

複製はセットアップが非常に簡単で、S3バケットから他のものにオブジェクトをコピーするためのルールを使用できます。このルールは 全体のバケットまたは接頭辞またはタグに基づくサブセットの複製を指定できます：

複製を使用して、事故復旧計画またはその他のオペレーションの理由の一部として地理的な 冗長の規定要件を満たすために AWS リージョン内またはその間の重要なデータをコピーできます。リージョン内でコピーして、履歴を集計、テストおよび開発環境のセットアップ、およびコンプライアンス要件への対処ができます。

S3の複製機能は非常に大きな利用価値があります： 2015年のサービス開始から、当社のお客様は何兆ものオブジェクトおよびエクサバイトのデータを複製しました。 本日私は当社が複製時間管理の追加によりそれを更に強化したことをお伝えすることを嬉しく思います。この機能は既存のルール に基づく複製を補強し、タグまたは接頭辞に基づいてより滑らかなコントロールを可能にするため、お客様が指定するデータセットで複製時間管理を使用できます。サービスの詳細は以下のとおりです。

複製 SLA – 複製 SLA を利用して複製時間の予測を用意にします。

複製メトリック – 新規 CloudWatch メトリクスを使用して、各ルールの最大複製時間をモニタリングできます。

複製イベント – イベントを使用して SLA から逸脱するオブジェクトの複製を追跡できます。

より詳しく見てみましょう…

新規複製 SLA
S3はオブジェクトサイズおよびカウント、利用できる帯域幅、その他のバケットに対するトラフィックなどにより影響されるタイミングにより、オブジェクトを複製先バケットに複製します。複製時間全体で追加の管理が必要な場合は、当社の以下を行うために設計された新規複製時間管理機能を使用できます：

  • 大部分 のオブジェクトは数秒内に作成されます。
  • 99% のオブジェクトは5秒以内に複製されます。
  • 99.99% のオブジェクトは15秒以内に複製されます。

この機能を有効化すると、関連するサービスレベル契約からの恩恵を得られます。SLA は 15分以内で複製をすることが予期されているオブジェクトのパーセンテージの期間が表示されて、SLA が満たされていない場合は 請求クレジットを提供します。

  • 99.9% ～ 98.0% – 10% クレジット
  • 98.0% ～ 95.0% – 25% クレジット
  • 95% ～ 0% – 100% クレジット

請求クレジットは複製時間管理費用、複製データ転送、S3リクエストおよび請求期間の送信先での S3ストレージ請求のパーセンテージに適用されます。

私は新規作成ルールを作成する時に複製時間管理を有効化でき、それを既存ルールに追加することもできます。

複製はルールを作成、または更新するとすぐに開始します。私は複製メトリックおよび複製イベントを使用して、コンプライアンスをモニタリングできます。

リージョン間のS3リクエストおよびデータ転送の既存の請求に加え、追加の GB ごとに請求額を支払って複製時間管理を使用します。 詳細は S3 価格決定 を参照してください。

複製メトリック
私は毎回規定のために複製時間管理を有効化する時、S3は3つの新規メトリックをCloudWatchに公開します。それらは S3および CloudWatch コンソールで利用できます：

私はいくつかの大きな tar ファイルを作成し， ソースバケットにアップロードしました。私は少し休憩し、メトリックを検査しました。私は開始前にテストを行ったので、実際の数字には全体的に関係ないことに注意してください。また、これらのメトリックはディスプレイの 複製をとおして集計され、オブジェクトごとの SLA コンプライアンスの正確な表示ではないことにも留意してください。

BytesPendingReplication はアップロード直後に跳ね上がり、 複製が行われるとすぐに下落します:

ReplicationLatency がピークに達し、S3複製が米国からオーストラリアまで最大8.3分の待機時間で37 GB を超える転送を行った後に素早くゼロに下落します。

そして OperationsPendingCount は複製されたオブジェクトの数量を追跡します:

私は Cloud Watch Alarm をメトリックで設定することができます。例えば、私は 75 GB 以上の 複製バックログがあるかどうかを知りたいとして（これについては予期されるとおりに作業するため、私は喪失したデータを処理するから無視されたものとする喪失データを処理する (アラームの状態を維持する)に設定しなければなりません:

これらのメトリックは CloudWatchカスタムメトリックとして請求されます。

レプリケーションイベント
最後に、 SQS キュー、SNS トピックまたは Lambda 関数についての係数セットアップにより複製の問題を追跡できます。コンソールの イベント セクションを起動する:

これらの係数を使用して SLA に対する固守をモニタリングできます。例えば、データベース内の 複製時間を逃した閾値 および 閾値の後に複製時間が満了した イベントを保存して、複製が予期されるよりも長い時間が掛かる場合を追跡します。最初のイベントは複製が遅く実行され、2つ目はそれが完了しどの程度遅延したかを伝えます。

詳細については 複製をご覧ください。

今すぐ利用可能です
AWS 中国（北京）および AWS 中国 （寧夏）を除く全ての商業 AWS 地方で、これらの機能を使用して本日開始できます。

— Jeff

追伸 – S3の機能の仕方についての詳細については、 創案セッション ：イレブン・ナインの向こう: Amazon S3 持続文化からのレッスンにご出席ください。