Amazon Web Services ブログ

Amazon S3 レプリケーションに関連するデータ転送コストをモニタリングする



この記事では、コンプライアンス、災害復旧、データ主権などのユースケースについて、Amazon S3 レプリケーションのコストと使用の詳細をモニタリングする方法を確認します。

Amazon Simple Storage Service (Amazon S3) では、Cross-Region Replication (CRR) を使用して別の AWS リージョンの異なるバケットに、または Same-Region Replication (SRR) を使用して同じ AWS リージョン内部のバケット全体にデータを自動的かつ非同期に複製できます。SRR と CRR が連携して Amazon S3 レプリケーションを形成し、クロスアカウントレプリケーションなどのエンタープライズクラスのレプリケーション機能を提供し、偶発的な削除や Amazon S3 ストレージクラスへのレプリケーションを防ぎます。

CRR は、地理的に異なる場所にデータのコピーを保持することにより、コンプライアンス要件を満たし、レイテンシーを最小限に抑えるのに役立ちます。SRR は、開発者アカウントとテストアカウント間のライブレプリケーションを設定し、データの主権に関する法律を遵守するのに役立ちます。どちらの設定でも、Amazon S3 はソースバケット内のすべてのオブジェクトを宛先バケットに複製するか、オプションでオブジェクトのサブセットを複製します。CRR または SRR の両方で、プレフィックスとタグを使用して、複製可能なデータを制御できます。

大きなプロジェクトまたは特定のユースケース (コンプライアンス、災害復旧など) の一部として Amazon S3 レプリケーションに固有のコストと使用状況をモニタリングする方法に課題が生じます。

ユーザーは AWS のコストと使用状況レポートを使用して、アカウントおよびその AWS Identity and Access Management (IAM) ユーザーが使用する各サービスカテゴリーの AWS 使用状況を 1 時間ごとまたは 1 日ごとに一覧表示できます。

この記事では、以下を説明します。

  1. Amazon S3 の CRR と SRR のコストと使用状況のモニタリングに関連するフィールドのコストと使用状況レポートをフィルタリングする方法。
  2. 関連する Amazon S3 フィールドに基づいて Amazon QuickSight で最適なビジュアルを設定し、CRR および SRR アクティビティに関する豊富なインタラクティブデータの視覚化と分析を行います。

AWS のコストと使用状況レポートと、Athena を使用したクエリの使用開始

まず、S3 で新しいバケットを作成し、それをデータのコストとストレージに使用します。データは Parquet 形式で保存され、月と年ごとに自動的に分割されます。IAM ポリシーを作成して、データへのアクセスを制限できます。 準備ができたら、Billing and Cost Management コンソール内から AWS のコストと使用状況レポートを作成する必要があります。詳細については、「AWS のコストと使用状況レポートの作成」を参照してください。

Athena を使用するには、AWS Glue クローラー、AWS Glue データベース、および AWS Lambda イベントをセットアップする必要があります。Billing and Cost Management には、このセットアップを行う AWS CloudFormation テンプレートが用意されています。Athena 入門のドキュメントを参照してください。さらに、Amazon Athena を使用して AWS のコストと使用状況レポートをクエリする方法および CloudFormation テンプレートの詳細については、次のブログを参照してください。

AWS のコストと使用状況レポートを使用して S3 SRR と S3 CRR アクティビティをモニタリングする

AWS のコストと使用状況レポートには、AWS のサービスと料金に関する追加のメタデータを含む、利用可能な最も包括的な AWS のコストと使用状況のデータセットが含まれています。 各レポートには 100 以上の列が含まれています。Amazon S3 レプリケーションに固有のコストと使用状況をモニタリングするために、フィルタリングする列は次のとおりです。

以下のみを含めるには、「product_servicecode」をフィルタリングします。

  • AWSDataTransfer
  • Amazon S3

以下のみを含めるには、「line_item_operation」をフィルタリングします。

  • PutObjectForRepl
  • GetObjectForRepl
  • UploadPartForRepl
  • InitiateMultipartUploadForRepl
  • CompleteMultipartUploadForRepl
  • StandardStorage

さらに、ソースとターゲットの S3 バケットに同じキーと値 (たとえば、キー: ReplicationRule、値: Project_DR) でタグ付けすることをお勧めします。このタグを使用して、タグ (resource_tags_user_x) に基づいてフィルタリングします。請求のコストアロケーションタグでタグを有効にしてください。

これらのフィルターを使用すると、ダッシュボードを設定して、タグ別、操作別、リソース別、product_family (API リクエスト、データ転送、ストレージなど) 別でコストと使用量を視覚化できます。

豊富なインタラクティブ分析のために Amazon QuickSight でビジュアルをセットアップする

Athena を使用して S3 と Amazon QuickSight からのデータを分析し、データを視覚化します。Athena では、標準 SQL を使用して Amazon S3 のデータを簡単に分析できますが、Amazon QuickSight では、データを簡単に視覚化できます。 QuickSight では、完全マネージド型のサービスとして、ML Insights を含むインタラクティブなダッシュボードを簡単に作成および公開できます。ダッシュボードは、どのデバイスからでもアクセスでき、アプリケーション、ポータル、ウェブサイトに埋め込むことができます。 このセクションでは、ダッシュボードを設定して、Amazon S3 レプリケーションのコストと使用状況を API リクエスト、データ転送、ストレージ別に分類して視覚化します。

最初に、Athena を QuickSight のデータソースとして設定する必要があります。ヘルプが必要な場合は、Athena Data を使用したデータセットの作成、データセットの準備、および分析の操作のドキュメントを参照してください。

次の 2 つの方法でデータを準備できます。

  1. 関連するフィールドのみを選択して、ビジュアルの作成に使用できるフィールドの数を絞り込む方法。
  2. 上記のこのブログ記事にリストされている推奨事項に基づいてフィールドをフィルタリングする方法。

ここではデータのフィルタリングに焦点を当てますが、データを準備するためのさまざまな方法を確認する必要があります。

データ準備ページで、[フィルター] ペインを展開します。データセットのフィルタリングの詳細については、「テキストフィルターの追加」を参照してください。

次のフィルターを適用します。

  1. フィルター: product_servicecode
    1. カスタムフィルターリスト
    2. 含める
    3. リスト (1 行に 1 つの値):
      • AWSDataTransfer
      • Amazon S3
  2. フィルター: line_item_operation
    1. カスタムフィルターリスト
    2. 含める
    3. リスト (1 行に 1 つの値):
      • GetObjectForRepl
      • PutObjectForRepl
      • UploadPartForRepl
      • CompleteMultipartUploadForRepl
      • InitiateMultipartUploadForRepl
      • StandardStorage

データ準備ページ - フィルターの選択データ準備ページ - フィルターの選択 (1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

分析を構築するには、上部の [保存して視覚化] を選択します。以下にいくつかのビジュアル例を示します。

次のフィールドウェルでピボットテーブルを使用します。

  1. 行: line_item_usage_start_date (月ごとに集計)
  2. 列: product_product_family
  3. 値: line_item_unblended_cost (合計として集計)

保存して視覚化 - ビジュアル例

ビジュアルに関する推奨事項を次に示します。

  • 製品ファミリー別のピボットテーブル
  • ピボットテーブルにテーブル計算を追加して、タグごとの経時的な実行中の合計を確認します
  • タグ、リソース ID (S3 バケット) によるフィルター

料金

AWS では、長期契約や複雑なライセンスを必要とせずに、サービスを使用する限り、必要な個々のサービスに対してのみ支払います。AWS は、次のアイテムに対して課金します。

  • ソースおよび宛先バケット用の S3 標準ストレージ。
  • PUT リクエストの API コール料金
  • ソースバケットからの出力料金とターゲットバケットへの入力料金 (CRR の場合)

リクエストとリージョン間データ転送の料金は、ソース AWS リージョンに基づいています。最新の情報については、Amazon S3 レプリケーション料金の料金ページをご覧ください。

料金の例:

ソース S3 バケット (バージニア北部): 100 GB
宛先リージョン: 米国西部 (北カリフォルニア)
宛先でのレプリケーション PUT リクエストの数: 100

S3 ソースの標準ストレージコスト: 100 GB * 0.023 USD = 2.30 USD
S3 宛先でのレプリケーションされたデータの標準ストレージコスト: 100 GB * 0.023 USD = 2.30 USD
データ転送: 100 GB * 0.20 USD (転送された GB データあたり) = 2.00 USD
PUT リクエストあたりの料金: 0.005 USD (1000 リクエストあたり) / 1000 = 0.000005 USD
レプリケーション PUT リクエスト: 100 * 0.000005 USD = 0.0005 USD
合計: 2.30 USD + 2.30 USD + 2.00 USD + 0.0005 USD = 6.6005 USD

まとめ

AWS は、AWS のコストと使用状況にアクセスし、整理し、理解し、制御し、最適化するためのツールをユーザーに提供します。さらに、ツールを最も包括的で安全でスケーラブルで費用対効果の高いサービスポートフォリオと統合して、カスタム分析ソリューションを構築できます。

質問や提案がある場合は、コメント欄にフィードバックを残してください。AWS アクティビティのモニタリングと分析についてさらにサポートが必要な場合は、AWS アカウントチームまたは信頼できる APN パートナーにお問い合わせください。

詳細については、AWS のコストと使用状況レポートページまたは AWS のコストと使用状況レポートユーザーガイドを参照してください。