データレイクにあるデータを使った分析環境を構築したい

オンプレミスにある EC システムなどに保存されている各種データ (売上・販売データ、顧客からの商品レビュー) を、データレイクのストレージとして活用する Amazon S3 に転送・蓄積し、データレイクに蓄積したデータを活用して、売上推移の可視化や販売チャネルの分析、各商品に対するレビュー分析を実現する構成例とその概算料金をご紹介します

この構成例のクラウドレベル:

応用編

入門編:該当するユースケースの知識が全くない方が対象
基礎編:該当するユースケースの入門知識がある方が対象
応用編:該当するユースケースにある程度精通している方が対象

この構成例で解決できる課題・困りごと:

  • クラウドにデータを移行し、管理や分析を効率化したい
  • データを迅速に分析し、可視化することで意思決定を加速させたい
  • データの一元管理とセキュリティを強化し、コンプライアンスを確保したい

この構成例の概算料金:

266.92 ドル (月額)

この構成例のメリット:

  • マネージドの ETLや BI サービスの利用により、運用コストを軽減できます
  • データ分析に標準 SQL が使用できるインフラストラクチャで、分析プロセスの一貫性と効率性が向上します
  • BI サービスのライセンスコストが課題である場合、アクセス頻度に応じた従量課金によってコスト効率を高めます
  • データレイクに対して、直接 SQL を使ってアドホックに分析できます

この構成例で使用したサービスと概算料金内訳:

サービス 項目 数量 単価 料金 (USD)
Amazon S3 標準ストレージ ((200 MB * 50 ファイル/日 [Source]) + (100 MB * 100 ファイル/日 [Destination])) * 30 日/月 = 600 GB/月 0.025 USD/GB 15
  PUT リクエスト (50 ファイル/日 [Source] + 100 ファイル/日 [Destination]) * 30 日 = 4,500 ファイル 0.0047 USD/1,000 リクエスト 0.02115
  GET リクエスト (50 ファイル/日 [Source] + 100 ファイル/日 [Destination]) * 30 日 = 4,500 ファイル 0.00037 USD/1,000 リクエスト 0.00167
AWS Glue ETL Apache Spark ジョブ 6 DPU(最低 2 DPU から) * 30 分/日 * 30 日 = 90 DPU・時間 DPU あたり 0.44 USD/時間 (最小 1 分) 39.6
  クローラ 4 DPU * 30 分/日 * 30 日 = 60 DPU・時間 DPU あたり 0.44 USD/時間 (最小 10 分) 26.4
  Data Catalog ストレージ 200 万オブジェクト/月 100 万個を超えると 1.00 USD/10 万個
(最初の 100 万オブジェクトは無料)
10
  Data Catalog リクエスト 200 万アクセス/月 100 万リクエストを超えると 1.00 USD/100 万リクエスト
(最初の 100 万リクエストは無料)
1
Amazon Athena スキャンされたデータ 10 GB/日 * 30 日 = 300 GB 5.00 USD/TB 1.5
Amazon QuickSight 作成者 3 ユーザー 24 USD/ユーザー
(1ヶ月契約。年間契約の場合、18 USD/ユーザー/月)
72
  リーダー 30 ユーザー 3 USD/ユーザー/月 90
  SPICE ストレージ 30 GB
(作成者ごとに 10 GB が割り当てられているため、課金対象は 30 GB です)
0.38 USD/月
(作成者あたり 10 GB の SPICE 割り当てが含まれています)
11.4

月額合計料金:266.92 (USD)

※ 2024 年 09 月 16 日時点での試算です。

  • 東京リージョンでの利用を想定しています。
  • 1 ヶ月を 30 日として計算しています。
  • オンプレの各種システムから、毎日 200 ファイル、各々 50 MB のデータファイル が生成されます。
  • データファイルは、 AWS CLI を使って S3 バケット [Source] へアップロードします。
  • 実行される Glue Job により、S3 バケット [Source] にアップロードされた 200 ファイル50MB を、 100 ファイル 100 MBに変換し、 S3 バケット [Destination] へ格納します。
  • Glue Job が終了したら、Crawler を実行しテーブルやパーティションなどのメタデータを、AWS Glue Data Catalog に更新します。
  • Athena クエリエンジンが Glue Data Catalog にあるメタデータを参照して、 S3 バケット [Destination] にあるデータの検索、読み取り、および処理を行います。
  • Glue Data Catalog には、 Glue テーブルやデータベースなどのオブジェクトが 200 万個/月作成され、オブジェクトへは 200 万アクセス/月あるものとします。
  • Athena からクエリを実行するたびに、 S3 バケット [Destination] 内の 10 GB 分のファイルを読み取って処理を行います
  • QuickSight はエンタープライズ・エディションを利用します。
  • Athena クエリのデータ処理結果を QuickSight の SPICE に日次で増分更新します。
  • 3 名が作成者ユーザー 、 30 名がリーダーユーザーとして、 QuickSight を利用します。
  • SPICE は作成者ごとに、20 GB を消費します。

この AWS サービスに関する参考情報

補足がある場合に使用ください

最新の料金やサービスのスペックを変更した場合の料金を知りたい場合は AWS Pricing Calculator を使って想定利用金額を算出してみましょう

AWS Pricing Calculator の使い方 (基礎編 - 1 つのサービスを見積もる方法 )
AWS Pricing Calculator の使い方(応用編 - 複数のサービスの組み合わせを見積もる方法)
  • アマゾン ウェブ サービス(AWS)の利用をご検討中の皆様に向けて、無料個別相談会を実施いたします。
    今後 AWS の導入に向けて、サービス詳細や特定の業界・サービスを活用した事例の紹介をご希望の皆様、料金関連(支払方法やお見積り、課金体系)に関するご相談、具体的な構成等の技術に関するご相談等を希望される皆様は、是非ご参加ください。
    無料個別相談会に申し込む »

  • お客様のビジネスニーズに合わせて AWS が提供できるサービスと提供内容についてご説明させていただきます。
    フォームにご記入いただき、AWS 日本担当チームまでお問い合わせください。
    フォームで日本担当チームに問い合わせる »

今日から AWS を始めましょう!

コンピューティング、データベース、ストレージ、コンテンツ配信、機械学習、IoT をはじめ、
AWS では、柔軟性、スケーラビリティ、信頼性の高いアプリケーションの構築を支援するサービスをご用意しています。