Amazon Kinesis Data Analytics の料金

Amazon Kinesis Data Analytics は、データストリームを処理するためのオープンソースのフレームワークおよびエンジンである Apache Flink を使用して、ストリーミングデータをリアルタイムに変換および分析する最も簡単な方法です。Amazon Kinesis Data Analytics は、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスと簡単に統合することができます。

Amazon Kinesis Data Analytics の場合、お支払いいただくのは実際に使用した分のみです。自分でリソースをプロビジョニングする必要もなければ、初期費用もありません。アプリケーションの実行に使用された Kinesis 処理単位 (KPU、Kinesis Processing Unit) の数に基づいて時間あたりの課金が発生します。1 つの KPU は、1 vCPU のコンピューティングと 4 GB のメモリで構成されています。

Apache Flink アプリケーションの場合、オーケストレーションに使用された KPU がアプリケーションあたり 1 単位追加される方式で課金されます。また、アプリケーションは、ストレージや永続的バックアップに対しても課金されます。稼働アプリケーションストレージは Amazon Kinesis Data Analytics のステートフル処理機能のために使用され、GB 単位で毎月課金されます。永続的バックアップは任意です。これはアプリケーションバックアップにポイントインタイムリカバリを与え、GB 単位で毎月課金されます。

ストリーミングモードでは、Amazon Kinesis Data Analytics では、メモリやコンピューティングの要求が変動すると、ストリーミング処理アプリケーションによって必要とされる KPU の数を自動的に拡大縮小されます。必要な数の KPU でアプリケーションを プロビジョニングすることを選択できます。

インタラクティブモードでは、1 つの Studio アプリケーションにつき、2 つの追加 KPU が課金されます。1 つの KPU は、Apache Flink のアプリケーションオーケストレーションに、もう1 つの KPU は、サーバーレスのインタラクティブな開発環境に使用されています。また、ステートフルな処理機能に使用されるアプリケーションストレージの稼働にも課金されます。稼働アプリケーションストレージは、GB 単位で毎月課金されます。

Studio ノートブックにおける開発では、永続的アプリケーションバックアップを作成するオプションはありません。ただし、Studio ノートブックのアプリケーションを、インタラクティブモードからストリーミングモードにデプロイする場合、永続的アプリケーションバックアップを作成することができます。

アプリケーションに必要な KPU 数の正確な見積もりを得るには、本番負荷でアプリケーションをテストすることをお勧めします。KPU の使用は、データボリュームと速度、コードの複雑さ、統合などに基づいて大幅に異なる可能性があります。これは、Amazon Kinesis Data Analytics で Apache Flink ランタイムを使用する場合に特に当てはまります。たとえば、内部テストを通じて、状態のない単純なアプリケーションでは KPU あたり数百 MB/1 秒のスループットが見られ、集約的な機械学習 (ML) アルゴリズムを使用する複雑なアプリケーションでは KPU あたり 1 MB 未満のスループットが見られました。これらの警告を念頭に置いた場合、アプリケーションをテストする前に提供する一般的なガイダンスは、KPU ごとに 1 MB/秒です。

Amazon Kinesis Data Analytics Studio を使用して、Kinesis Data Stream でキャプチャされたストリーミングデータを継続的にフィルタリングし、興味のあるレコードのみを保持するものとします。レコードをリアルタイムで表示して視覚化する機能や、SQL や Python で簡単にクエリやプログラムを書き込む機能が求められています。永続的状態のバックアップは望んでいません。入力ストリームのスループットに基づいて、Studio ノートブックに 4 KPU をプロビジョニングします。この場合、Kinesis Data Analytics の月額料金は以下のように計算されます。

月額料金

米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。このシンプルなアプリケーションでは、4 KPU を使用して着信データストリームを処理します。Studio ノートブックのアプリケーション (例: インタラクティブモード) は、1 つのアプリケーションにつき 追加で 2 KPU の料金がかかります。KPU 月額料金 = 30日 × 24 時間 × ((4 KPU + 2 つの追加 KPU) × 0.11 USD/時間) = 475.20 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。

稼働アプリケーションストレージの月額料金 = 30日 × 24 時間 × 4 KPU × （50 GB × 0.10 USD/GB/月）= 20.00 USD 

合計料金 = 475.20 USD + 20.00 USD = 495.20 USD

 

Kinesis Data Analytics Studio を使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK) クラスター内のトピックで取得したストリーミングデータにスライディングウィンドウを構築しています。4 KPU の Studio ノートブックを 2 日間で 8 時間使用し、クエリの開発とテストを行います。開発後は、アプリケーションを、12 KPU のストリーミングアプリケーションとしてデプロイします。ストリーミングアプリケーションがデプロイされると、Studio ノートブックを停止します。ストリーミングアプリケーションは、永続的アプリケーション状態を使用することができ、永続的状態のバックアップを毎日作成します。

米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。

月額料金

クエリ Kinesis Data Analytics Studio の開発とテスト:
KPU 料金 = 2 日 × 8 時間 × (4 KPU + Studio ノートブックのための 2 つの追加 KPU) × 0.11 USD/時間) = 10.56 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。

稼働アプリケーションのストレージ料金 = 2 日 × 8 時間 × 4 KPU × (50 GB × 0.10 USD/GB/月) = 0.44 USD

ストリーミングアプリケーションとしてデプロイし、継続的に実行し、アプリケーションのバックアップをとります。

KPU 料金 = 28 日 × 24 時間 × (2 KPU + ストリーミングアプリケーションのための 1 つの追加 KPU) × 0.11 USD/時間) = 221.76 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.121 USD/月で課金されます。

稼働アプリケーションのストレージ料金 = 28 日 × 24 時間 × 2 KPU × (50 GB × 0.10 USD/GB/月) = 9.33 USD

永続的アプリケーションストレージ料金 = 28 * × (1 MB/バックアップ * 1 GB/1,000 MB) * 0.023/GB/月 = 0.01 USD (最も近いペニーに切り上げられます)

合計料金 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD

Kinesis Data Analytics の Apache Flink アプリケーションを使用して、Kinesis Data Stream でキャプチャされたログデータを Amazon Simple Storage Service (Amazon S3) に継続的に変換して配信します。ログデータは、さまざまなログイベントへのスキーマの適用、イベントのタイプ別のデータのパーティション化、タイムスタンプでのデータ分類、配信前の 1 時間分のデータのバッファリングなど、いくつかの演算子を使用して変換されます。アプリケーションには多くの変換ステップがありますが、計算集約的ではありません。このストリームは、1 日に 12 時間 2,000 レコード/秒でデータを取り込み、1 日あたり 12 時間 8,000 レコード/秒に増加します。永続的アプリケーションバックアップを作成しません。この場合、Kinesis Data Analytics の月額料金は以下のように計算されます。

月額料金

米国東部 (バージニア北部)リージョンでの料金は、KPU 時間あたり 0.11 USD となります。Kinesis Data Analytics は、KPU あたり 50 GB の稼働アプリケーションストレージを割り当て、GB/月あたり 0.10 USD で課金されます。

ワークロードが高い: ワークロードが高くなる 12 時間の間、Kinesis Data Analytics アプリケーションは毎秒 8,000 レコードを処理し、最大 8 KPU まで自動的にスケールアップします。ワークロードが高くなる時間の後、Kinesis Data Analytics アプリケーションは、スループットが 6 時間低下したらアプリケーションをスケールダウンします。このアプリケーションは、1 日に合計 18 時間、8 KPU までスケールアップされています。

30 日/月 * 18 時間/日 = 540 時間/月

KPU 月額料金 = 540 時間/月 × 8 KPU × 0.11 USD/時間 = 475.20 USD

稼働アプリケーションストレージの月額料金 = 540 時間/月 × 8 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 30.00 USD

KPU とストレージの月額料金 = 475.20 USD + 30.00 USD = 505.20 USD

ワークロードが低い: 残りの 6 時間の軽いワークロード期間中、Kinesis Data Analytics アプリケーションは毎秒 2,000 レコードを処理し、自動的に 2 KPU にスケールダウンします。

30 日/月 * 6 時間/日 = 180 時間/月

KPU 月額料金 = 180 時間/月 × 2 KPU × 0.11 USD/時間 = 39.60 USD

稼働アプリケーションストレージの月額料金 = 180 時間/月 × 2 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 2.50 USD

KPU とストレージの月額料金 = 39.60 USD + 2.50 USD = 42.10 USD

各 Apache Flink アプリケーションでは、アプリケーションごとに使用された追加の KPU 時間に基づいて課金されます。

月額料金 = 30 * 24 * 1 KPU * 0.11 USD/時間 = 79.20 USD

合計料金 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD

SQL アプリケーション向け Kinesis Data Analytics を使用して、オンラインショッピング取引のデータを Kinesis Stream でキャプチャし、販売された商品の 1 分間のスライディングウィンドウ合計を計算するものとします。このストリーミングでは、通常 1,000 レコード/秒でデータが取得されますが、販促キャンペーン中には 1 日に 1 回 1 時間内に 6,000 レコード/秒にデータがスパイクします。この場合、Kinesis Data Analytics の月額料金は以下のように計算されます。

月額料金

米国での料金リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。Kinesis データストリームでは、通常 1,000 レコード/秒でデータが取得されます。しかし、1 日 1 回、1 時間内に データが 6,000 レコード/秒にスパイクします。

1 日 24 時間のうち 23 時間発生する「定常状態」の場合、スライディングウィンドウクエリは 1 時間のワークロードを処理するために 1 KPU を使用します。

30 日/月 * 23 時間/日 = 690 時間/月 
定常状態 = 690 時間/月 * (1 KPU * 0.11 USD/時間) = 75.90 USD

1 日のうちの 1 時間に発生する「スパイク状態」の場合、スライディングウィンドウクエリでは 1～2 KPU が使用されます。したがって、1 日 24 時間のうちの 1 時間分のみに 2 KPU の料金が適用されます。

30 日/月 * 1 時間/日 = 30 時間/月 
スパイク状態 = 30 時間/月 * (2 KPU * 0.11 USD/時間) = 6.60 USD

合計料金 = 75.90 USD + 6.60 USD = 82.50 USD

注: Amazon Kinesis Data Analytics アプリケーションとの間で転送されるデータについて、当社は標準の AWS データ転送コストを請求する権利を留保します。