Amazon Managed Service for Apache Flink の料金

Amazon Managed Service for Apache Flink では、データストリームを処理するためのオープンソースのフレームワークおよびエンジンである Apache Flink を使用して、ストリーミングデータをリアルタイムに変換および分析できます。Amazon Managed Service for Apache Flink は、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスとより簡単に統合できるようにします。

Amazon Managed Service for Apache Flink では、使用した分についてのみお支払いいただきます。自分でリソースをプロビジョニングする必要もなければ、初期費用もありません。アプリケーションの実行に使用された Kinesis 処理単位 (Kinesis Processing Unit、KPU) の数に基づいて時間あたりの課金が発生します。1 つの KPU は、1 vCPU のコンピューティングと 4 GB のメモリで構成されています。

Apache Flink アプリケーションの場合、オーケストレーションに使用された KPU がアプリケーションあたり 1 単位追加される方式で課金されます。また、アプリケーションは、ストレージや永続的バックアップに対しても課金されます。稼働アプリケーションストレージは Amazon Managed Service for Apache Flink のステートフル処理機能のために使用され、GB 単位で毎月課金されます。永続的バックアップは任意です。これはアプリケーションバックアップにポイントインタイムリカバリを与え、GB 単位で毎月課金されます。

ストリーミングモードでは、Amazon Managed Service for Apache Flink では、メモリやコンピューティングの要求が変動すると、ストリーミング処理アプリケーションによって必要とされる KPU の数を自動的に拡大縮小されます。必要な数の KPU でアプリケーションを プロビジョニングすることを選択できます。

インタラクティブモードでは、1 つの Studio アプリケーションにつき、2 つの追加 KPU が課金されます。1 つの KPU は、Apache Flink のアプリケーションオーケストレーションに、もう1 つの KPU は、サーバーレスのインタラクティブな開発環境に使用されています。また、ステートフルな処理機能に使用されるアプリケーションストレージの稼働にも課金されます。稼働アプリケーションストレージは、GB 単位で毎月課金されます。

Studio ノートブックにおける開発では、永続的アプリケーションバックアップを作成するオプションはありません。ただし、Studio ノートブックのアプリケーションを、インタラクティブモードからストリーミングモードにデプロイする場合、永続的アプリケーションバックアップを作成することができます。

アプリケーションに必要な KPU 数の正確な見積もりを得るには、本番負荷でアプリケーションをテストすることをお勧めします。KPU の使用は、データボリュームと速度、コードの複雑さ、統合などに基づいて大幅に異なる可能性があります。これは、Amazon Managed Service for Apache Flink で Apache Flink ランタイムを使用する場合に特に当てはまります。たとえば、内部テストを通じて、状態のない単純なアプリケーションでは KPU あたり数百 MB/1 秒のスループットが見られ、集約的な機械学習 (ML) アルゴリズムを使用する複雑なアプリケーションでは KPU あたり 1 MB 未満のスループットが見られました。これらの警告を念頭に置いた場合、アプリケーションをテストする前に提供する一般的なガイダンスは、KPU ごとに 1 MB/秒です。

Amazon Managed Service for Apache Flink Studio を使用して、Amazon Kinesis Data Streams でキャプチャされたストリーミングデータを継続的にフィルタリングし、興味のあるレコードのみを保持するものとします。レコードをリアルタイムで表示して視覚化する機能や、SQL や Python で簡単にクエリやプログラムを書き込む機能が求められています。永続的状態のバックアップは望んでいません。入力ストリームのスループットに基づいて、Studio ノートブックに 4 KPU をプロビジョニングします。Amazon Managed Service for Apache Flink の月額料金は、次のように計算されます。

月額料金

米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。このシンプルなアプリケーションでは、4 KPU を使用して着信データストリームを処理します。Studio ノートブックのアプリケーション (例: インタラクティブモード) は、1 つのアプリケーションにつき 追加で 2 KPU の料金がかかります。KPU 月額料金 = 30日 × 24 時間 × ([4 KPU + 2 つの追加 KPU] × 0.11 USD/時間) = 475.20 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。

稼働アプリケーションストレージの月額料金 = 30日 × 24 時間 × 4 KPU × (50 GB × 0.10 USD/GB/月) = 20.00 USD 

合計料金 = 475.20 USD + 20.00 USD = 495.20 USD

 

Amazon Managed Service for Apache Flink Studio を使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK) クラスター内のトピックで取得したストリーミングデータにスライディングウィンドウを構築しています。4 KPU の Studio ノートブックを 2 日間で 8 時間使用し、クエリの開発とテストを行います。開発後は、アプリケーションを、12 KPU のストリーミングアプリケーションとしてデプロイします。ストリーミングアプリケーションがデプロイされると、Studio ノートブックを停止します。ストリーミングアプリケーションは、永続的アプリケーション状態を使用することができ、永続的状態のバックアップを毎日作成します。

米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。

月額料金

Amazon Managed Service for Apache Flink Studio のクエリの開発とテスト:
KPU 料金 = 2 日 × 8 時間 × (4 KPU + Studio ノートブックのための 2 つの追加 KPU) × 0.11 USD/時間) = 10.56 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。

稼働アプリケーションのストレージ料金 = 2 日 × 8 時間 × 4 KPU × (50 GB × 0.10 USD/GB/月) = 0.44 USD

ストリーミングアプリケーションとしてデプロイし、継続的に実行し、アプリケーションのバックアップをとります。

KPU 料金 = 28 日 × 24 時間 × (2 KPU + ストリーミングアプリケーションのための 1 つの追加 KPU) × 0.11 USD/時間) = 221.76 USD

Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.121 USD/月で課金されます。

稼働アプリケーションのストレージ料金 = 28 日 × 24 時間 × 2 KPU × (50 GB × 0.10 USD/GB/月) = 9.33 USD

永続的アプリケーションストレージ料金 = 28 * × (1 MB/バックアップ * 1 GB/1,000 MB) * 0.023/GB/月 = 0.01 USD (最も近いペニーに切り上げられます)

合計料金 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD

Amazon Managed Service for Apache Flink の Apache Flink アプリケーションを使用して、Kinesis Data Streams でキャプチャされたログデータを Amazon Simple Storage Service (Amazon S3) に継続的に変換して配信します。ログデータは、さまざまなログイベントへのスキーマの適用、イベントのタイプ別のデータのパーティション化、タイムスタンプでのデータ分類、配信前の 1 時間分のデータのバッファリングなど、いくつかの演算子を使用して変換されます。アプリケーションには多くの変換ステップがありますが、計算集約的ではありません。このストリームは、1 日に 12 時間 2,000 レコード/秒でデータを取り込み、1 日あたり 12 時間 8,000 レコード/秒に増加します。永続的アプリケーションバックアップを作成しません。Amazon Managed Service for Apache Flink の月額料金は、次のように計算されます。

月額料金

米国東部 (バージニア北部)リージョンでの料金は、KPU 時間あたり 0.11 USD となります。Amazon Managed Service for Apache Flink では、KPU ごとに 50 GB の稼働アプリケーションストレージが割り当てられ、GB 単位で毎月 0.10 USD が課金されます。

ワークロードが高い: ワークロードが高くなる 12 時間の間、Amazon Managed Service for Apache Flink アプリケーションは毎秒 8,000 レコードを処理し、最大 8 KPU まで自動的にスケールアップします。作業負荷が大きい場合、Amazon Managed Service for Apache Flink アプリケーションは、スループットが 6 時間低下した後にアプリケーションをスケールダウンします。このアプリケーションは、1 日に合計 18 時間、8 KPU までスケールアップされています。

30 日/月 * 18 時間/日 = 540 時間/月

KPU 月額料金 = 540 時間/月 × 8 KPU × 0.11 USD/時間 = 475.20 USD

稼働アプリケーションストレージの月額料金 = 540 時間/月 × 8 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 30.00 USD

KPU とストレージの月額料金 = 475.20 USD + 30.00 USD = 505.20 USD

ワークロードが低い: 残りの 6 時間の軽いワークロード期間中、Amazon Managed Service for Apache Flink アプリケーションは毎秒 2,000 レコードを処理し、自動的に 2 KPU にスケールダウンします。

30 日/月 * 6 時間/日 = 180 時間/月

KPU 月額料金 = 180 時間/月 × 2 KPU × 0.11 USD/時間 = 39.60 USD

稼働アプリケーションストレージの月額料金 = 180 時間/月 × 2 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 2.50 USD

KPU とストレージの月額料金 = 39.60 USD + 2.50 USD = 42.10 USD

各 Apache Flink アプリケーションでは、アプリケーションごとに使用された追加の KPU 時間に基づいて課金されます。

月額料金 = 30 * 24 * 1 KPU * 0.11 USD/時間 = 79.20 USD

合計料金 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD