Amazon Kinesis 向けストリーミングデータソリューションは、データがプロデューサー、ストリーミングストレージ、コンシューマー、および宛先を通過する AWS CloudFormation テンプレートを提供します。さまざまなユースケースとビジネスニーズをサポートするために、このソリューションでは 4 つの CloudFormation テンプレートが提供されています。Amazon MSK 向けストリーミングデータソリューションと同様に、テンプレートは、ダッシュボードとアラームを使用して機能を監視し、データを保護するためのベストプラクティスを適用するように構成されています。
利点
AWS ソリューションの概要
-
オプション 1
-
オプション 2
-
オプション 3
-
オプション 4
-
オプション 1
-
Amazon API Gateway と AWS Lambda を使用した AWS CloudFormation テンプレート
クリックして拡大閉じるAmazon API Gateway と AWS Lambda を使用した AWS CloudFormation テンプレート
Amazon Kinesis 向けストリーミングデータソリューションのアーキテクチャ
オプション 1 - Amazon API Gateway、Kinesis Data Streams および AWS Lambda を使用した AWS CloudFormation テンプレート
この AWS CloudFormation テンプレートは、以下を含むリファレンスアーキテクチャをデプロイします。
- Amazon API Gateway REST API は、Amazon Kinesis Data Streams のプロキシとして機能し、個々のデータレコードまたはデータレコードのリストを追加します。
- Amazon Cognito のユーザープールは、REST API メソッドを呼び出すことができる人を制御するために使用されます。
- 受信したストリーミングデータを保存する Kinesis Data Streams
- AWS Lambda 関数は、データストリームからのレコードを処理します。
- AWS Lambda の処理中に発生したエラーと失敗したレコードには注釈が付けられ、イベントは Amazon Simple Queue Service (Amazon SQS) に保存されます。キューは、失敗したバッチレコードと Lambda エラーのメタデータを保存し、お客様がこのようなレコードを取得して、そのような問題を解決するための次のステップを決定できるようにします。
Amazon Kinesis 向けストリーミングデータソリューション
推定費用 ソースコード オプション 1: API Gateway、Kinesis Data Streams および AWS Lambda を使用した AWS CloudFormation テンプレートバージョン 1.6.0
リリース日: 2021 年 11 月
作成者: AWS見積りデプロイ時間: 5～10 分
-
オプション 2
-
Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
クリックして拡大閉じるAmazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
Amazon Kinesis 向けストリーミングデータソリューションのアーキテクチャ
オプション 2 - Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
この AWS CloudFormation テンプレートは、以下を含むリファレンスアーキテクチャをデプロイします。
- Amazon Elastic Compute Cloud (Amazon EC2) インスタンスは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。
- Amazon Kinesis Data Streams は、受信したデータストリームを保存します。
- Kinesis Data Analytics Studio は、着信レコードを処理し、処理されたデータを Amazon Simple Storage Service (Amazon S3) バケットに保存します。
- Amazon CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベントとエラーを監視します。
Amazon Kinesis 向けストリーミングデータソリューション
バージョン 1.6.0
リリース日: 2021 年 11 月
作成者: AWS見積りデプロイ時間: 5～10 分
-
オプション 3
-
Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
クリックして拡大閉じるAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
Amazon Kinesis 向けストリーミングデータソリューションのアーキテクチャ
オプション 3 - Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
このオプションは、以下を含むリファレンスアーキテクチャをデプロイします。
- Amazon Kinesis Data Streams は、受信したストリーミングデータを保存します。
- Amazon Kinesis Data Firehose では、Amazon S3 バケットに出力を配信する前に、データがバッファされます。フルマネージドサービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。
- Amazon CloudWatch ダッシュボードは、データの取り込みとバッファリングをモニタリングします。CloudWatch アラームは、Kinesis DataFirehose の重要なメトリクスに設定されます。
Amazon Kinesis 向けストリーミングデータソリューション
バージョン 1.6.0
リリース日: 2021 年 11 月
作成者: AWS
見積りデプロイ時間: 5～10 分
- Amazon Kinesis Data Streams は、受信したストリーミングデータを保存します。
-
オプション 4
-
Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
クリックして拡大閉じるAmazon Kinesis Data Streams、Amazon Kinesis Data Analytics、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
Amazon Kinesis 向けストリーミングデータソリューションのアーキテクチャ
オプション 4 - Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
このオプションは、以下を含むオプション 2 に似たリファレンスアーキテクチャをデプロイします。
- Amazon Elastic Compute Cloud (Amazon EC2) インスタンスでは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。
- Kinesis Data Streams は、受信したストリーミングデータを保存します。
- Kinesis Data Analytics は、着信レコードを処理し、非同期に外部エンドポイントを呼び出します。
- デモアプリケーションは、AWS Lambda 関数を呼び出します。
- 外部 API は、Amazon API Gateway でサポートされている任意の統合 (例えば、Amazon SageMaker のエンドポイント) とすることができます。
- Amazon CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベントとエラーを監視します。
Amazon Kinesis 向けストリーミングデータソリューション
バージョン 1.6.0
リリース日: 2021 年 11 月
作成者: AWS
見積りデプロイ時間: 5～10 分
- Amazon Elastic Compute Cloud (Amazon EC2) インスタンスでは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。
関連コンテンツ
この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、Amazon Kinesis Data Analytics (KDA) と Apache Flink を統合し、データベースの基本的なサービスを非同期的に呼び出す方法についても説明しています。
