概要
Amazon Kinesis 向けストリーミングデータソリューションは、データがプロデューサー、ストリーミングストレージ、コンシューマー、および宛先を通過する AWS CloudFormation テンプレートを提供します。さまざまなユースケースとビジネスニーズをサポートするために、このソリューションでは 4 つの CloudFormation テンプレートが提供されています。Amazon MSK 向けストリーミングデータソリューションと同様に、テンプレートは、ダッシュボードとアラームを使用して機能を監視し、データを保護するためのベストプラクティスを適用するように構成されています。
ストリーミングデータは、データプロデューサーから送られる大量のデータを処理できる、規模の大きいスケーラブルなストレージによって永続的にキャプチャされる必要があります。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。
ストリーミングデータには、モバイルアプリケーションやウェブアプリケーションでお客様によって生成されるログファイル、e コマースでの購入内容、ゲーム内でのプレイヤーのアクティビティ、さらにはソーシャルネットワーク、証券取引所の立会場、または地理空間サービスからの情報、およびデータセンター内の接続されたデバイスや計器からのテレメトリなど、広範なデータがあります。
メリット
技術的な詳細情報
-
オプション 1
-
オプション 2
-
オプション 3
-
オプション 4
-
オプション 1
-
Amazon API Gateway と AWS Lambda を使用した AWS CloudFormation テンプレート
オプション 1 - Amazon API Gateway、Kinesis Data Streams および AWS Lambda を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon API Gateway REST API は、Amazon Kinesis Data Streams のプロキシとして機能し、個々のデータレコードまたはデータレコードのリストを追加します。ステップ 3
受信したストリーミングデータを保存する Kinesis Data Streams。ステップ 4
AWS Lambda 関数は、データストリームからのレコードを処理します。ステップ 5
AWS Lambda の処理中に発生したエラーと失敗したレコードには注釈が付けられ、イベントは Amazon Simple Queue Service (Amazon SQS) に保存されます。キューは、失敗したバッチレコードと Lambda エラーのメタデータを保存し、お客様がこのようなレコードを取得して、そのような問題を解決するための次のステップを決定できるようにします。関連コンテンツ
AWS アーキテクチャブログAWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。
トレーニングAmazon Kinesis Analytics の概要このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。
トレーニングData Analytics Fundamentalsこのセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。
このデプロイについてバージョン1.8.1リリース2023 年 10 月作成者AWS予想されるデプロイ時間5〜10 分推定コスト -
オプション 2
-
オプション 2 - Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon Elastic Compute Cloud (Amazon EC2) インスタンスは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。ステップ 3
Amazon Managed Service for Apache Flink Studio は、着信レコードを処理し、処理されたデータを Amazon Simple Storage Service (Amazon S3) バケットに保存します。ステップ 4
Amazon CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベントとエラーを監視します。
関連コンテンツ
AWS アーキテクチャブログAWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。
トレーニングAmazon Kinesis Analytics の概要このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。
トレーニングData Analytics Fundamentalsこのセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。
このデプロイについてバージョン1.8.1リリース2023 年 10 月作成者AWS予想されるデプロイ時間5〜10 分推定コスト -
オプション 3
-
Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
オプション 3 - Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon Kinesis Data Streams は、受信したストリーミングデータを保存します。ステップ 2
Amazon Kinesis Data Firehose では、Amazon S3 バケットに出力を配信する前に、データがバッファされます。フルマネージドサービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ステップ 3
Amazon CloudWatch ダッシュボードは、データの取り込みとバッファリングをモニタリングします。CloudWatch アラームは、Kinesis Data Firehose の重要なメトリクスに設定されます。関連コンテンツ
AWS アーキテクチャブログAWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。
トレーニングAmazon Kinesis Analytics の概要このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。
トレーニングData Analytics Fundamentalsこのセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。
このデプロイについてバージョン1.8.1リリース2023 年 10 月作成者AWS予想されるデプロイ時間5〜10 分推定コスト -
オプション 4
-
Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
オプション 4 - Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon Elastic Compute Cloud (Amazon EC2) インスタンスでは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。ステップ 3
Managed Service for Apache Flink は、着信レコードを処理し、非同期に外部エンドポイントを呼び出します。ステップ 4
デモアプリケーションは、AWS Lambda 関数を呼び出します。ステップ 5
外部 API は、Amazon API Gateway でサポートされている任意の統合 (例えば、Amazon SageMaker のエンドポイント) とすることができます。ステップ 6
Amazon CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベントとエラーを監視します。AWS アーキテクチャブログAWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。
トレーニングAmazon Kinesis Analytics の概要このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。
トレーニングData Analytics Fundamentalsこのセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。
このデプロイについてバージョン1.8.1リリース2023 年 10 月作成者AWS予想されるデプロイ時間5〜10 分推定コスト