Amazon Kinesis 向けストリーミングデータソリューション

大規模なスケーラビリティと耐久性を備えたリアルタイムデータストリーミングサービスにより、継続的にデータを取り込んで処理することができます

概要

Amazon Kinesis 向けストリーミングデータソリューションは、データがプロデューサー、ストリーミングストレージ、コンシューマー、および宛先を通過する AWS CloudFormation テンプレートを提供します。さまざまなユースケースとビジネスニーズをサポートするために、このソリューションでは 4 つの CloudFormation テンプレートが提供されています。Amazon MSK 向けストリーミングデータソリューションと同様に、テンプレートは、ダッシュボードとアラームを使用して機能を監視し、データを保護するためのベストプラクティスを適用するように構成されています。

ストリーミングデータは、データプロデューサーから送られる大量のデータを処理できる、規模の大きいスケーラブルなストレージによって永続的にキャプチャされる必要があります。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。

ストリーミングデータには、モバイルアプリケーションやウェブアプリケーションでお客様によって生成されるログファイル、e コマースでの購入内容、ゲーム内でのプレイヤーのアクティビティ、さらにはソーシャルネットワーク、証券取引所の立会場、または地理空間サービスからの情報、およびデータセンター内の接続されたデバイスや計器からのテレメトリなど、広範なデータがあります。

メリット

自動化された設定
ストリーミングデータを簡単にキャプチャ、保存、処理、配信するために必要な AWS のサービスを自動的に設定します。
4 つのテンプレートオプション
4 つの異なる AWS CloudFormation テンプレートオプションから選択します。本番稼働環境の新しいサービスの組み合わせをテストし、既存のアプリケーションを改善します。
リアルタイムのユースケース
大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など。
カスタマイズ可能なソースコード
ソリューションの定型コードをカスタマイズしてから、モニタリング機能を使用して、テストから本番環境にすばやく移行します。

技術的な詳細情報

下の図は、ソリューションの実装ガイドを使用して自動的にデプロイできる 4 つの AWS CloudFormation テンプレートを示しています。
  • オプション 1
  • Amazon API Gateway と AWS Lambda を使用した AWS CloudFormation テンプレート
    オプション 1 - Amazon API Gateway、Kinesis Data Streams および AWS Lambda を使用した AWS CloudFormation テンプレート
    AWS アーキテクチャブログ
    AWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論

    この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。

    ブログ記事の全文を読む 
    トレーニング
    Amazon Kinesis Analytics の概要

    このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。

    今すぐ登録 
    トレーニング
    Data Analytics Fundamentals

    このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。

    今すぐ登録 
    このデプロイについて
    バージョン
    1.8.1
    リリース
    2023 年 10 月
    作成者
    AWS
    予想されるデプロイ時間
    5〜10 分
    推定コスト
    実装ガイドをダウンロード  ソースコード  CloudFormation テンプレート  RSS フィードを購読 
    デプロイオプション
    開始のステップ
    AWS コンソールでこのソリューションを起動し、デプロイする
    この AWS ソリューションはお役に立ちましたか?
    フィードバックを送る
  • オプション 2
  • Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、Amazon CloudWatch を使用した AWS CloudFormation テンプレート 

    オプション 2 - Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
    AWS アーキテクチャブログ
    AWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論

    この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。

    ブログ記事の全文を読む 
    トレーニング
    Amazon Kinesis Analytics の概要

    このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。

    今すぐ登録 
    トレーニング
    Data Analytics Fundamentals

    このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。

    今すぐ登録 
    このデプロイについて
    バージョン
    1.8.1
    リリース
    2023 年 10 月
    作成者
    AWS
    予想されるデプロイ時間
    5〜10 分
    推定コスト
    実装ガイドをダウンロード  ソースコード  CloudFormation テンプレート  RSS フィードを購読 
    デプロイオプション
    開始のステップ
    AWS コンソールでこのソリューションを起動し、デプロイする
    この AWS ソリューションはお役に立ちましたか?
    フィードバックを送る
  • オプション 3
  • Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
    オプション 3 - Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
    AWS アーキテクチャブログ
    AWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論

    この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。

    ブログ記事の全文を読む 
    トレーニング
    Amazon Kinesis Analytics の概要

    このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。

    今すぐ登録 
    トレーニング
    Data Analytics Fundamentals

    このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。

    今すぐ登録 
    このデプロイについて
    バージョン
    1.8.1
    リリース
    2023 年 10 月
    作成者
    AWS
    予想されるデプロイ時間
    5〜10 分
    推定コスト
    実装ガイドをダウンロード  ソースコード  CloudFormation テンプレート  RSS フィードを購読 
    デプロイオプション
    開始のステップ
    AWS コンソールでこのソリューションを起動し、デプロイする
    この AWS ソリューションはお役に立ちましたか?
    フィードバックを送る
  • オプション 4
  • Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
    オプション 4 - Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
    AWS アーキテクチャブログ
    AWS Kinesis、SageMaker、Apache Flink によるリアルタイムのインストリーム推論

    この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。

    ブログ記事の全文を読む 
    トレーニング
    Amazon Kinesis Analytics の概要

    このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。

    今すぐ登録 
    トレーニング
    Data Analytics Fundamentals

    このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。

    今すぐ登録 
    このデプロイについて
    バージョン
    1.8.1
    リリース
    2023 年 10 月
    作成者
    AWS
    予想されるデプロイ時間
    5〜10 分
    推定コスト
    実装ガイドをダウンロード  ソースコード  CloudFormation テンプレート  RSS フィードを購読 
    デプロイオプション
    開始のステップ
    AWS コンソールでこのソリューションを起動し、デプロイする
    この AWS ソリューションはお役に立ちましたか?
    フィードバックを送る